本發(fā)明提供一種基于多目全景圖像的模型生成方法，其包括：獲取參考圖像以及對(duì)應(yīng)的多個(gè)源圖像；計(jì)算源圖像和參考圖像的圖像矯正旋轉(zhuǎn)矩陣；提取參考圖像的參考圖像特征以及源圖像的源圖像特征，并基于參考圖像特征以及源圖像特征計(jì)算參考圖像與所述源圖像的代價(jià)體；得到源圖像與參考圖像的矯正代價(jià)體；對(duì)參考圖像對(duì)應(yīng)的多個(gè)源圖像的矯正代價(jià)體進(jìn)行融合操作，得到最終代價(jià)體；基于最終代價(jià)體，計(jì)算參考圖像在設(shè)定分辨率下的相差分布估計(jì)，并計(jì)算設(shè)定分辨率下的估計(jì)相差；對(duì)參考圖像在每一層分辨率下的估計(jì)相差進(jìn)行融合，得到參考圖像的最終相差；基于參考圖像的最終相差生成參考圖像的深度圖，并根據(jù)深度圖構(gòu)建對(duì)應(yīng)的立體視覺(jué)模型。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于多目全景圖像的模型生成方法及裝置。

背景技術(shù)

傳統(tǒng)的多視角立體視覺(jué)，通常采用單目相機(jī)在多個(gè)預(yù)先調(diào)校的空間位置進(jìn)行圖像采樣。設(shè)某參考視角產(chǎn)生的圖片為參考圖片，所有與該視角有重合的視角產(chǎn)生的圖片為源圖片。傳統(tǒng)MVS（Mult-view Stereo，多視點(diǎn)三維重建）算法通常通過(guò)尋找參考圖片中的像素點(diǎn)/特征點(diǎn)在所有源圖片中的匹配點(diǎn)，來(lái)確定點(diǎn)之間聯(lián)系，通常使用相差標(biāo)示。基于該聯(lián)系，通過(guò)三角化關(guān)系，可以進(jìn)一步計(jì)算得出參考圖片中每一像素點(diǎn)的深度數(shù)值。該深度數(shù)值通過(guò)傳統(tǒng)多視角融合算法融合，最終可產(chǎn)生該場(chǎng)景的立體視覺(jué)模型。

但是上述方法中尋找匹配點(diǎn)的操作對(duì)計(jì)算資源消耗較大，且如果匹配點(diǎn)準(zhǔn)確度較低可能導(dǎo)致后續(xù)生成的立體視覺(jué)模型的精準(zhǔn)度較差。

故，有必要提供一種基于多目全景圖像的模型生成方法及裝置，以解決現(xiàn)有技術(shù)所存在的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種對(duì)計(jì)算資源消耗較低且生成模型的精準(zhǔn)度較高的模型生成方法及模型生成裝置；以解決現(xiàn)有的模型生成方法及模型生成裝置的計(jì)算資源消耗較大且生成模型的精準(zhǔn)度較差的技術(shù)問(wèn)題。

本發(fā)明實(shí)施例提供一種基于多目全景圖像的模型生成方法，其包括：

獲取參考圖像以及對(duì)應(yīng)的多個(gè)源圖像，其中所述源圖像與所述參考圖像具有重合視角；

獲取所述源圖像的源相機(jī)參數(shù)以及所述參考圖像的參考相機(jī)參數(shù)，并基于所述源相機(jī)參數(shù)以及所述參考相機(jī)參數(shù)，計(jì)算所述源圖像和所述參考圖像的圖像矯正旋轉(zhuǎn)矩陣；

提取所述參考圖像的參考圖像特征以及所述源圖像的源圖像特征，并基于所述參考圖像特征以及所述源圖像特征計(jì)算所述參考圖像與所述源圖像的代價(jià)體；

使用所述圖像矯正旋轉(zhuǎn)矩陣對(duì)所述代價(jià)體進(jìn)行坐標(biāo)系轉(zhuǎn)換，得到所述源圖像與所述參考圖像的矯正代價(jià)體；

對(duì)所述參考圖像對(duì)應(yīng)的多個(gè)源圖像的矯正代價(jià)體進(jìn)行融合操作，得到最終代價(jià)體；

基于所述最終代價(jià)體，計(jì)算所述參考圖像在設(shè)定分辨率下的相差分布估計(jì)，并計(jì)算所述設(shè)定分辨率下的估計(jì)相差；

對(duì)所述參考圖像在每一層分辨率下的估計(jì)相差進(jìn)行融合，得到所述參考圖像的最終相差；

基于所述參考圖像的最終相差生成所述參考圖像的深度圖，并根據(jù)所述深度圖構(gòu)建對(duì)應(yīng)的立體視覺(jué)模型。

在本發(fā)明所述的基于多目全景圖像的模型生成方法中，基于以下公式計(jì)算所述源圖像和所述參考圖像的圖像矯正旋轉(zhuǎn)矩陣：

其中R₀為所述參考圖像的旋轉(zhuǎn)矩陣，t₀為所述參考圖像的平移矩陣，R₁為對(duì)應(yīng)的源圖像的旋轉(zhuǎn)矩陣，t₁為對(duì)應(yīng)的源圖像的旋轉(zhuǎn)矩陣，R為所述源圖像和所述參考圖像的圖像矯正旋轉(zhuǎn)矩陣。

在本發(fā)明所述的基于多目全景圖像的模型生成方法中，基于以下公式計(jì)算所述參考圖像與所述源圖像的代價(jià)體：