本發(fā)明公開(kāi)了一種結(jié)構(gòu)化場(chǎng)景表達(dá)的認(rèn)知導(dǎo)航方法及系統(tǒng)，方法包括：利用獲取的目標(biāo)場(chǎng)景圖像序列及圖像獲取設(shè)備的參數(shù)，得到每幀圖像中目標(biāo)二維信息、三維信息；根據(jù)目標(biāo)二維信息、三維信息及目標(biāo)先驗(yàn)常識(shí)信息得到最優(yōu)場(chǎng)景圖信息；對(duì)連續(xù)多幀圖像構(gòu)成的場(chǎng)景圖進(jìn)行處理生成局部場(chǎng)景圖，并對(duì)局部場(chǎng)景圖進(jìn)行合并更新生成全局場(chǎng)景圖；根據(jù)全局場(chǎng)景圖中的目標(biāo)信息，獲取目標(biāo)坐標(biāo)，根據(jù)目標(biāo)坐標(biāo)規(guī)劃路徑并進(jìn)行導(dǎo)航。本發(fā)明將目標(biāo)場(chǎng)景圖像序列及目標(biāo)先驗(yàn)常識(shí)結(jié)合，得到局部場(chǎng)景圖，對(duì)局部場(chǎng)景圖進(jìn)行合并及更新得到全局場(chǎng)景圖，可以對(duì)多場(chǎng)景及含有更細(xì)粒度的場(chǎng)景進(jìn)行三維場(chǎng)景圖構(gòu)建，提高了三維場(chǎng)景圖中目標(biāo)的有序性及導(dǎo)航的精準(zhǔn)度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種結(jié)構(gòu)化場(chǎng)景表達(dá)的認(rèn)知導(dǎo)航方法及系統(tǒng)。

背景技術(shù)

目前，隨著計(jì)算機(jī)圖形圖像處理技術(shù)的快速發(fā)展，由于三維虛擬場(chǎng)景可以將平面場(chǎng)景圖片以形象、生動(dòng)的再現(xiàn)現(xiàn)實(shí)場(chǎng)景，給人們帶來(lái)很好的視覺(jué)效果、以及視覺(jué)體驗(yàn)，從而對(duì)三維可視化技術(shù)的需求呈現(xiàn)明顯的增長(zhǎng)趨勢(shì)，因而，如何創(chuàng)建出所需的三維場(chǎng)景圖得到越來(lái)越廣泛的關(guān)注與研究，并且已在各種行業(yè)得到廣泛的應(yīng)用。現(xiàn)有的場(chǎng)景圖生成技術(shù)分為：第一，利用深度學(xué)習(xí)技術(shù)，生成基于單張圖像的場(chǎng)景圖；第二，利用目標(biāo)檢測(cè)算法識(shí)別物體，結(jié)合建圖技術(shù)對(duì)物體進(jìn)行定位，直接提取三維場(chǎng)景圖中各物體的關(guān)系；第三，利用目標(biāo)檢測(cè)算法識(shí)別物體，結(jié)合建圖技術(shù)對(duì)物體進(jìn)行定位，實(shí)用數(shù)據(jù)集作為統(tǒng)計(jì)依據(jù)，提取三維場(chǎng)景圖中各物體的關(guān)系。但是利用現(xiàn)有技術(shù)生成的場(chǎng)景圖中各物體關(guān)系紊亂、無(wú)序，不能很好的結(jié)構(gòu)化表示物體之間的關(guān)系。

發(fā)明內(nèi)容

因此，本發(fā)明要解決的技術(shù)問(wèn)題在于克服現(xiàn)有技術(shù)生成的場(chǎng)景圖中各物體關(guān)系紊亂、無(wú)序，不能很好的結(jié)構(gòu)化表示物體之間的關(guān)系的缺陷，從而提供一種結(jié)構(gòu)化場(chǎng)景表達(dá)的認(rèn)知導(dǎo)航方法及系統(tǒng)。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供一種結(jié)構(gòu)化場(chǎng)景表達(dá)的認(rèn)知導(dǎo)航方法，包括：利用圖像獲取設(shè)備獲取目標(biāo)場(chǎng)景圖像，得到相應(yīng)的圖像序列，圖像包括深度圖像及彩色圖像，圖像序列包括深度圖像序列及彩色圖像序列；利用目標(biāo)場(chǎng)景圖像、圖像序列及圖像獲取設(shè)備的參數(shù)，得到每幀圖像中每個(gè)目標(biāo)的二維信息和三維信息；根據(jù)每幀圖像中每個(gè)目標(biāo)二維信息、三維信息及目標(biāo)先驗(yàn)常識(shí)信息，得到最優(yōu)場(chǎng)景圖信息；對(duì)預(yù)設(shè)數(shù)量的待優(yōu)化幀構(gòu)成的場(chǎng)景圖進(jìn)行處理，生成局部場(chǎng)景圖，并對(duì)局部場(chǎng)景圖進(jìn)行合并更新，生成全局場(chǎng)景圖；根據(jù)全局場(chǎng)景圖中的目標(biāo)信息，獲取目標(biāo)坐標(biāo)，根據(jù)目標(biāo)坐標(biāo)規(guī)劃路徑并進(jìn)行導(dǎo)航。

在一實(shí)施例中，目標(biāo)先驗(yàn)常識(shí)信息在獲取目標(biāo)場(chǎng)景圖像之前獲取，獲取目標(biāo)先驗(yàn)常識(shí)信息的過(guò)程包括：對(duì)預(yù)設(shè)目標(biāo)數(shù)據(jù)集進(jìn)行篩選清洗處理，根據(jù)預(yù)設(shè)場(chǎng)景圖像分類方法，對(duì)篩選清洗后的預(yù)設(shè)目標(biāo)數(shù)據(jù)集進(jìn)行分類，生成各種類型的場(chǎng)景圖像；統(tǒng)計(jì)每種類型的場(chǎng)景圖像中目標(biāo)出現(xiàn)的概率、目標(biāo)屬性的概率和關(guān)系的概率；根據(jù)目標(biāo)的屬性及目標(biāo)之間的關(guān)系，構(gòu)建與或圖結(jié)構(gòu)；將每種類型的場(chǎng)景圖像中目標(biāo)出現(xiàn)的概率、目標(biāo)屬性的概率和關(guān)系的概率填充到與或圖結(jié)構(gòu)中，生成目標(biāo)先驗(yàn)常識(shí)信息。

在一實(shí)施例中，利用目標(biāo)場(chǎng)景圖像、圖像序列及圖像獲取設(shè)備的參數(shù)，得到每幀圖像中每個(gè)目標(biāo)的二維信息和三維信息的步驟，包括：利用圖像序列及SLAM方法對(duì)圖像獲取設(shè)備的位姿進(jìn)行估計(jì)，獲取以第一幀圖像位置為坐標(biāo)原點(diǎn)的圖像獲取設(shè)備的位姿；利用彩色圖像及目標(biāo)檢測(cè)方法檢測(cè)每幀圖像中的所有目標(biāo)，獲取每幀圖像中每個(gè)目標(biāo)的二維信息；根據(jù)深度圖像、圖像獲取設(shè)備的位姿、圖像獲取設(shè)備的參數(shù)及每個(gè)目標(biāo)的二維信息，獲取每幀圖像中目標(biāo)的三維信息，三維信息包括目標(biāo)的三維坐標(biāo)信息及三維邊界框信息。

在一實(shí)施例中，根據(jù)每幀圖像中每個(gè)目標(biāo)二維信息、三維信息及目標(biāo)先驗(yàn)常識(shí)信息，得到最優(yōu)場(chǎng)景圖信息的步驟，包括：根據(jù)每幀圖像中每個(gè)目標(biāo)的三維信息，估計(jì)目標(biāo)之間的關(guān)系及其概率，概率包括在每幀圖像中目標(biāo)出現(xiàn)的概率、目標(biāo)屬性的概率和目標(biāo)關(guān)系的概率；根據(jù)每幀圖像中對(duì)應(yīng)的目標(biāo)間的關(guān)系、目標(biāo)的二維信息，生成每幀圖像場(chǎng)景圖；根據(jù)目標(biāo)先驗(yàn)常識(shí)信息、目標(biāo)之間的關(guān)系及其概率，對(duì)每幀圖像進(jìn)行優(yōu)化，得到最優(yōu)場(chǎng)景圖信息。