本公開涉及一種基于神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)視頻編解碼技術(shù)。其介紹如下：視頻編碼裝置中的第一編碼模塊對(duì)目標(biāo)視頻進(jìn)行壓縮編碼獲得對(duì)應(yīng)的第一碼流數(shù)據(jù)和重建圖像，并將第一碼流數(shù)據(jù)發(fā)送至視頻解碼裝置；視頻編碼裝置中的第二編碼模塊用于以目標(biāo)視頻所對(duì)應(yīng)的原始視頻幀為標(biāo)簽、重建圖像為輸入，訓(xùn)練學(xué)習(xí)得到對(duì)應(yīng)目標(biāo)視頻的修復(fù)神經(jīng)網(wǎng)絡(luò)，并獲取對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)信息、發(fā)送至視頻解碼裝置；視頻解碼裝置中的第一解碼模塊基于第一碼流數(shù)據(jù)進(jìn)行解碼得到重建圖像；視頻解碼裝置中的第二解碼模塊根據(jù)神經(jīng)網(wǎng)絡(luò)信息構(gòu)建的修復(fù)神經(jīng)網(wǎng)絡(luò)對(duì)重建圖像進(jìn)行修復(fù)，得到目標(biāo)視頻的修復(fù)視頻作為最終的解碼輸出。本公開實(shí)施例所提供的視頻編解碼技術(shù)，壓縮效率高、兼容性好。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻編碼裝置、解碼裝置及編解碼系統(tǒng)。

背景技術(shù)

數(shù)字視頻是目前人們獲取信息最便捷、直觀的載體，也是最完整的信息記錄、存儲(chǔ)途徑之一。數(shù)字視頻無(wú)論在生活?yuàn)蕵?lè)還是軍事、航天、醫(yī)療等各個(gè)方面都起到了不可替代的作用。目前視頻應(yīng)用占據(jù)了互聯(lián)網(wǎng)過(guò)半的流量，與此同時(shí)，人們對(duì)于視頻質(zhì)量的要求也越來(lái)越高。代表著更完美感官體驗(yàn)的高分辨率、高幀率、高動(dòng)態(tài)范圍視頻需求強(qiáng)烈，2K、4K等超高清視頻標(biāo)準(zhǔn)應(yīng)運(yùn)而生。對(duì)視頻進(jìn)行編解碼是節(jié)省帶寬、降低存儲(chǔ)空間的必要手段。相關(guān)技術(shù)中，對(duì)視頻進(jìn)行壓縮的方式存在壓縮效率低、與已有的編解碼標(biāo)準(zhǔn)難以兼容等問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻編碼裝置、解碼裝置及編解碼系統(tǒng)。

根據(jù)本公開的一方面，提供了一種基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻編碼裝置，所述裝置包括：

第一編碼模塊，用于對(duì)目標(biāo)視頻進(jìn)行壓縮編碼，獲得對(duì)應(yīng)所述目標(biāo)視頻的第一碼流數(shù)據(jù)和重建圖像，并將所述第一碼流數(shù)據(jù)發(fā)送至視頻解碼裝置；

第二編碼模塊，用于以所述目標(biāo)視頻所對(duì)應(yīng)的原始視頻幀為標(biāo)簽、所述重建圖像為輸入，進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，得到對(duì)應(yīng)所述目標(biāo)視頻的修復(fù)神經(jīng)網(wǎng)絡(luò)，并獲取對(duì)應(yīng)所述修復(fù)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)信息，將所述神經(jīng)網(wǎng)絡(luò)信息發(fā)送至視頻解碼裝置，以使所述視頻解碼裝置根據(jù)所述神經(jīng)網(wǎng)絡(luò)信息構(gòu)建的修復(fù)神經(jīng)網(wǎng)絡(luò)，對(duì)所述第一碼流數(shù)據(jù)解碼得到的重建圖像進(jìn)行修復(fù)，得到所述目標(biāo)視頻的修復(fù)視頻，

其中，所述神經(jīng)網(wǎng)絡(luò)信息包括所述修復(fù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

在一種可能的實(shí)現(xiàn)方式中，所述第二編碼模塊，包括：

訓(xùn)練數(shù)據(jù)組織子模塊，用于對(duì)所述目標(biāo)視頻的原始視頻幀和重建圖像數(shù)據(jù)依次進(jìn)行劃分，組織成為多個(gè)訓(xùn)練數(shù)據(jù)單元，每個(gè)訓(xùn)練數(shù)據(jù)單元包括n個(gè)原始視頻幀和對(duì)應(yīng)的n個(gè)重建圖像，n為大于零的實(shí)數(shù)；

訓(xùn)練子模塊，用于根據(jù)每個(gè)訓(xùn)練數(shù)據(jù)單元進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，獲得對(duì)應(yīng)的每個(gè)訓(xùn)練數(shù)據(jù)單元的修復(fù)神經(jīng)網(wǎng)絡(luò)，并將各個(gè)修復(fù)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)信息發(fā)送至視頻解碼裝置。

在一種可能的實(shí)現(xiàn)方式中，所述訓(xùn)練子模塊具體用于：

以第i個(gè)訓(xùn)練數(shù)據(jù)單元的原始視頻幀為標(biāo)簽，對(duì)應(yīng)于第i個(gè)訓(xùn)練數(shù)據(jù)單元的原始視頻幀的重建圖像為輸入，進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，得到對(duì)應(yīng)于所述第i個(gè)訓(xùn)練數(shù)據(jù)單元的修復(fù)神經(jīng)網(wǎng)絡(luò)，i為正整數(shù)。

在一種可能的實(shí)現(xiàn)方式中，所述第二編碼模塊，包括：

信息壓縮子模塊，用于在將所述神經(jīng)網(wǎng)絡(luò)信息發(fā)送至視頻解碼裝置之前，采用預(yù)設(shè)的壓縮方式對(duì)所述神經(jīng)網(wǎng)絡(luò)信息進(jìn)行壓縮，

其中，所述壓縮方式包括以下任一種：無(wú)損壓縮和有損壓縮。

在一種可能的實(shí)現(xiàn)方式中，所述第一編碼模塊包括編碼器，所述神經(jīng)網(wǎng)絡(luò)信息還包括所述修復(fù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和/或?qū)?yīng)的訓(xùn)練數(shù)據(jù)單元的數(shù)據(jù)單元信息。

根據(jù)本公開的另一方面，提供了一種基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的視頻解碼裝置，所述裝置包括：