本發(fā)明公開了一種針對視角相關(guān)視頻編碼的視頻編碼機制。所述機制包括將球形視頻序列映射成多個子圖像視頻序列。所述機制還包括將所述多個子圖像視頻序列編碼為多個子圖像碼流，以支持合并所述多個子圖像碼流。所述編碼確保所述多個子圖像碼流中的每個子圖像碼流都是自參考的；所述多個子圖像碼流中的兩個或更多子圖像碼流可以通過輕量級碼流重寫過程進行合并，從而生成一個視頻碼流，所述輕量級碼流重寫過程不改變?nèi)魏螇K級編碼結(jié)果。對一個可合并指示進行編碼，以指示包括所述可合并指示的子圖像碼流適用于多碼流合并功能，以用于重建所述球形視頻序列。將一個包括所述多個子圖像碼流和所述可合并指示的集合發(fā)送到解碼器，以支持解碼和顯示虛擬現(xiàn)實視頻視角。

技術(shù)領(lǐng)域

本發(fā)明大體上涉及虛擬現(xiàn)實(virtual?reality，VR)視頻編碼，具體涉及將VR圖像碼流編碼為多個子圖像碼流以支持視角相關(guān)視頻編碼時的錯誤避免機制的指示。

背景技術(shù)

當數(shù)據(jù)要在帶寬容量有限的通信網(wǎng)絡(luò)中發(fā)送或以其它方式傳輸時，可能會比較困難，因為即使在視頻較短的情況下也需要對大量視頻數(shù)據(jù)進行描述。因此，視頻數(shù)據(jù)通常要先壓縮，然后在現(xiàn)代電信網(wǎng)絡(luò)中傳輸。由于內(nèi)存資源可能有限，當在存儲設(shè)備上存儲視頻時，視頻的大小也可能成為問題。視頻壓縮設(shè)備通常在源側(cè)使用軟件和/或硬件，以在傳輸或存儲之前對視頻數(shù)據(jù)進行編碼，從而減少用來表示數(shù)字視頻圖像所需的數(shù)據(jù)量。然后，對視頻數(shù)據(jù)進行解碼的視頻解壓縮設(shè)備在目的地側(cè)接收壓縮的數(shù)據(jù)。在有限的網(wǎng)絡(luò)資源以及對更高視頻質(zhì)量的需求不斷增長的情況下，需要改進壓縮和解壓縮技術(shù)，這些改進的技術(shù)在幾乎不影響圖像質(zhì)量的情況下能夠提高壓縮比。

發(fā)明內(nèi)容

在一個實施例中，本發(fā)明包括一種在視頻編碼設(shè)備中實現(xiàn)的方法。所述方法包括：處理器將球形視頻序列映射成多個子圖像視頻序列，所述球形視頻序列由多個方向視頻序列拼接而成，所述多個子圖像視頻序列中的每個子圖像視頻序列都包括子圖像序列。所述方法還包括：所述處理器將所述多個子圖像視頻序列編碼為多個子圖像碼流，以支持合并所述多個子圖像碼流，所述編碼確保所述多個子圖像碼流中的每個子圖像碼流都是自參考的，所述多個子圖像碼流中的兩個或更多子圖像碼流可以通過輕量級碼流重寫過程進行合并，從而生成一個視頻碼流，所述輕量級碼流重寫過程不涉及改變?nèi)魏螇K級編碼結(jié)果。所述方法還包括：所述處理器將可合并指示編碼在所述多個子圖像碼流中的至少一個子圖像碼流內(nèi)，所述可合并指示表示包括所述可合并指示的所述子圖像碼流適用于多碼流合并功能，以重建所述球形視頻序列或其一部分。所述方法還包括：所述視頻編碼設(shè)備中的發(fā)送器將一個包括所述多個子圖像碼流和所述可合并指示的集合發(fā)送到解碼器，以支持解碼和顯示虛擬現(xiàn)實視頻視角。一個虛擬現(xiàn)實(virtual?reality，VR)圖像流可以被劃分成多個子圖像流，以選擇性地發(fā)送給用戶。在幀間預(yù)測過程中，為了防止所述多個子圖像流中的一些子圖像流丟失或以不同的分辨率發(fā)送時產(chǎn)生解碼錯誤，可以限制所述多個子圖像流為完全自參考并且在時間上同步。這有助于解碼器通過輕量級合并過程將這些流進行合并。本實施例使用碼流級指示向所述解碼器指示各種子圖像碼流軌跡適用于所述輕量級合并過程。相應(yīng)地，所述解碼器可以通過所述輕量級合并過程使用標頭信息合并所述多個子圖像碼流，而不需要改變塊級編碼結(jié)果，以考慮由于運動矢量跨越子圖像流邊界而發(fā)生的幀間預(yù)測相關(guān)偽影。

可選地，根據(jù)任一上述方面，在所述方面的另一種實現(xiàn)方式中，所述可合并指示包括在補充增強信息(supplemental?enhancement?information，SEI)消息中。

可選地，根據(jù)任一上述方面，在所述方面的另一種實現(xiàn)方式中，所述可合并指示包括在時間運動約束分塊集(motion?constrained?tile?set，MCTS)SEI消息中，其中，雖然所述球形視頻序列中的一個圖像包括一個分塊，但還是使用所述時間MCTS?SEI消息，所述分塊是一個MCTS。

可選地，根據(jù)任一上述方面，在所述方面的另一種實現(xiàn)方式中，所述時間MCTS?SEI消息中的each_tile_one_tile_set_flag設(shè)置為1。