[發明專利]基于雙目融合網絡與兩步訓練框架立體視頻質量評價方法在審
| 申請號： | 202011110071.9 | 申請日： | 2020-10-16 |
| 公開（公告）號： | CN112437290A | 公開（公告）日： | 2021-03-02 |
| 發明（設計）人： | 李素梅;劉安琪;馬帥 | 申請（專利權）人： | 天津大學 |
| 主分類號： | H04N17/00 | 分類號： | H04N17/00;H04N13/106;G06N3/08;G06N3/04;G06K9/62 |
| 代理公司： | 天津市北洋有限責任專利代理事務所 12201 | 代理人： | 劉國威 |
| 地址： | 300072*** | 國省代碼： | 天津;12 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 雙目 融合 網絡 訓練 框架 立體 視頻 質量 評價 方法 | ||
1.一種基于雙目融合網絡與兩步訓練框架立體視頻質量評價方法，其特征是，首先通過計算立體視頻的時間顯著性與空間顯著性，對立體視頻的每一幀生成顯著性圖片，得到的順序排列的顯著性圖片稱為左視頻的時空顯著性特征流與右視頻的時空顯著性特征流，并將其作為雙目融合網絡的兩個輸入；其次，分兩步訓練雙目融合網絡，即局部回歸和全局回歸，在第一步中，通過添加全連接層，用小塊標簽預訓練所提網絡的左通道CNN以及右通道CNN；在第二步中，基于第一步的權重模型，使用MOS值對整個網絡進行訓練；此外，考慮到雙目競爭，在融合通道中引入了加權模塊為不同通道的特征圖分配不同的權重，立體視頻質量分數由全連接層將高維特征映射到輸出域得到。
2.如權利要求1所述的基于雙目融合網絡與兩步訓練框架立體視頻質量評價方法，其特征是，視頻顯著性具體是：通過計算包括空間顯著性和時間顯著性的視頻顯著性為視頻中的每個幀生成顯著圖，立體視頻的每一幀都將產生相應的顯著圖，獲得的按順序排列的顯著圖稱為左視頻或右視頻的時空顯著性特征流，并將它們作為網絡的兩個輸入。
3.如權利要求1所述的基于雙目融合網絡與兩步訓練框架立體視頻質量評價方法，其特征是，局部回歸具體是：考慮到不同視圖，不同幀和不同區域可能具有不同程度的失真，通過特征相似性(FSIM)算法為時空顯著流中的每個失真塊生成相應的質量分數，通過比較參考塊和相應的失真塊之間的相似性來獲得失真塊的質量分數，然后，將左視頻的時空顯著流中的失真塊作為輸入，用小塊標簽預訓練所提出網絡的左通道CNN；同樣，右視頻中的時空顯著流中的失真塊用于預訓練所提出的網絡的右通道CNN，兩個通道的預訓練過程是分開進行的，不相互干擾。
4.如權利要求1所述的基于雙目融合網絡與兩步訓練框架立體視頻質量評價方法，其特征是，全局回歸具體是：將左右視頻的時空顯著性特征流作為輸入，基于第一步的權重模型，使用MOS值來訓練整個雙目融合網絡，雙目融合網絡由三部分組成：左通道，右通道和融合通道，左通道提取純粹的左視點特征，右通道提取純粹的右視點特征，左通道包含四個卷積層和兩個池化層，右通道也是如此，融合通道提取雙目特征，包含四個卷積層，四個“加權模塊”，三個池化層和三個全連接層，在左右通道的每次卷積操作之后均有一次融合操作，故融合通道共有四次融合。即本發明的雙目融合網絡既在淺層融合，也在高層融合，對于每次融合，所有特征圖均送入加權模塊，用以給不同通道的特征圖賦予不同的權重，最后，立體視頻質量分數由全連接層將高維特征映射到輸出域得到。
5.如權利要求1所述的基于雙目融合網絡與兩步訓練框架立體視頻質量評價方法，其特征是，其中，順序地串聯來自不同通道的所有特征圖，并獲得大小為高度H×寬度W×通道數C的輸入X，全局池化層將每個特征圖映射為一個數字，權重由后續的層進行學習，第一個全連接層把C個權重數字壓縮為C/r個權重數字來降低計算量，其中r是縮放參數，經過ReLU激活函數后，第二個全連接層恢復回C個權重數字，最后經過sigmoid函數得到學習權重，在Scale層中，學習到的權重乘以對應的特征圖，得到與X大小相同的輸出將SE塊嵌入雙目融合網絡中，來實現為不同視圖的特征圖分配權重的功能，盡可能模仿雙目競爭；
因此，卷積層定義為(1)：
Fl＝RELU(Wl*Flth_input+Bl) (1)
其中Wl和Bl分別表示第l個卷積層的卷積核和偏置，Fl是第l個卷積層的輸出特征圖，Flth_input是第l個卷積層的輸入特征圖，RELU是激活函數，*表示卷積運算，當使用反向傳播來訓練所提出的網絡時，通過最小化歐幾里德損失函數來學習卷積層、池化層與全連接層的參數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于天津大學，未經天津大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202011110071.9/1.html，轉載請聲明來源鉆瓜專利網。
