本發明一種第一視角視頻行為預測系統，用于根據已有的視頻進行行為預測，所述系統包括：視覺特征提取模塊，用于提取已有視頻中的視覺特征；基于直覺的預測模塊，用于根據視覺特征提取模塊提取到的視覺特征進行基于直覺的預測，得到第一預測結果；基于分析推理的預測模塊，用于根據視覺特征提取模塊提取到的視覺特征進行基于分析推理的預測，得到第二預測結果；自適應融合模塊，用于采用注意力機制將將第一預測結果和第二預測結果進行有機融合，得到最終的行為預測結果。本發明將基于直覺的和基于分析推理的預測進行有機的結合，有效的緩解了“視覺鴻溝“問題，能更直接的從人類心理角度出發，更準確的預測其下一步動作，準確率更高，為實際工程應用提供更全面的支撐。

技術領域

本發明涉及視頻領域，具體來說涉及視頻行為預測領域，更具體地說，涉及一種第一視角視頻行為預測系統及方法。

背景技術

人類與外界的感知和交互都是通過以自我為中心的視角(即第一視角)來完成的。隨著智能可穿戴設備的發展，以第一視角記錄視頻數據具有越來越多的應用場景，例如虛擬現實、人機交互等等。由于第一視角更能幫助智能系統理解人類的意圖和目的，因此對第一視角視頻中的行為進行分析顯得尤為重要，包括行為識別(對已經完成的行為進行識別)和行為預測(對尚未發生的行為進行預測)。盡管行為識別的技術已經相對成熟，但在實際應用中僅依靠行為識別技術遠遠不夠，例如可穿戴助力機器人需要及時推斷出用戶的真實意圖并幫助其采取行動，從而提供更細致的服務，這就需要對行為預測技術進行研究。針對第一視角視頻行為預測，有些研究工作^[1]將一些行為識別模型直接應用于行為預測任務，取得了一定的預測效果；有些研究工作^[2]考慮到未來本身的不確定性，將行為預測視為一個多標簽分類任務并設計了相應的損失函數，提升了預測的準確率；有些研究工作^[3]將行為預測細分為兩個部分，即總結過去的信息和預測未來的信息。

第一視角行為預測要求根據一段已發生的視頻片段預測接下來可能發生的行為。現有方法大多依賴于從已發生的視頻數據中提取的視覺特征，由于未來本身具有很強的不確定性，因此已發生的、可被觀察到的視頻片段和未發生的、待預測的、無法觀察的行為在視覺層面往往存在很大的差異，我們將這種現象稱之為“視覺鴻溝”。現有方法大多沒有有效利用除視覺模態以外的其它信息(如文本模態)，難以緩解“視覺鴻溝”問題。此外，由于直接涉及人類意圖的理解，第一視角行為預測需要從人類自身的心理學或認知科學^[4]等角度去探索，這也是現有技術沒有考慮到的，這樣使得預測的行為與實際發生的行為存在較大偏差，預測準確率不高。

背景技術部分所引用的文獻列表如下：

[1]Damen D,Doughty H,Maria Farinella G,et al.Scaling egocentricvision:The epic-kitchens dataset.In Proceedings of the European Conference onComputer Vision 2018:720-736.

[2]Antonino Furnari,Sebastiano Battiato,and Giovanni MariaFarinella.Leveraging uncertainty to rethink loss functions and evaluationmeasures for egocentric action anticipation.In Proceedings of the EuropeanConference on Computer Vision 2018:389–405.