本發明提供了一種頭戴式眼動追蹤設備及其眼動追蹤方法。頭戴式眼動追蹤設備包括頭戴式主體、第一攝像機、第二攝像機以及控制系統。第一攝像機設置在頭戴式主體上，用于采集佩戴者的眼部運動圖像。第二攝像機設置在頭戴式主體上，用于采集佩戴者正前方的刺激圖片的視野圖像。控制系統與第一攝像機和第二攝像機分別連接。控制系統包括圖像剪裁預處理模塊、眼部運動圖像處理模塊、視野圖像處理模塊、回歸模型建立模塊以及注視點位置確定模塊。本發明通過獲取校準階段瞳孔中心位置坐標和校準階段標志物中心位置坐標，構建回歸模型，利用這一回歸模型計算使用者注視點位置，以實現眼動追蹤，所需硬件設備簡單，成本低廉，能應用于大規模使用場景中。

技術領域

本發明涉及眼動儀器儀表技術領域，具體地，涉及頭戴式眼動追蹤設備及其眼動追蹤方法。

背景技術

隨著科技發展及市場需要，眼動儀的應用價值在越來越多的場景中得到了注意，近年來眼動儀在心理學與神經科學，用戶體驗與交互，市場與消費者和技能學習與實踐等諸多研究領域得到了廣泛應用。

傳統桌面式眼動儀需要將觀看材料呈現在顯示器上，受試者在顯示器前接受測試，然而許多研究需要受試者處在真實的場景中才能有效地進行。例如在購物場景中研究商品包裝對消費者的影響，在技能實踐場景中研究非熟練者和熟練者之間的差異，在博物館場景中研究參觀者的關注點等，這些研究都需要使用頭戴式眼動儀。而且，在VR/AR領域的研究更是需要用頭戴式的眼動儀以保證沉浸式的體驗。

發明內容

考慮到上述問題，根據本發明的一個方面，提供一種頭戴式眼動追蹤設備。

本發明提供地頭戴式眼動追蹤設備，包括：

頭戴式主體；

第一攝像機，設置在所述頭戴式主體上，用于采集佩戴者的眼部運動圖像；

第二攝像機，設置在所述頭戴式主體上，用于采集佩戴者正前方的刺激圖片的視野圖像；

控制系統，與所述第一攝像機和所述第二攝像機分別連接；

其中，所述控制系統包括：

圖像剪裁預處理模塊，用于將所述眼部運動圖像及所述視野圖像轉化為灰度圖，并剪裁去除眼部運動圖像中與眼部無關的部分及去除視野圖像中與刺激圖片無關的部分；

眼部運動圖像處理模塊，用于對剪裁后的眼部運動圖像進行處理以提取瞳孔中心位置；

視野圖像處理模塊，用于對剪裁后的視野圖像進行處理以提取刺激圖片的標志物中心位置；

回歸模型建立模塊，用于校準時根據瞳孔中心位置數據和標志物中心位置數據建立回歸模型；以及

注視點位置確定模塊，用于測試時根據建立的回歸模型由瞳孔中心位置計算注視點位置。

示例性地，所述控制系統還包括視頻同步模塊，用于提取于一提示音后采集的眼部運動圖像的第一音頻信號及該提示音后采集的視野圖像的第二音頻信號，分別對第一音頻信號及第二音頻信號進行變換計算得到第一音頻信號包絡和第二音頻信號包絡，并根據第一音頻信號包絡和第二音頻信號包絡將眼部運動圖像與視野圖像對齊。

示例性地，所述眼部運動圖像處理模塊包括：

閾值設定模塊，用于設定瞳孔初始二值化閾值；

圖像二值化模塊，用于將剪裁后的眼部運動圖像二值化，并對二值化后的眼部運動圖像進行閉運算，將各區域聯通，之后去除邊界區域；以及

瞳孔中心位置提取模塊，用于判斷圖像中聯通的各區域邊界是否為橢圓形，大小是否滿足瞳孔初始二值化閾值，如果同時滿足條件取其橢圓中心為瞳孔中心位置；如果橢圓形過小，則提高二值化閾值重新檢測；如果橢圓形過大則降低二值化閾值重新檢測；如果無法找到橢圓形則保留上一幀檢測結果。