技術領域

本發明涉及一種用于從產生包含臉部的場景的3維表面模型的測量結果確定臉部位置的系統和方法。

背景技術

US 7436988公開了一種使用2維圖像以形成3維模型的臉部認證和識別方法，以及通過3維模型與參考數據的比較來驗證人的身份。從的臉部的對稱平面與3D模型的交叉提取臉部輪廓線，并且使用該輪廓線的特性驗證人的身份。通過形成3D模型的鏡像版本并且以導致最佳匹配的方式相對于彼此定位原始3D模型和鏡像版本來尋找對稱平面。假設在建模的空間中臉部是僅有的基本上對稱的對象，則用于尋找對稱平面的程序隱含地確定涉及臉部位置的信息。然而，US 7436988并未討論位置確定的問題。

臉部識別和臉部位置確定是涉及不同考慮的不同任務。臉部識別是固有的人特異性的：臉部識別的本質是不同的人應當是被區分。另一方面，臉部位置確定優選地是不依賴于人的：應當不依賴于獨特的人的臉部特征來確定位置。

發明內容

除了其他因素，目的在于提供用于從包含臉部的場景的3維模型確定臉部的位置的系統和方法。

提供了根據本申請的方法。在本文中，使用包含臉部的場景的3D表面模型作為開始點，以用于臉部定位，即，在場景中檢測臉部的位置。例如，可以從2D光學成像推導3D表面模型。從3D表面模型生成2D角度數據圖像，所述2D角度數據圖像表示建模的3D表面的法線與根據虛擬光源的方向的入射方向之間的角度的角度數據。在執行2D臉部位置算法中使用角度數據圖像。

以這種方式，能夠使用可用的和測試的2D臉部位置算法，以確定3D模型中的臉部位置。不需要臉部的光學表面特性的可靠的測量結果。即使是從2D光學圖像推導3D表面模型，3D表面模型的使用使臉部位置檢測更加魯棒，以防表面的反射特性和色彩的效應。優選地，僅從關于在生成的2D圖像的各自像素位置處看得見的3D點處建模的3D表面的幾何信息確定生成的2D圖像的像素值，而不使用非幾何光學特性。

在實施例中，生成針對各自不同的虛擬照明方向的具有角度數據的多幅各自的2D圖像，并且將臉部位置檢測算法應用于各自的2D圖像的每幅。產生的位置檢測可以被組合，以提供檢測的臉部位置。例如，可以通過任選地在移除異常值后對針對不同方向檢測的位置取平均，或者通過選擇針對不同方向檢測的位置的中值或其他具有代表性的一個，來融合產生的位置檢測。組合還可以包括聚類步驟，這涉及將位置檢測分配到選定的聚類并且在聚類內融合位置檢測。

在實施例中，針對所述各自方向的相同觀察方向，生成多幅2D圖像。以這種方式，使所述方法更加魯棒。此外，使得能夠確定在2D圖像中的臉部位置的平均。或者，可以使用所述各自方向的觀察方向的任意組合。在實施例中，生成針對多個不同的觀察方向的圖像。這使所述方法魯棒地防止臉部的旋轉的變化。

在實施例中，2D臉部定位算法可以包括確定在圖像中的各自區域上的角度數據的多個總和、將所述總和與閾值進行比較并且組合將所述比較的結果。

從Viola等人題目為《Robust Real-Time Face Detection》(International Journal of Computer Vision 57(2)，2004年，第137-154頁)的文章中已知用于從2維圖像進行臉部位置確定的成功的算法。Viola等人使用在各種矩形圖像區域中的像素值的總和的組合，以決定臉部的位置。借助計算機學習來設置矩形圖像區域的組合。在學習階段，提出具有可以使用的臉部的大量范例和反例以及大量不同尺寸和位置的矩形的系統。使用AdaBoost計算機學習技術來選擇提供魯棒結果的矩形的組合。例如，可以通過使用針對2D圖像的訓練結果，而不必經歷新的訓練程序，而使用由Viola等人描述的算法。

可以從存儲設備獲得3D表面模型，在已經生成所述3D表面模型之后，所述3D表面模型已經存儲在所述存儲設備中。在實施例中，使用來自從場景接收的光的一幅或多幅2D圖像的信息，以獲得3D表面模型。可以使用結構光來照亮場景。通過首先將該信息轉換為3D表面模型并且之后轉換回2D圖像(其中，使用表面取向而不是直接的光學圖像特性)所述方法不必獲得關于臉部的光學表面特性的可靠信息。或者，可以使用諸如3D斷層攝影技術的其他測量技術，以例如從3D體積模型間接地獲得3D表面。

附圖說明

這些和其他目的以及有利的方面將使用以下附圖，通過對示范性實施例的描述變得顯而易見。

圖1示出了臉部數據處理系統。

圖2示出了臉部位置確定的流程圖。