[發(fā)明專利]一種三維人體掃描非剛性重建和測量方法及裝置有效
| 申請?zhí)枺?/td> | 201811305010.0 | 申請日: | 2018-11-01 |
| 公開(公告)號: | CN109523635B | 公開(公告)日: | 2023-07-21 |
| 發(fā)明(設(shè)計)人: | 朱繼;楊少毅;褚智威 | 申請(專利權(quán))人: | 深圳蒜泥科技投資管理合伙企業(yè)(有限合伙) |
| 主分類號: | G06T17/20 | 分類號: | G06T17/20 |
| 代理公司: | 西安智萃知識產(chǎn)權(quán)代理有限公司 61221 | 代理人: | 張蓓 |
| 地址: | 518054 廣東省深圳市南山區(qū)南*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 三維 人體 掃描 剛性 建和 測量方法 裝置 | ||
1.一種三維人體掃描非剛性重建和測量方法,其特征在于,包括以下步驟:
步驟1:獲取初始幀深度圖像,并利用Marching?Cube算法生成初始化的立體三角網(wǎng)格模型;
步驟2:計算所述初始化的立體三角網(wǎng)格模型的蒙皮權(quán)重;
步驟3:獲取當(dāng)前幀深度圖像和當(dāng)前幀RGB圖像,從當(dāng)前幀深度圖像和當(dāng)前幀RGB圖像中提取人體骨架信息和人體輪廓信息,并建立最優(yōu)化模型;根據(jù)最優(yōu)化模型計算當(dāng)前幀與初始幀之間的人體非剛性變換系數(shù);
步驟4:利用所述非剛性變換系數(shù),將當(dāng)前幀深度圖像逆變換到立體三角網(wǎng)格模型的坐標(biāo)空間中,并利用TSDF算法將初始幀深度圖像與當(dāng)前幀深度圖像的深度信息融合;
步驟5:重復(fù)步驟4和步驟5,將多幀深度圖像進(jìn)行融合后生成最終的人體三維模型;
所述步驟3具體包括:
步驟3.1:建立最優(yōu)化模型
獲取下一幀深度圖像和下一幀RGB圖像作為當(dāng)前幀深度圖像和當(dāng)前幀RGB圖像;
根據(jù)當(dāng)前幀深度圖像計算人體骨架信息的具體方法為:計算該幀深度圖像中的骨架位置信息,并根據(jù)歐式距離計算該幀深度圖像與初始幀深度圖像的對應(yīng)頂點集合C,其中,{vk,uk}∈C;
根據(jù)當(dāng)前幀RGB圖像計算人體輪廓信息的具體方法為:用Mask?RCNN算法提取RGB圖像中人體的輪廓點zl,由輪廓點zl組成人體輪廓信息集合S,其中,{zl}∈S;
根據(jù)所述人體骨架信息集合和人體輪廓信息集合S,建立最優(yōu)化模型;
步驟3.2:計算人體非剛性變換系數(shù)
根據(jù)最優(yōu)化模型計算當(dāng)前幀與初始幀間的對應(yīng)采樣點xi的人體非剛性變換系數(shù)
具體的,使用迭代最近點ICP算法迭代優(yōu)化最優(yōu)化模型的損失函數(shù),計算得到非剛性變換系數(shù);
在步驟3.2中,所述的最優(yōu)化模型的目標(biāo)函數(shù)L包含四個損失函數(shù)L1、L2、L3、L4:
L=L1+L2+L3+L4?(2)
其中,損失函數(shù)L1用于建立根據(jù)人體非剛性變換系數(shù)計算得到的深度圖像與當(dāng)前幀的實際深度圖像的距離模型;
L2用于建立根據(jù)骨骼運(yùn)動變換系數(shù)計算得到的深度圖像與當(dāng)前幀實際深度圖像的距離模型;
L3用于約束人體非剛性變換系數(shù)和骨骼運(yùn)動變換系數(shù)兩種方式估算出的頂點位置的一致性;定義如下:
L4表示將根據(jù)非剛性變換系數(shù)估算得到的當(dāng)前幀深度圖像投影到二維RGB圖像空間后的人體輪廓與當(dāng)前幀實際RGB圖像中提取的人體輪廓的吻合程度。
2.根據(jù)權(quán)利要求1所述的三維人體掃描非剛性重建和測量方法,其特征在于,所述步驟1包括以下具體步驟:
步驟1.1:獲取3臺深度相機(jī)拍攝的深度圖像,并將同一時間拍攝的3張深度圖片拼接在一起,組成拼接深度圖像;
步驟1.2:根據(jù)所述拼接深度圖像實時監(jiān)測人體骨架,并根據(jù)人體骨架姿勢獲取初始幀深度圖像;
步驟1.3:將所述初始幀深度圖像映射為三維空間的點云數(shù)據(jù),并根據(jù)MarchingCube算法計算得到初始化的立體三角網(wǎng)格模型。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳蒜泥科技投資管理合伙企業(yè)(有限合伙),未經(jīng)深圳蒜泥科技投資管理合伙企業(yè)(有限合伙)許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201811305010.0/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 一種三維彩色物品制作方法
- 三維內(nèi)容顯示的方法、裝置和系統(tǒng)
- 三維對象搜索方法、裝置及系統(tǒng)
- 三維會話數(shù)據(jù)展示方法、裝置、存儲介質(zhì)和計算機(jī)設(shè)備
- 一種三維模型處理方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)
- 用于基于分布式賬本技術(shù)的三維打印的去中心化供應(yīng)鏈
- 標(biāo)記數(shù)據(jù)的獲取方法及裝置、訓(xùn)練方法及裝置、醫(yī)療設(shè)備
- 一種基于5G網(wǎng)絡(luò)的光場三維浸入式體驗信息傳輸方法及系統(tǒng)
- 用于機(jī)器人生產(chǎn)系統(tǒng)仿真的三維場景管理與文件存儲方法
- 基于三維形狀知識圖譜的三維模型檢索方法及裝置





