[發(fā)明專利]一種教學(xué)行為的分析方法、裝置、系統(tǒng)及設(shè)備在審
| 申請(qǐng)?zhí)枺?/td> | 202010135954.9 | 申請(qǐng)日: | 2020-03-02 |
| 公開(kāi)(公告)號(hào): | CN111353439A | 公開(kāi)(公告)日: | 2020-06-30 |
| 發(fā)明(設(shè)計(jì))人: | 張軼君;朱玉榮 | 申請(qǐng)(專利權(quán))人: | 北京文香信息技術(shù)有限公司 |
| 主分類號(hào): | G06K9/00 | 分類號(hào): | G06K9/00;G06K9/62;G06N3/08;G06Q50/20 |
| 代理公司: | 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227 | 代理人: | 郭化雨 |
| 地址: | 100176 北京市大興區(qū)北京經(jīng)濟(jì)*** | 國(guó)省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說(shuō)明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 教學(xué) 行為 分析 方法 裝置 系統(tǒng) 設(shè)備 | ||
1.一種教學(xué)行為的分析方法,其特征在于,應(yīng)用于教學(xué)行為分析,所述方法包括:
獲取待處理圖像,所述待處理圖像中攜帶有用戶的肢體信息和面部信息;
將所述待處理圖像輸入到行為特征分析模型,得到所述用戶的行為特征的分析結(jié)果;
其中,所述行為特征分析模型是基于訓(xùn)練數(shù)據(jù)和所述訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的分析結(jié)果進(jìn)行訓(xùn)練得到的;所述訓(xùn)練數(shù)據(jù)為攜帶有肢體信息和面部信息的歷史圖像,所述訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的分析結(jié)果為所述歷史圖像的預(yù)設(shè)分析結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述行為特征分析模型包括:第一特征提取層、第二特征提取層、特征融合層和輸出層;
將所述待處理圖像輸入到行為特征分析模型,得到所述用戶的行為特征得分具體包括:
將所述待處理圖像輸入到所述第一特征提取層,獲得肢體特征向量;將所述待處理圖像輸入到所述第二特征提取層,獲得面部特征向量;
將所述肢體特征向量和所述面部特征向量輸入到特征融合層,獲得融合特征向量;
將所述融合特征向量輸入到輸出層,輸出所述待處理圖像的行為特征的分析結(jié)果。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述行為特征分析模型還包括:特征匹配層;在將所述肢體特征向量和所述面部特征向量輸入到特征融合層之前,所述方法還包括:
將所述肢體特征向量和所述面部特征向量輸入到所述特征匹配層,輸出所述肢體特征向量與所述面部特征向量匹配。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述特征匹配層包括第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)和第三神經(jīng)網(wǎng)絡(luò);將所述肢體特征向量和所述面部特征向量輸入到所述特征匹配層,輸出所述肢體特征向量與所述面部特征向量匹配具體包括:
將所述肢體特征向量輸入到所述第一神經(jīng)網(wǎng)絡(luò),輸出所述肢體特征向量的位置;將所述面部特征向量輸入到所述第二神經(jīng)網(wǎng)絡(luò),輸出所述面部特征向量的位置;
將所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)的輸出,輸入到所述第三神經(jīng)網(wǎng)絡(luò),當(dāng)所述肢體特征向量的位置與所述面部特征向量的位置低于預(yù)設(shè)閾值時(shí),輸出所述肢體特征向量與所述面部特征向量匹配。
5.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法,其特征在于,所述肢體特征向量的位置至少包括以下一種:手的位置坐標(biāo)、肘的位置坐標(biāo)和肩的位置坐標(biāo);所述面部特征向量的位置包括:五官的位置坐標(biāo)。
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述行為特征的分析結(jié)果至少包括以下一種:參與度、專注度和疑惑度,當(dāng)所述行為特征的分析結(jié)果包括參與度時(shí),所述參與度與所述肢體特征向量正相關(guān);當(dāng)所述行為特征的分析結(jié)果包括專注度時(shí),所述專注度與所述面部特征向量正相關(guān);當(dāng)所述行為特征的分析結(jié)果包括疑惑度時(shí),所述疑惑度與所述肢體特征向量和所述面部特征向量的加權(quán)結(jié)果正相關(guān)。
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述方法還包括:將所述疑惑度大于預(yù)設(shè)值的圖像進(jìn)行標(biāo)記。
8.一種教學(xué)行為的分析裝置,其特征在于,應(yīng)用于教學(xué)行為分析,所述裝置包括:獲取單元和輸入單元;
所述獲取單元,用于獲取待處理圖像,所述待處理圖像中攜帶有用戶的肢體信息和面部信息;
所述輸入單元,用于將所述待處理圖像輸入到行為特征分析模型,得到所述用戶的行為特征的分析結(jié)果;
其中,所述行為特征分析模型是基于訓(xùn)練數(shù)據(jù)和所述訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的分析結(jié)果進(jìn)行訓(xùn)練得到的;所述訓(xùn)練數(shù)據(jù)為攜帶有肢體信息和面部信息的歷史圖像,所述訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的分析結(jié)果為所述歷史圖像的預(yù)設(shè)分析結(jié)果。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京文香信息技術(shù)有限公司,未經(jīng)北京文香信息技術(shù)有限公司許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010135954.9/1.html,轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06K 數(shù)據(jù)識(shí)別;數(shù)據(jù)表示;記錄載體;記錄載體的處理
G06K9-00 用于閱讀或識(shí)別印刷或書寫字符或者用于識(shí)別圖形,例如,指紋的方法或裝置
G06K9-03 .錯(cuò)誤的檢測(cè)或校正,例如,用重復(fù)掃描圖形的方法
G06K9-18 .應(yīng)用具有附加代碼標(biāo)記或含有代碼標(biāo)記的打印字符的,例如,由不同形狀的各個(gè)筆畫組成的,而且每個(gè)筆畫表示不同的代碼值的字符
G06K9-20 .圖像捕獲
G06K9-36 .圖像預(yù)處理,即無(wú)須判定關(guān)于圖像的同一性而進(jìn)行的圖像信息處理
G06K9-60 .圖像捕獲和多種預(yù)處理作用的組合
- 過(guò)濾以及監(jiān)控程序的行為的方法
- 數(shù)據(jù)挖掘的方法和裝置
- 網(wǎng)絡(luò)異常行為檢測(cè)方法及檢測(cè)裝置
- 基于大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的異常行為檢測(cè)方法和系統(tǒng)
- 用于檢測(cè)用戶行為的方法和裝置
- 行為數(shù)據(jù)分析方法及裝置
- 一種基于網(wǎng)絡(luò)的行為教育方法
- 網(wǎng)絡(luò)行為分類方法、設(shè)備、存儲(chǔ)介質(zhì)及裝置
- 一種在線支付業(yè)務(wù)行為的異常檢測(cè)方法、裝置及電子設(shè)備
- 行為采集方法及系統(tǒng)
- 一種數(shù)據(jù)庫(kù)讀寫分離的方法和裝置
- 一種手機(jī)動(dòng)漫人物及背景創(chuàng)作方法
- 一種通訊綜合測(cè)試終端的測(cè)試方法
- 一種服裝用人體測(cè)量基準(zhǔn)點(diǎn)的獲取方法
- 系統(tǒng)升級(jí)方法及裝置
- 用于虛擬和接口方法調(diào)用的裝置和方法
- 線程狀態(tài)監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)
- 一種JAVA智能卡及其虛擬機(jī)組件優(yōu)化方法
- 檢測(cè)程序中方法耗時(shí)的方法、裝置及存儲(chǔ)介質(zhì)
- 函數(shù)的執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)





