[發(fā)明專利]一種車輛行駛決策模型的訓練方法及裝置有效
| 申請?zhí)枺?/td> | 202010078214.6 | 申請日: | 2020-02-03 |
| 公開(公告)號: | CN110929431B | 公開(公告)日: | 2020-06-09 |
| 發(fā)明(設(shè)計)人: | 付圣;任冬淳;夏華夏;丁曙光;錢德恒;王志超;朱炎亮 | 申請(專利權(quán))人: | 北京三快在線科技有限公司 |
| 主分類號: | G06F30/20 | 分類號: | G06F30/20;B60W50/00 |
| 代理公司: | 北京曼威知識產(chǎn)權(quán)代理有限公司 11709 | 代理人: | 方志煒 |
| 地址: | 100080 北京市海*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 車輛 行駛 決策 模型 訓練 方法 裝置 | ||
1.一種車輛行駛決策模型的訓練方法,其特征在于,包括:
根據(jù)歷史數(shù)據(jù),對待訓練的第一決策模型進行訓練,得到訓練后的第一決策模型;所述第一決策模型用于根據(jù)輸入的車輛狀態(tài)信息和環(huán)境信息輸出第一行駛決策;
對所述訓練后的第一決策模型加擾,得到第二決策模型;所述第二決策模型用于根據(jù)輸入的車輛狀態(tài)信息和環(huán)境信息輸出第二行駛決策;
獲取當前的車輛狀態(tài)信息和當前的環(huán)境信息;
將所述當前的車輛狀態(tài)信息和所述當前的環(huán)境信息分別輸入到所述訓練后的第一決策模型和所述第二決策模型,得到第一行駛決策和第二行駛決策;
根據(jù)所述第一行駛決策和所述第二行駛決策,確定用于訓練第三決策模型的標簽;
以所述當前的車輛狀態(tài)信息和所述當前的環(huán)境信息作為輸入,根據(jù)所述標簽,對待訓練的第三決策模型進行訓練。
2.如權(quán)利要求1所述的方法,其特征在于,根據(jù)歷史數(shù)據(jù),對待訓練的第一決策模型進行訓練,具體包括:
將歷史數(shù)據(jù)中包含的指定歷史時刻的車輛狀態(tài)信息和所述指定歷史時刻的環(huán)境信息輸入待訓練的第一決策模型,得到所述待訓練的第一決策模型輸出的預(yù)測軌跡;其中,所述預(yù)測軌跡為在所述指定歷史時刻之后指定時間段內(nèi)的行駛軌跡,所述預(yù)測軌跡包含若干軌跡點,不同的軌跡點對應(yīng)于所述指定時間段中不同的時刻;
根據(jù)所述預(yù)測軌跡中的各軌跡點、所述各軌跡點對應(yīng)的置信度、所述歷史數(shù)據(jù)中包含的所述指定歷史時刻之后的各時刻的車輛狀態(tài)信息,確定所述預(yù)測軌跡與所述歷史數(shù)據(jù)中包含的所述指定歷史時刻之后的各時刻所述車輛的實際軌跡的差異;其中,針對每個軌跡點,該軌跡點對應(yīng)的置信度,與該軌跡點對應(yīng)的時刻距離所述指定歷史時刻的時間長度呈負相關(guān);
以差異最小化為訓練目標,對所述待訓練的第一決策模型進行訓練,得到訓練后的第一決策模型。
3.如權(quán)利要求1所述的方法,其特征在于,對所述訓練后的第一決策模型加擾,得到第二決策模型,具體包括:
調(diào)整所述訓練后的第一決策模型中的至少一個模型參數(shù),得到調(diào)整后的模型,作為第二決策模型。
4.如權(quán)利要求1所述的方法,其特征在于,根據(jù)所述第一行駛決策和所述第二行駛決策,確定用于訓練第三決策模型的標簽,具體包括:
在仿真環(huán)境下對所述第一行駛決策和所述第二行駛決策進行測試,得到所述第一行駛決策和所述第二行駛決策分別對應(yīng)的評分;
根據(jù)所述第一行駛決策的評分和所述第二行駛決策的評分,從所述第一行駛決策和所述第二行駛決策中,選擇作為訓練第三決策模型的標簽的決策。
5.如權(quán)利要求4所述的方法,其特征在于,根據(jù)所述第一行駛決策的評分和所述第二行駛決策的評分,從所述第一行駛決策和所述第二行駛決策中,選擇作為訓練第三決策模型的標簽的決策,具體包括:
根據(jù)所述第一行駛決策的評分和所述第二行駛決策的評分,確定所述第一行駛決策和所述第二行駛決策分別對應(yīng)的選擇概率;其中,所述選擇概率與評分呈正相關(guān);
根據(jù)所述選擇概率,從所述第一行駛決策和所述第二行駛決策中,選擇作為訓練第三決策模型的標簽的決策。
6.如權(quán)利要求1所述的方法,其特征在于,以所述當前的車輛狀態(tài)信息和所述當前的環(huán)境信息作為輸入,根據(jù)所述標簽,對待訓練的第三決策模型進行訓練,具體包括:
將所述當前的車輛狀態(tài)信息和所述當前的環(huán)境信息輸入待訓練的第三決策模型,得到所述待訓練的第三決策模型輸出的第三行駛決策;
根據(jù)所述第三行駛決策、所述用于訓練第三決策模型的標簽,確定所述第三行駛決策的獎勵;
以獎勵最大化為訓練目標,對所述待訓練的第三決策模型進行訓練,得到訓練后的第三決策模型;所述第三決策模型為強化學習模型。
7.如權(quán)利要求1所述的方法,其特征在于,所述車輛狀態(tài)信息包括車輛位姿;
所述環(huán)境信息包括車輛感知的環(huán)境中各障礙物的狀態(tài)信息。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京三快在線科技有限公司,未經(jīng)北京三快在線科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010078214.6/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 決策協(xié)調(diào)方法、執(zhí)行裝置和決策協(xié)調(diào)器
- 一種基于循環(huán)更新模式的決策樹構(gòu)建方法
- 一種基于群決策的建筑項目決策系統(tǒng)及決策方法
- 一種基于反射弧的智慧大腦決策系統(tǒng)及決策方法
- 一種三維消防指揮決策輔助系統(tǒng)
- 一種決策方法、系統(tǒng)以及電子設(shè)備
- 基于決策引擎和模型平臺的業(yè)務(wù)決策邏輯更新方法
- 一種雙層優(yōu)先級決策系統(tǒng)
- 一種應(yīng)用程序的業(yè)務(wù)執(zhí)行方法、裝置及電子設(shè)備
- 基于區(qū)塊鏈的決策方法及裝置和電子設(shè)備





