偷拍一区二区三区_亚洲欧美日韩偷拍_亚洲第一免费网站_99精品视频在线免费观看_久久亚洲精品国产_国产成人无码一二三区视频_欧美激情xxxxx_国产精品毛片高清在线完整版_一色道久久88加勒比一_一区二区欧美久久_五月婷婷六月婷婷_国产精品成人久久久久

[發明專利]一種水下自主航行器在大尺度連續性障礙物環境中路徑規劃避障控制方法有效

專利信息
申請號: 202011109095.2 申請日: 2020-10-16
公開(公告)號: CN112241176B 公開(公告)日: 2022-10-28
發明(設計)人: 孫玉山;羅孝坤;張國成;冉祥瑞;柴璞鑫;薛源;于鑫;張紅星 申請(專利權)人: 哈爾濱工程大學
主分類號: G05D1/06 分類號: G05D1/06
代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211 代理人: 張宏威
地址: 150001 黑龍江*** 國省代碼: 黑龍江;23
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 水下 自主 航行 尺度 連續性 障礙物 環境 路徑 規劃 控制 方法
【權利要求書】:

1.一種水下自主航行器在大尺度連續性障礙物環境中路徑規劃避障控制方法,其特征是:包括以下步驟:

步驟1:建立水下自主航行器模型與運動學模型,獲取水下自助航行器周圍障礙物的信息;

步驟2:根據水下自助航行器周圍障礙物的信息,在笛卡爾坐標系下建立水下峽谷模擬訓練環境,生成避障策略;

步驟3:將生成的避障策略轉化為MDP過程,并進行訓練得到水下自主航行器連續性障礙物避障MDP模型的狀態集;

步驟4:根據狀態集進行深度強化學習訓練,直至無碰撞到達目標區域,并保存避障策略;

步驟5:將深度強化學習后保存的避障策略,通過數據傳輸給下位機模塊,指導控制模塊融合傳感器數據信息,實時計算出水下自主航行器偏航角及速度,此時的水下自主航行器偏航角及速度,引導水下自主航行器避開水下峽谷巖壁,并到達目標區域,完成航行任務;

所述步驟4具體為:

步驟4.1:在仿真系統模塊中,基于水下自主航行器大尺度連續性障礙物避障MDP模型的狀態集,建立仿真試驗平臺,搭建python編譯環境,編寫分層強化學習訓練模塊,利用pyglet庫建立水下峽谷海洋環境,建立水下自主航行器運動學模型和障礙物運動學模型,導入利用Python語言編寫實現基于SumTree-DDPG的連續性障礙物環境避障控制器,設置水下自主航行器的初始參數及神經網絡訓練超參數,進行訓練;

步驟4.2:進行訓練:水下自主航行器在水下峽谷環境中根據初始速度和初始偏航角運動,并且水下自主航行器的7個聲吶探測的環境數據作為深度強化學習的狀態,當7個聲吶探測的范圍中沒有障礙物,水下自主航行器允許繼續學習探索,直到到達目標區域,結束該回合學習;

步驟4.3:當7個聲吶探測的范圍存在障礙物且探測線的最小距離小于安全距離,表明水下自主航行器與障礙物相撞,該回合結束,回到起點重新開始學習;

不斷的循環學習,直到每個回合都是無碰撞到達目標區域而觸發的回合結束,此時表明訓練收斂,保存學習到的策略;

所述SumTree-DDPG避障控制器具體實現過程為:

步驟4.1.1:隨機初始化評論家網絡Q(s,a|θQ)和演員網絡μ(s|θu)的權重參數θQ和θμ;初始化目標網絡Q'和μ',網絡權重參數為θQ'←θQμ'←θμ;初始化SumTree并定義容量為H=φ,記憶庫數據存儲到達最大容量為lenMax(Data)=M;設置初始位置為當前狀態,到達目標區域為目標狀態;

狀態空間為水下自主航行器7個避障聲吶的實時探測到與障礙物或目標的距離,確定在時刻t的狀態,通過下式表示在時刻t的狀態:

步驟4.1.2:初始化動作空間,在時刻t定義動作空間為偏航角速度ω(t)和水平速度V(t),確定at,通過下式表示動作集at

訓練回合數Ep最大回合數10000初始化為Ep=1;

步驟4.1.3:Ep回合中時間步t最大時間步2000為初始化t=1;

步驟4.1.4:在線Actor策略網絡根據當前狀態st策略選擇出包含水下自主航行器的偏航角速度及水平速度的動作集,通過下式表示當前狀態下動作集:

at=μ(stμ)+Nt

根據輸出的動作結合水下自主航行器的水平面3自由度的運動學模型,得到微分式,通過下式表示微分式:

其中,為水下自主航行器大地坐標系下的水平面位置矢量包含水平面位置坐標和偏航角;υ(t)為水下自主航行器在載體下的水平面速度矢量包含水平速度和偏航角速度;R(ψ(t))為轉換矩陣;ψ(t)為時間步t時水下自主航行器的偏航角,并且為ψ(t)對時間步t的微分;u(t),v(t),r(t)分別時間步t時水下自主航行器在隨體坐標系下的水平速度矢量的X軸向分量、Y軸向分量和偏航角速度;

根據四階龍格-庫塔法求解微分式,得到執行動作后的新位置向量η(t+1),通過下式表示所述向量:

η(t+1)=[x(t+1),y(t+1),ψ(t+1)]T∈R3

由執行動作后的新位置向量轉到下一個狀態st+1,獲得即時獎勵值rt

將四元組(st,at,rt,st+1)存入SumTree結構H=φ,當數據存儲到達最大容量時,len(Data)>M,從SumTree容量中H=φ中依據采樣概率權重ωk=(P(k)/minjP(j))采樣小批量的N個經驗樣本其中,表示時間步t時的第k條經驗樣本,并且k=1,2,…,N,N為小批量樣本總數;

從SumTree容量中采樣小批量的N個經驗樣本構成數據集,發送給在線策略網絡、目標策略網絡、在線評價網絡和目標評價網絡;

根據采樣的數據集,目標策略網絡根據狀態st+1輸出動作a′t+1,計算目標Q值,記為yi,通過下式表示yi

yi=ri+γQ'(si+1,μ'(si+1μ')|θQ');

目標評價網絡根據狀態st+1、目標策略網絡輸出的動作a′t+1和目標Q值的yi,更新損失函數更新評論家在線評價網絡參數θ,通過下式進行在線評價:

其中,L為損失函數;

將小批量的N個經驗樣本結合隨機梯度下降法,更新演員網絡的策略和在線策略網絡參數δ,通過下式進行更新:

其中,為抽樣策略梯度;

根據在線網絡參數θ和δ以軟更新的形式更新θ'和δ':

其中τ在線網絡參數的權重;

步驟4.1.5:更新SumTree結構中每個節點的優先值,pk←|δj|;

步驟4.1.6:回合數用Ep表示,Ep=1回合中時間步t=t+1,重復運行步驟4.1.4到步驟4.1.5;

當在t≤2000時水下自主航行器進行探索過程碰撞障礙物或者到達目標區域轉,回合數Ep=Ep+1,重復運行步驟4.1.3到步驟4.1.6;

當Ep=10000,水下自主航行器在大尺度連續性障礙物環境訓練完成,保存學習后的避障策略。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于哈爾濱工程大學,未經哈爾濱工程大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.17sss.com.cn/pat/books/202011109095.2/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
成人黄色在线免费| 亚洲天堂精品视频| 欧美做爰啪啪xxxⅹ性| 精品乱码一区二区三区| 日韩欧美在线视频观看| 久久精品国产亚洲AV无码男同 | 欧美裸体bbwbbwbbw| 1级黄色大片儿| 免费毛片一区二区三区久久久| 亚洲视频一区在线| 少妇愉情理伦三级| 国产欧美精品一区二区三区-老狼| 国产精品一二三| 日本一区二区黄色| 久久成人人人人精品欧| 久久蜜桃香蕉精品一区二区三区| 人与动物性xxxx| 91久久国产婷婷一区二区| 午夜欧美一区二区三区在线播放| 欧美成人短视频| 日本一区二区视频| 亚洲欧美综合图区| 看电视剧不卡顿的网站| 国产三级黄色片| 亚洲r级在线观看| 日韩网站在线看片你懂的| 日韩极品在线观看| 精品人妻一区二区三区日产乱码卜| 国产日韩在线免费| 亚洲电影在线免费观看| 中文字幕在线观看免费视频| 无码专区aaaaaa免费视频| 日本精品视频一区二区三区| 国产精品suv一区二区88| 成人国产1314www色视频| 日韩欧美在线一区二区三区| 婷婷在线免费观看| 久久久无码人妻精品一区| 成人国产精品一区二区| 欧美精品乱码久久久久久按摩| 国产后入清纯学生妹| 熟妇女人妻丰满少妇中文字幕| 成人免费激情视频| 欧美午夜电影在线播放| 国产一区不卡视频| 国产毛片欧美毛片久久久| 久久久一二三四| 国产亚洲精品91在线| 日本一区二区三区在线不卡| 国模无码国产精品视频| 六月丁香婷婷激情| 国产精品青青在线观看爽香蕉 | 国产一区免费在线| 日韩在线激情视频| 欧美性受xxxx| 国产精品无人区| 亚洲性在线观看| 韩国三级hd中文字幕| 欧美啪啪免费视频| 欧美最近摘花xxxx摘花| 91精品欧美综合在线观看最新| 国产精品剧情在线亚洲| 国产黄色片网站| 日韩三级在线观看视频| 亚洲欧美天堂在线| 日韩欧美视频一区二区三区四区| 91精品国产九九九久久久亚洲| 亚洲福利视频久久| 亚洲色图另类专区| 老司机精品导航| 一级特黄特色的免费大片视频| 黄页网站在线看| 日韩精品 欧美| 99视频免费观看蜜桃视频| 亚洲欧美国产制服动漫| 亚洲一级二级在线| 国产日韩欧美精品在线| 高清不卡一区二区| 91麻豆国产视频| 欧美成人aaaaⅴ片在线看| 亚洲a v网站| 国产a级片视频| 欧美国产亚洲一区| 国产人妻互换一区二区| 日本不卡一区二区三区视频| 亚洲va久久久噜噜噜久久天堂| 91精品国产色综合久久不卡98| 这里精品视频免费| 91精品欧美综合在线观看最新| 欧美日韩亚洲系列| 国产三级精品三级| 久久久精品天堂| 91在线porny国产在线看| 国v精品久久久网| 蜜臀av中文字幕| 午夜久久久久久久久久影院| 国产成人自拍视频在线| 日韩女优在线观看| 特黄视频免费看| 六月丁香在线视频| 樱花视频在线免费观看| 欧美精品久久久久久久自慰| 国产91对白在线播放| 亚洲欧美一区二区三区久久| 精品视频在线免费看| 国产精品不卡在线| 成人18视频日本| 激情亚洲综合在线| 天天干天天干天天干| 日本在线视频中文字幕| 秋霞精品一区二区三区| 亚洲国产精品狼友在线观看| 亚洲av成人片色在线观看高潮| 中文字幕人妻一区二区三区| 中文字幕在线观看日| 亚洲精品乱码久久久久久蜜桃欧美| 免费不卡的av| 中文字幕国产综合| 欧美做受高潮中文字幕| 深夜福利网站在线观看| 在线国产视频一区| 亚洲精品国产一区黑色丝袜| 性色av蜜臀av浪潮av老女人| 日本伦理一区二区三区| 精品日韩在线视频| 99精品人妻国产毛片| 欧美一区二区在线观看视频| 国产片在线播放| 青草av.久久免费一区| av在线播放成人| 一区二区三区在线视频观看58 | 这里只有精品66| 大陆av在线播放| 99999精品| 99在线视频免费| 国语对白做受69按摩| 男女激情视频一区| 国产精品久久久久7777按摩| 色偷偷成人一区二区三区91| 亚洲一级一级97网| 久久伊人色综合| 国产伦理久久久| 波多野结衣作品集| aaaaa级少妇高潮大片免费看| 91社区视频在线观看| 一区二区国产欧美| 老司机精品视频网站| 国产精品三级久久久久三级| 亚洲在线中文字幕| 亚洲日韩中文字幕在线播放| 亚洲在线免费看| av免费网站观看| 国产一级片视频| 精品一区二区三区免费观看| 久久久久久久网| 欧美成人猛片aaaaaaa| 国产精品91在线观看| 中文字幕乱码免费| 蜜桃av免费观看| 日本vs亚洲vs韩国一区三区| 亚洲欧美一区二区久久| 91麻豆精品国产91久久久久久| 欧美激情高清视频| 欧美亚洲爱爱另类综合| 亚洲一区二区图片| 国产精品16p| 老司机免费视频久久| 精品免费在线视频| 69视频在线播放| 色狠狠久久av五月综合| 在线 丝袜 欧美 日韩 制服| 开心激情综合网| 午夜精品在线视频一区| 国产午夜精品一区二区三区| 欧美在线播放一区二区| 丰满人妻一区二区三区免费视频棣| 日韩av免费播放| 国产精品国产三级国产aⅴ入口 | 国产999精品久久久影片官网| 国产精品国产三级国产专区51| 国产乱人乱偷精品视频a人人澡| 国产精品2024| 久久久人成影片一区二区三区| 久久一区二区电影| 国产美女精品人人做人人爽| 欧美在线视频a| 九九热最新视频| 色欧美片视频在线观看在线视频| 欧美一性一乱一交一视频| 成人一级片网站| www.色亚洲| 日韩一级片在线播放| 国产一区二区精品免费| 亚欧在线免费观看| 激情网站在线观看| 青娱乐精品视频| 欧美色爱综合网| 精品一区二区三区视频日产| 一级在线观看视频| 26uuu精品一区二区三区四区在线| 欧美一级片在线看| 视频一区二区在线观看| 国产成人在线免费观看视频| 亚洲一区二区三区免费视频| 国产精品1234| a级片在线观看视频| 国产成人8x视频一区二区| 欧美xxxxx牲另类人与| 国产精品综合久久久久久| 日韩av片在线免费观看| 国产精品看片你懂得| 国产精品xxx视频| 久久久久亚洲av无码麻豆| 日本加勒比一区| 日韩经典第一页| 高清无码视频直接看| 亚洲精品911| 日韩一区二区免费在线电影| 国产视频在线观看网站| 天天综合天天色| 在线精品国产成人综合| 亚州精品一二三区| 高清成人免费视频| 久久精品青青大伊人av| 麻豆传媒在线看| 国产精品亚洲一区二区三区在线| 久久久久久久久国产| 性鲍视频在线观看| 久久久一区二区三区| **亚洲第一综合导航网站| www.4hu95.com四虎| 欧美午夜电影在线| 麻豆传媒一区二区| 日本少妇吞精囗交| 精品久久香蕉国产线看观看gif| 欧美性色黄大片人与善| 精品人妻无码一区二区| 美女av一区二区三区| 国产在线免费av| 欧美三级欧美成人高清www| 青青草视频国产| 免费在线看成人av| 国产精品成人aaaaa网站| 五月激情六月丁香| 日韩av在线直播| 九九九九九九九九| 成人免费一区二区三区视频| 亚洲一区二区三区免费观看| 久草在线在线精品观看| 欧美激情va永久在线播放| 亚洲综合自拍网| 91国偷自产一区二区使用方法| 亚洲综合激情五月| 成人美女视频在线观看| 久久久久se| 天天操天天干天天舔| 日本a级片电影一区二区| 欧美日韩国产一二三区| 日韩一区二区在线观看| 国产香蕉精品视频| 亚洲自拍偷拍综合| 樱花www成人免费视频| 另类小说视频一区二区| 98精品国产高清在线xxxx天堂| 欧美一级片免费在线观看| 欧美一区二区三区喷汁尤物| 国产白袜脚足j棉袜在线观看| 亚洲四区在线观看| 黄色一级片播放| 国产日产亚洲精品系列| 国产女主播av| 国产精品妹子av| 国产经典久久久| 国产精品456| 在线播放 亚洲| 中文欧美字幕免费| 俄罗斯av网站| 亚洲午夜av在线| 欧美日韩第二页| 91九色02白丝porn| 国产精品亚洲无码| 日韩精品在线一区| 亚洲欧美小视频| 久久精品国产欧美亚洲人人爽| 欧美人妻精品一区二区免费看| 亚洲精美色品网站| 一区二区在线免费看| 亚洲欧洲av色图| 日韩中文字幕二区| 91黄色免费网站| 欧美多人猛交狂配| 视频在线一区二区| 97在线视频人妻无码| 国产91在线播放| 国产精品77777| 在线观看17c| 欧美色xxxx| 亚洲午夜久久久久久久久红桃| 欧美一级淫片007| 久久精品美女视频| 国产精品v片在线观看不卡| 亚洲va天堂va欧美ⅴa在线| 国产在线精品一区二区三区》| 精品综合久久久久久8888| 欧美日韩亚洲在线| 亚洲夂夂婷婷色拍ww47| 日本一二三区在线| 一区二区中文字幕| 超碰人人人人人人| 椎名由奈jux491在线播放| 亚洲国产另类av| 影音先锋男人资源在线观看| 精品国内亚洲在观看18黄| 久久精品91| www.欧美黄色| 欧美一区二区三区免费大片 | 亚洲亚裔videos黑人hd| 国产精品第9页| 91精品美女在线| 成人av电影免费在线播放| 青青草国产精品视频| 亚洲欧美日韩中文播放 | 国产伦精品一区二区三区| 久久久久久久一区| 五级黄高潮片90分钟视频| 久久久久中文字幕| 久久久一区二区三区捆绑**| 中文字幕成人在线视频| 久久精品久久久久久国产 免费| 四虎永久在线观看| 成年丰满熟妇午夜免费视频| 精品欧美久久久| 夜夜爽8888| 手机看片福利永久国产日韩| 欧美精品免费视频| 蜜臀久久99精品久久久| 超碰在线公开97| 精品国产一区二区三区在线观看 | www.日本久久| 九九热精品视频| 懂色av一区二区夜夜嗨| 国产精品扒开腿做爽爽| 成人深夜直播免费观看| 91久久国产最好的精华液| 精品久久久久中文慕人妻| 男人操女人免费软件| 久久成人亚洲精品| 久久麻豆一区二区| 欧美日韩中文字幕在线观看| 久久久久一区二区| 91精品国产综合久久香蕉的特点 | 99re在线| 欧美zozozo| 精品系列免费在线观看| xxx在线播放| 成人免费视频网站| 日韩一区二区三区观看| 国产成人精品三级| 久久久久久av无码免费网站| 欧美中日韩免费视频| 亚洲精品视频网上网址在线观看| 成人99免费视频| 久久久久久久亚洲| 日本在线观看a| 欧美最猛性xxxxx(亚洲精品)| 综合久久久久久| 亚洲精品97久久中文字幕无码| 大尺度在线观看| 日本精品免费| 日韩在线观看你懂的| 亚洲大片一区二区三区| 久久一区二区三区超碰国产精品| 欧美日韩一区二区三区电影| 欧美牲交a欧美牲交aⅴ免费真| 色婷婷久久久久swag精品| www.com毛片| 91av网站在线播放| 精品久久久久久久久久国产| 日韩精品乱码av一区二区| 成人一级片网站| 91精品视频在线| 精品免费视频.| 972aa.com艺术欧美| 日本少妇毛茸茸高潮| 人人干人人干人人| 成人免费在线看片| 在线观看国产精品淫| 亚洲精品乱码久久久久久久久 | 欧美a级理论片| 国产一级片免费| 激情六月丁香婷婷| 精品一区二区三区国产| 久久天天躁日日躁| 9191久久久久久久久久久| 中文字幕亚洲一区二区av在线| 中文字幕在线观看你懂的| 久久精品国产99久久99久久久| 欧美日韩精品综合| 国产亚洲综合久久| 欧美性受xxxx黑人xyx性爽| 国产欧美一区二区精品性色 | 中文字幕一区二区三区波野结| 97超碰人人干| 日本熟妇毛耸耸xxxxxx| 国产在线观看免费视频今夜| 亚洲AV成人无码精电影在线| 肉色超薄丝袜脚交| 五月天六月丁香| 亚洲 中文字幕 日韩 无码| 国产精品免费看久久久无码|