本發(fā)明是一種水下自主航行器在大尺度連續(xù)性障礙物環(huán)境中路徑規(guī)劃避障控制方法。本發(fā)明涉及水下機(jī)器人路徑避障規(guī)劃技術(shù)領(lǐng)域，本發(fā)明建立存在大尺度連續(xù)性障礙物模擬訓(xùn)練環(huán)境，以避障傳感器信息為輸入，航行速度和偏航角速度為輸出搭建深度強(qiáng)化學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的狀態(tài)與動(dòng)作，針對(duì)運(yùn)動(dòng)規(guī)劃避障控制過程的多目標(biāo)結(jié)構(gòu)，對(duì)獎(jiǎng)賞函數(shù)進(jìn)行了模塊化設(shè)計(jì)，為了避免稀疏獎(jiǎng)勵(lì)引起系統(tǒng)不穩(wěn)定，結(jié)合人工勢(shì)場(chǎng)法設(shè)置連續(xù)性獎(jiǎng)勵(lì)。本發(fā)明利用基于改進(jìn)的深度確定性策略梯度算法，對(duì)水下自主航行器進(jìn)行避障訓(xùn)練，將訓(xùn)練所得到的避障策略寫入機(jī)器人下位機(jī)控制系統(tǒng)；水下自主航行器在水下峽谷中行駛時(shí)，利用訓(xùn)練學(xué)習(xí)到的避障策略進(jìn)行避障，安全的到達(dá)目標(biāo)區(qū)域。

技術(shù)領(lǐng)域

本發(fā)明涉及水下機(jī)器人路徑避障規(guī)劃技術(shù)領(lǐng)域，是一種水下自主航行器在大尺度連續(xù)性障礙物環(huán)境中路徑規(guī)劃避障控制方法。

背景技術(shù)

海洋是人類生命的搖籃，其中蘊(yùn)藏著豐富的能源、生物資源和礦產(chǎn)資源，走向海洋逐漸成為人們的共識(shí)，海洋不僅關(guān)系到一個(gè)國家的興衰發(fā)展，更與人類的生存緊密相連。伴隨著海洋開發(fā)、海洋軍事應(yīng)用的需要，水下作業(yè)技術(shù)、作業(yè)裝備的研究與研發(fā)需求日益緊迫。隨著人類科技的進(jìn)步，對(duì)海底世界的探索、海洋環(huán)境探測(cè)和資源調(diào)查監(jiān)測(cè)逐漸成為目前海洋工程及海洋科學(xué)領(lǐng)域的研究熱點(diǎn)課題。目前各國都相近提出由淺海邁向深海發(fā)展的戰(zhàn)略方針，各個(gè)國家的海洋研究機(jī)構(gòu)都把大量人力財(cái)力投向，水下自主航行器(水下自主航行器)的研究，因?yàn)樗伦灾骱叫衅?水下自主航行器)是深海世界探索的最重要的手段，它能在水下代替人類完成某一特定任務(wù)，它可以搭載不同類型的設(shè)備進(jìn)行水下甚至是海底進(jìn)行高效率工作。

海洋深處是一種復(fù)雜多變的環(huán)境，分布著各種山脈，當(dāng)水下自主航行器到達(dá)深海航行時(shí)，水下自主航行器面臨著大大小小的水下峽谷，堅(jiān)硬的谷壁等嚴(yán)重威脅著水下自主航行器安全。此外流體的密度和粘性影響著水下自主航行器在水下的運(yùn)動(dòng)；海流對(duì)水下自主航行器的運(yùn)動(dòng)也存在不確定性的干擾。水下自主航行器必須具備很高的自主避障控制能力才能完成深?？睖y(cè)任務(wù)。因此水下自主航行器在水下峽谷中水下自主航行器自主避障研究是水下自主航行器領(lǐng)域重要技術(shù)之一。

深度確定性策略梯度算法具有良好的在線自適應(yīng)性和對(duì)非線性系統(tǒng)的學(xué)習(xí)能力，在人工智能、機(jī)器學(xué)習(xí)和自動(dòng)控制領(lǐng)域中得到了廣泛的研究；將該算法應(yīng)用于水下自主航行器的控制系統(tǒng)中實(shí)現(xiàn)水下自主航行器自主避障功能以提高其環(huán)境的自適應(yīng)性，另外深度確定性策略梯度算法還可以改善其它規(guī)劃方法的維數(shù)災(zāi)、規(guī)劃時(shí)間長、精度低等問題，對(duì)水下自主航行器的水下峽谷安全航行具有重要的實(shí)際意義。

發(fā)明內(nèi)容

本發(fā)明為實(shí)現(xiàn)水下自主航行器在水下峽谷環(huán)境中避開大型連續(xù)性靜態(tài)障礙物巖壁，安全到達(dá)目標(biāo)區(qū)域，本發(fā)明提供了一種水下自主航行器在大尺度連續(xù)性障礙物環(huán)境中路徑規(guī)劃避障控制方法，本發(fā)明提供了以下技術(shù)方案：

一種水下自主航行器在大尺度連續(xù)性障礙物環(huán)境中路徑規(guī)劃避障控制方法，包括以下步驟：

步驟1：建立水下自主航行器模型與運(yùn)動(dòng)學(xué)模型，獲取水下機(jī)器人周圍障礙物的信息；

步驟2：根據(jù)水下機(jī)器人周圍障礙物的信息，在笛卡爾坐標(biāo)系下建立水下峽谷模擬訓(xùn)練環(huán)境，生成避障策略；

步驟3：將生成的避障策略轉(zhuǎn)化為MDP過程，并進(jìn)行訓(xùn)練得到水下自主航行器連續(xù)性障礙物避障MDP模型的狀態(tài)集；

步驟4：根據(jù)狀態(tài)集進(jìn)行深度強(qiáng)化學(xué)習(xí)訓(xùn)練，直至無碰撞到達(dá)目標(biāo)區(qū)域，并保存避障策略；

步驟5：將深度強(qiáng)化學(xué)習(xí)后保存的避障策略，通過數(shù)據(jù)傳輸給下位機(jī)模塊，指導(dǎo)控制模塊融合傳感器數(shù)據(jù)信息，實(shí)時(shí)計(jì)算出水下自主航行器偏航角及速度，此時(shí)的水下自主航行器偏航角及速度，引導(dǎo)水下自主航行器避開水下峽谷巖壁，并到達(dá)目標(biāo)區(qū)域，完成航行任務(wù)。

優(yōu)選地，所述步驟1具體為：