[發明專利]一種基于自適應權重強化學習的六足機器人避障方法

有效

• 申請號: 202010416376.6
• 申請日: 2020-05-17
• 公開（公告）號: CN111552183B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 李華雄;任其成;陳春林;王嵐;唐開強;王子輝;朱張青;辛博
• 申請（專利權）人: 南京大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 南京北辰聯和知識產權代理有限公司 32350
• 代理人: 于忠洲

本發明公開了一種基于自適應權重強化學習的六足機器人避障方法，步驟包括：由六足機器人通過測距傳感器測量機器人與附近各個障礙物的距離，并通過模糊隸屬度函數將測量的障礙物距離轉化為有限的狀態集合；根據有限的狀態集合建立六足機器人避障模型，再利用自適應權重強化學習算法學習出最優網絡模型參數θ*；根據上述訓練好的最優網絡模型參數θ*得到六足機器人避障的最優目標策略，由最優目標策略獲得六足機器人在t時刻避障所要采取的動作a_t。該避障方法能夠在障礙物數量較多的位置環境中實現較好的避障效果，具有良好的市場應用前景。

技術領域

本發明涉及一種機器人避障方法，尤其是一種基于自適應權重強化學習的六足機器人避障方法。

背景技術

六足機器人在結構上具有多冗余自由度，因而具有較高的地形環境適應能力。六足機器人能夠在路況復雜的野外行走、越障，完成輪式或履帶式所不能完成的非結構性環境中的運輸作業，在森林采伐、礦山開采、水下建筑、核工業、軍事運輸及探測、星球探測等領域有著非常廣闊的應用前景。因此，六足機器人的相關研究一直備受各國專家學者的關注，但是如何提高六足機器人在非結構環境下的移動能力仍然是個懸而未決的課題。

傳統的六足機器人步行運動采取固定步態的方法，如三足步態、四足步態、波動步態等，研究者把幾種不同的步態根據參數的不同分別做成幾組步態數據，當有不同需求的時候調用。利用這種步態能夠在平面上表現出良好的行走能力，但在不規則地形特別是未知環境中，機器人則沒有辦法實現穩定的行走，因此迫切需要一種能夠適應未知地形的步態規劃方法。

為了能夠使六足機器人適應復雜非結構路況，需要用到機器學習的方法。在機器學習中，強化學習(Reinforcement Learning)屬于較為活躍的領域，在解決決策等方面其的應用極為廣泛。強化學習相比于其他學習法，其屬于智能體與環境進行交互的過程。從延遲獎勵當中對此近似過程開展學習工作則屬于智能體的根本任務，試錯學習為該任務的核心學習思想，此工作旨在選擇最佳的動作序列，基于此獲取最多的報酬。

發明內容

發明目的：提供一種基于自適應權重強化學習的六足機器人避障方法，能夠使得六足機器人在復雜工作環境中作業。

技術方案：本發明所述的基于自適應權重強化學習的六足機器人避障方法，包括如下步驟：

步驟1，由六足機器人通過測距傳感器測量機器人與前側、左側以及右側三個方向上的障礙物距離，并通過模糊隸屬度函數將測量的障礙物距離轉化為有限的狀態集合；

步驟2，根據有限的狀態集合建立六足機器人避障模型，再利用自適應權重強化學習算法學習出最優網絡模型參數θ*；

步驟3，根據上述學習出的最優網絡模型參數θ*得到六足機器人避障的最優目標策略，由最優目標策略獲得六足機器人在t時刻避障所要采取的動作a_t。

進一步的，步驟1中，通過模糊隸屬度函數將測量的障礙物距離轉化為有限的狀態集合的具體步驟為：

步驟1.1，利用安裝在機器人上的九個測距傳感器測量機器人與前側、左側以及右側三個方向上的障礙物距離，測距傳感器每三個分為一組，三組傳感器分別位于機器人的前側、左側以及右側，假設九個測距傳感器的測量結果分別為a1、a2、a3、b1、b2、b3、c1、c2以及c3，且a1、a2和a3為前側三個測距傳感器的測量值，b1、b2和b3為左側三個測距傳感器的測量值，c1、c2和c3為右側三個測距傳感器的測量值，再通過公式(1)進行處理：

式中，a、b以及c分別為機器人前側、左側以及右側三個方向上的障礙物距離，R^aV為前側三個測距傳感器距離機器人定位中心的平均距離，R^bV為左側三個測距傳感器距離機器人定位中心的平均距離，R^cV為右側三個測距傳感器距離機器人定位中心的平均距離，機器人定位中心為機器人中的定位傳感器安裝位置；