日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于自適應權重強化學習的六足機器人避障方法有效

專利信息
申請號: 202010416376.6 申請日: 2020-05-17
公開(公告)號: CN111552183B 公開(公告)日: 2021-04-23
發明(設計)人: 李華雄;任其成;陳春林;王嵐;唐開強;王子輝;朱張青;辛博 申請(專利權)人: 南京大學
主分類號: G05B13/04 分類號: G05B13/04
代理公司: 南京北辰聯和知識產權代理有限公司 32350 代理人: 于忠洲
地址: 210093 江*** 國省代碼: 江蘇;32
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 自適應 權重 強化 學習 機器人 方法
【權利要求書】:

1.一種基于自適應權重強化學習的六足機器人避障方法,其特征在于,包括如下步驟:

步驟1,由六足機器人通過測距傳感器測量機器人與前側、左側以及右側三個方向上的障礙物距離,并通過模糊隸屬度函數將測量的障礙物距離轉化為有限的狀態集合;

步驟2,根據有限的狀態集合建立六足機器人避障模型,再利用自適應權重強化學習算法學習出最優網絡模型參數θ*;

步驟3,根據上述學習出的最優網絡模型參數θ*得到六足機器人避障的最優目標策略,由最優目標策略獲得六足機器人在t時刻避障所要采取的動作at

步驟2中,利用自適應權重強化學習算法學習出最優網絡模型參數θ*的具體步驟為:

步驟2.1,根據有限的狀態集合在python中建立六足機器人避障模型;

步驟2.2,設定大循環參數k,且1≤k≤K,K表示終止時刻;

步驟2.3,記錄k時刻六足機器人從環境中獲得的回報值rk以及k時刻六足機器人的狀態sk,將樣本(sk-1,ak-1,rk-1,sk)存入回放存儲中并設置其中ak-1表示在狀態sk-1下六足機器人采取的動作,rk-1表示六足機器人對應獲得的回報值,CIF為對應樣本復雜度指示函數,表示最大的復雜度指示函數中的最大值;

步驟2.4,設定小循環參數m,且m的初始值為1;

步驟2.5,當m≤M時,其中M表示神經網絡訓練的批大小,根據式(3)自適應選擇合適的訓練樣本:

式(3)中,m作為對應樣本編號,P(m)為編號m樣本的采樣概率,ψ為指數隨機因子,CIF為對應樣本復雜度指示函數,指數隨機因子ψ→[0,1]決定采用優先級的程度,當ψ值為0時,為均勻采樣,當ψ值為1時,為優先級采樣;

步驟2.6,計算對應樣本的時間差分誤差δm

式(4)中,rm為樣本m時六足機器人從環境中獲得的回報值,γ∈[0,1]為折扣因子,sm+1為sm的下一個狀態,am+1為狀態sm+1下的動作,θ-為目標Q值網絡參數,θ為主深度Q值網絡參數;

步驟2.7,計算編號m樣本的重要性采樣權重wm

式(5)中,D為回放存儲的容量,P(m)為狀態樣本序列xm=(sm,am,rm,sm+1)的采樣概率,β為補償系數,表示重要性采樣權重參數中的最大值;

步驟2.8,計算權重變化量:

式(6)中,Δ是權重變化率,初始化為0,表示目標Q值網絡對參數θ的導數;

步驟2.9,根據復雜度指示函數式(7)計算編號m樣本的復雜度;

CIFm=RAF(rmm)+ηCPF(cnm+1) (7)

式(7)中,RAF(rmm)為樣本回報值的重要性參數,CPF(cnm+1)被定義為樣本的使用次數的影響參數,為單調遞增的函數,且值域在0到1之間,cnm+1是樣本對應的使用次數,η為樣本的覆蓋懲罰項的權衡參數;

RAF(rmm)的計算公式為:

RAF(rmm)=|δm|*RWF(rm)+τ (8)

式(8)中,τ為一個較小的正數,RWF(rm)的計算公式為:

CPF(cnm+1)的計算公式為:

式(10)中,p和q均大于0,且為兩個預設常數;

步驟2.10,m的值自加1,若m≤M,則返回步驟2.5,若m>M,則結束小循環進入步驟2.11;

步驟2.11,利用隨機梯度下降更新主深度Q值網絡參數,更新公式為:

SGD(θ←θ+λ*Δ,and resetΔ=0) (11)

式(11)中λ為更新步長,式(12)中y為樣本m對應的理論標記值,Loss(θ;Q,y)為損失函數,式(13)中θLoss為損失函數Loss(θ;Q,y)對其中的參數θ的導數;

步驟2.12,延遲更新目標Q值網絡參數:

θ-←θ (14)

式(14)在計算過程中應保持目標Q值網絡參數θ的固定,參數的更新應隔一段時間更新一次;

步驟2.13,六足機器人根據式(15)選擇m時刻目標策略對應的動作am為:

式(15)中,sm表示六足機器人m時刻對應的狀態,π為避障的目標策略,pm表示選擇這個動作的概率,ε為一個較小的正數;

步驟2.14,k的值自加1,若k≤K,則返回步驟2.3,若k>K且公式(12)中的Loss(θ;Q,y)的單調減少而收斂到最小值,則結束大循環,得到了最優網絡模型參數θ*。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于南京大學,未經南京大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://m.szxzyx.cn/pat/books/202010416376.6/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 日韩国产精品一区二区| 国产精品一区二区日韩新区| 国产一区二区三区国产| 欧美一区二区三区爽大粗免费| 国产品久精国精产拍| 国产日韩一区在线| 欧美精品一区免费| 91午夜精品一区二区三区| 狠狠插影院| 亚洲s码欧洲m码在线观看| 国产亚洲久久| 国产精品自产拍在线观看蜜| 日韩亚洲精品视频| 久久久久偷看国产亚洲87| 日本三级香港三级| 中文文精品字幕一区二区| 久久99精品国产| 午夜wwwww| 国产日韩欧美一区二区在线观看| 日本午夜精品一区二区三区| 国产麻豆精品一区二区| 免费91麻豆精品国产自产在线观看| 综合在线一区| 国产在线精品一区| 国产精品一卡二卡在线观看| 午夜色大片| 国产视频1区2区| 欧美精品第1页| 国产日韩欧美不卡| 夜夜夜夜夜猛噜噜噜噜噜gg| 日韩亚洲精品视频| 日本精品三区| 亚洲欧洲国产伦综合| 国产精品一区二区三| 一区二区三区欧美精品| 精品国产免费久久| 国产伦精品一区二区三区免费优势| 日本一区二区三区中文字幕 | 欧美精品在线观看一区二区| 91麻豆精品国产91久久久久| 国产精品日韩在线观看| 强制中出し~大桥未久在线播放 | 久久精品综合| 国产日本一区二区三区| 久久精品国产一区二区三区| 中文字幕一区二区三区又粗| 中文字幕一区三区| 欧美亚洲国产日韩| 狠狠色噜噜狠狠狠四色米奇| 91一区二区三区在线| 午夜理伦影院| 亚洲精品乱码久久久久久按摩| 午夜av片| 十八无遮挡| 精品国产区一区二| 丝袜脚交一区二区| 国产精品日产欧美久久久久| 久久精品亚洲精品| 午夜爽爽爽男女免费观看| 天堂av一区二区三区| 国内精品久久久久影院日本| 96国产精品| 少妇**毛片| 欧美激情图片一区二区| 午夜毛片影院| 亚洲精品乱码久久久久久按摩| 亚洲精品少妇久久久久| 欧美精品五区| 日韩欧美国产另类| 国产精品理人伦一区二区三区| 一区二区免费播放| 中文字幕欧美另类精品亚洲 | 美日韩一区| 一区二区欧美精品| 国产一区日韩精品| 国产乱xxxxx国语对白| 国产理论片午午午伦夜理片2021| 国产一区二区综合| 国产美女一区二区三区在线观看| 久久精品视频中文字幕| 亚洲国产精品日韩av不卡在线| 国产精品18久久久久久白浆动漫| 欧美日韩卡一卡二| 亚洲国产精品入口| 狠狠综合久久av一区二区老牛| 国产在线卡一卡二| 欧美乱战大交xxxxx| 欧美一级不卡| 综合久久色| 日本一二区视频| av午夜电影| 欧美日韩国产123| 狠狠躁夜夜av| 国产色99| 免费看欧美中韩毛片影院| 国产乱码精品一区二区三区中文 | 夜夜精品视频一区二区| 狠狠色狠狠色88综合日日91| 国产97在线看| 黄毛片免费| 久久久久久中文字幕 | 亚州精品中文| 国产精品乱码一区| 日本一区二区免费电影| 精品三级一区二区| 国产91热爆ts人妖系列| 日韩精品中文字幕久久臀| 欧美一区二区三区黄| 亚洲久久在线| 夜夜躁狠狠躁日日躁2024| 国产91精品一区二区麻豆亚洲| 日韩一级片免费视频| 91黄色免费看| 国产一区二区视频免费观看| 国产www亚洲а∨天堂| 91一区二区在线观看| 国产高清在线精品一区二区三区| 国产一区二区二| 久久综合国产精品| 欧美日韩中文不卡| 狠狠色丁香久久婷婷综合_中| 久久精品99国产国产| 天天射欧美| 国产盗摄91精品一区二区三区| 欧美乱码精品一区二区 | 狠狠色噜噜狠狠狠狠色综合久老司机| 99er热精品视频国产| 国产亚洲精品精品国产亚洲综合| 亚洲欧洲精品一区二区三区不卡| 精品一区二区三区中文字幕| 亚洲精品suv精品一区二区| 免费午夜在线视频| 91久久精品在线| 国产99小视频| 日本一区二区在线观看视频| 996久久国产精品线观看| 欧美日韩中文字幕三区| 国产免费观看一区| 国内少妇自拍视频一区| 国产精品欧美一区乱破| 国产精品一级片在线观看| 久久精品99国产精品亚洲最刺激| 三级电影中文| 国产91色综合| 夜夜躁人人爽天天天天大学生| 欧美日韩国产在线一区二区三区| 狠狠躁日日躁狂躁夜夜躁| 欧美黑人巨大久久久精品一区| 国产综合久久精品| 理论片午午伦夜理片在线播放| 国产精品一级片在线观看| 国产一区二区二| 欧美一区二区三区三州| 日韩国产精品一区二区| 欧美亚洲视频二区| 99久久国产综合精品麻豆| 欧美在线视频精品| 国产一区二区视频在线| 自拍偷在线精品自拍偷无码专区| 国产99久久九九精品免费| 国产日韩欧美不卡| 欧美精品国产一区| 野花社区不卡一卡二| 欧美一区二区免费视频| 日韩av在线资源| 丰满岳乱妇bd在线观看k8| 欧美一区二区三区国产精品| 一二三区欧美| 亚洲精品日日夜夜| 精品福利一区二区| 一区不卡av| 国产亚洲精品久久午夜玫瑰园| 国产日韩欧美三级| 精品国产1区2区3区| 国产精品美女久久久免费| 久久国产激情视频| 日韩欧美高清一区二区| 欧美一区二区三区在线免费观看| 久久国产精久久精产国| 国产乱了高清露脸对白| 久久午夜精品福利一区二区 | 国产一区二区精品免费| 午夜伦全在线观看| 四虎影视亚洲精品国产原创优播| 亚洲第一天堂无码专区| 国产呻吟久久久久久久92| 国产足控福利视频一区| 国产乱对白刺激视频在线观看| 99精品国产一区二区三区麻豆 | 久久久久亚洲国产精品| 国产精品美乳在线观看| 99国产午夜精品一区二区天美| 日韩区欧美久久久无人区| 午夜a电影| 波多野结衣巨乳女教师| 一区二区免费在线观看| 国产一区二区在线观看免费| 国产69久久| 亚洲欧美国产中文字幕| 99精品偷拍视频一区二区三区| 妖精视频一区二区三区| 精品久久久久久亚洲综合网 | 亚洲精品国产精品国自| 亚洲欧美日韩在线看| 91精品系列| 亚洲国产日韩综合久久精品| 综合久久一区二区三区| 欧美hdfree性xxxx| 午夜国内精品a一区二区桃色| 国产真裸无庶纶乱视频| 国产欧美精品一区二区三区小说| 国产精品区一区二区三| 欧洲精品一区二区三区久久| 鲁一鲁一鲁一鲁一鲁一av| 中文字幕a一二三在线| 久久99久国产精品黄毛片入口| 久久精品视频3| 久久久精品中文| 狠狠色丁香久久婷婷综合丁香| 日韩午夜三级| 91视频一区二区三区| 久久精品亚洲精品| 国产69精品久久久久孕妇不能看| 国产一区二区精品在线| 亚洲欧美一区二区三区1000| 亚洲一级中文字幕| 大桥未久黑人强制中出| 亚洲欧美一二三| 国产乱xxxxx国语对白| 久久精品一二三| 亚洲精品一区二区另类图片| 一区二区三区免费高清视频| 国产精品视频十区| 国产麻豆精品久久| 欧美日韩国产91| 日韩欧美中文字幕精品| 日韩精品一区二区亚洲| 日韩精品中文字幕在线播放| 91免费国产| 91麻豆精品国产91久久久久推荐资源 | 草逼视频网站| 欧美乱大交xxxxx古装| 丝袜美腿诱惑一区二区| 四季av中文字幕一区| 午夜理伦影院| 国产午夜亚洲精品午夜鲁丝片|