日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于自適應權重強化學習的六足機器人避障方法有效

專利信息
申請號: 202010416376.6 申請日: 2020-05-17
公開(公告)號: CN111552183B 公開(公告)日: 2021-04-23
發明(設計)人: 李華雄;任其成;陳春林;王嵐;唐開強;王子輝;朱張青;辛博 申請(專利權)人: 南京大學
主分類號: G05B13/04 分類號: G05B13/04
代理公司: 南京北辰聯和知識產權代理有限公司 32350 代理人: 于忠洲
地址: 210093 江*** 國省代碼: 江蘇;32
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 自適應 權重 強化 學習 機器人 方法
【權利要求書】:

1.一種基于自適應權重強化學習的六足機器人避障方法,其特征在于,包括如下步驟:

步驟1,由六足機器人通過測距傳感器測量機器人與前側、左側以及右側三個方向上的障礙物距離,并通過模糊隸屬度函數將測量的障礙物距離轉化為有限的狀態集合;

步驟2,根據有限的狀態集合建立六足機器人避障模型,再利用自適應權重強化學習算法學習出最優網絡模型參數θ*;

步驟3,根據上述學習出的最優網絡模型參數θ*得到六足機器人避障的最優目標策略,由最優目標策略獲得六足機器人在t時刻避障所要采取的動作at

步驟2中,利用自適應權重強化學習算法學習出最優網絡模型參數θ*的具體步驟為:

步驟2.1,根據有限的狀態集合在python中建立六足機器人避障模型;

步驟2.2,設定大循環參數k,且1≤k≤K,K表示終止時刻;

步驟2.3,記錄k時刻六足機器人從環境中獲得的回報值rk以及k時刻六足機器人的狀態sk,將樣本(sk-1,ak-1,rk-1,sk)存入回放存儲中并設置其中ak-1表示在狀態sk-1下六足機器人采取的動作,rk-1表示六足機器人對應獲得的回報值,CIF為對應樣本復雜度指示函數,表示最大的復雜度指示函數中的最大值;

步驟2.4,設定小循環參數m,且m的初始值為1;

步驟2.5,當m≤M時,其中M表示神經網絡訓練的批大小,根據式(3)自適應選擇合適的訓練樣本:

式(3)中,m作為對應樣本編號,P(m)為編號m樣本的采樣概率,ψ為指數隨機因子,CIF為對應樣本復雜度指示函數,指數隨機因子ψ→[0,1]決定采用優先級的程度,當ψ值為0時,為均勻采樣,當ψ值為1時,為優先級采樣;

步驟2.6,計算對應樣本的時間差分誤差δm

式(4)中,rm為樣本m時六足機器人從環境中獲得的回報值,γ∈[0,1]為折扣因子,sm+1為sm的下一個狀態,am+1為狀態sm+1下的動作,θ-為目標Q值網絡參數,θ為主深度Q值網絡參數;

步驟2.7,計算編號m樣本的重要性采樣權重wm

式(5)中,D為回放存儲的容量,P(m)為狀態樣本序列xm=(sm,am,rm,sm+1)的采樣概率,β為補償系數,表示重要性采樣權重參數中的最大值;

步驟2.8,計算權重變化量:

式(6)中,Δ是權重變化率,初始化為0,表示目標Q值網絡對參數θ的導數;

步驟2.9,根據復雜度指示函數式(7)計算編號m樣本的復雜度;

CIFm=RAF(rmm)+ηCPF(cnm+1) (7)

式(7)中,RAF(rmm)為樣本回報值的重要性參數,CPF(cnm+1)被定義為樣本的使用次數的影響參數,為單調遞增的函數,且值域在0到1之間,cnm+1是樣本對應的使用次數,η為樣本的覆蓋懲罰項的權衡參數;

RAF(rmm)的計算公式為:

RAF(rmm)=|δm|*RWF(rm)+τ (8)

式(8)中,τ為一個較小的正數,RWF(rm)的計算公式為:

CPF(cnm+1)的計算公式為:

式(10)中,p和q均大于0,且為兩個預設常數;

步驟2.10,m的值自加1,若m≤M,則返回步驟2.5,若m>M,則結束小循環進入步驟2.11;

步驟2.11,利用隨機梯度下降更新主深度Q值網絡參數,更新公式為:

SGD(θ←θ+λ*Δ,and resetΔ=0) (11)

式(11)中λ為更新步長,式(12)中y為樣本m對應的理論標記值,Loss(θ;Q,y)為損失函數,式(13)中θLoss為損失函數Loss(θ;Q,y)對其中的參數θ的導數;

步驟2.12,延遲更新目標Q值網絡參數:

θ-←θ (14)

式(14)在計算過程中應保持目標Q值網絡參數θ的固定,參數的更新應隔一段時間更新一次;

步驟2.13,六足機器人根據式(15)選擇m時刻目標策略對應的動作am為:

式(15)中,sm表示六足機器人m時刻對應的狀態,π為避障的目標策略,pm表示選擇這個動作的概率,ε為一個較小的正數;

步驟2.14,k的值自加1,若k≤K,則返回步驟2.3,若k>K且公式(12)中的Loss(θ;Q,y)的單調減少而收斂到最小值,則結束大循環,得到了最優網絡模型參數θ*。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于南京大學,未經南京大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://m.szxzyx.cn/pat/books/202010416376.6/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 中文在线一区二区三区| 中文字幕av一区二区三区四区| 国产一级一区二区| 欧美一区二区三区久久| 国产专区一区二区| 久久精品爱爱视频| 欧美高清xxxxx| 黄色香港三级三级三级| 久久精品一二三| 欧美在线观看视频一区二区| 中日韩欧美一级毛片| 一区二区三区国产精品视频| 亚洲国产精品97久久无色| 欧美日韩国产三区| 欧美二区在线视频| 亚洲乱码一区二区| 国产日韩一区二区三免费| 国语对白一区二区三区| 欧美高清视频一区二区三区| 国产伦精品一区二| 国产69精品福利视频| 国产欧美一区二区精品久久| 亚洲精品无吗| 日本中文字幕一区| 免费观看xxxx9999片| 国产一级片一区二区| 国产精一区二区三区| 亚洲欧美国产精品va在线观看| 欧美色综合天天久久综合精品| 91制服诱惑| 亚洲女人av久久天堂| 欧美精品在线视频观看| 欧美一区视频观看| 中文字幕制服狠久久日韩二区| 99久久国产综合精品麻豆| 国产欧美一区二区精品久久久| 久久免费视频99| 高清国产一区二区三区| 国产91丝袜在线播放动漫| 夜夜夜夜夜猛噜噜噜噜噜gg| 国产69精品久久| 国产69精品久久久久男男系列| av午夜剧场| 国产亚洲精品久久19p| 狠狠色噜噜狠狠狠狠色吗综合| 日韩精品久久一区二区| 久爱精品视频在线播放| 国内久久久久久| 免费xxxx18美国| 国产一区二区a| 亚洲色欲色欲www| 国产人澡人澡澡澡人碰视| 日韩免费一级视频| 欧洲激情一区二区| 国产精品1区二区| 国产精品二区一区| av不卡一区二区三区| 亚洲欧美日本一区二区三区 | 国产精品视频一区二区在线观看| av午夜电影| 中出乱码av亚洲精品久久天堂| 国产剧情在线观看一区二区| 亚洲少妇一区二区| 精品99在线视频| 国产一区二区三区在线电影| 国产女人好紧好爽| 国产一区二区三区乱码| 亚洲精品国产主播一区| 91av精品| 日韩欧美国产精品一区| 国产精品一区二区免费 | 国产精品一级在线| 日韩av免费电影| 少妇高潮大叫喷水| 欧美日本三级少妇三级久久| 日韩精品一区二区不卡| 97久久精品人人澡人人爽| 亚洲一区中文字幕| 偷拍精品一区二区三区| 久久亚洲精品国产日韩高潮| 欧美日韩一区二区三区四区五区六区| 日本免费电影一区二区| 午夜激情综合网| 欧美日韩国产123| 国产福利一区在线观看| 亚洲国产精品女主播| 欧美一区二区性放荡片| 欧美日韩激情一区| 国产精品欧美一区二区三区奶水 | 国产一区观看| 狠狠色狠狠色88综合日日91| 日本一码二码三码视频| 国产天堂第一区| 456亚洲精品| 午夜免费av电影| 538国产精品一区二区在线| 久久久综合亚洲91久久98| 欧美日韩一区二区三区不卡视频| 日韩av片无码一区二区不卡电影| 四虎国产精品永久在线| 夜夜夜夜夜猛噜噜噜噜噜gg| 日本一区二区三区中文字幕 | 国产精品二区一区二区aⅴ| 欧美三区二区一区| 国产91热爆ts人妖在线| 97久久精品人人做人人爽| 日本三级韩国三级国产三级| 5g影院天天爽入口入口| 精品国产一区二区三区四区vr| 欧美精品中文字幕在线观看| 99爱国产精品| 人人澡超碰碰97碰碰碰| 国产一区二区电影| 国产三级在线视频一区二区三区| 国产1区2| 国产色婷婷精品综合在线手机播放| 国产女人和拘做受在线视频| 91理论片午午伦夜理片久久| 午夜看片网站| 少妇bbwbbwbbw高潮| 国产精品免费专区| 国产精品精品视频一区二区三区 | 色综合久久88| 夜夜躁日日躁狠狠久久av| 免费观看黄色毛片| 扒丝袜网www午夜一区二区三区| 国产精品国精产品一二三区| 欧美一区二区三区四区夜夜大片 | 欧美精品在线视频观看 | 久久精品国产久精国产| 欧美日韩精品在线一区二区| 久久午夜精品福利一区二区| 欧美一区二区三区免费观看视频| 午夜码电影| 久久一区二区三区欧美| 香港三日本8a三级少妇三级99| 538国产精品一区二区在线| 日韩午夜电影院| 性欧美激情日韩精品七区| 免费**毛片| 国产二区视频在线播放| 国产精品乱码一区| 国产精品久久久久久久久久久久久久久久| 欧美一区二区三区片| 国产精品高潮呻吟88av| 欧美日韩国产一区在线| 欧美日韩激情一区二区| 国语对白老女人一级hd| 97精品国产aⅴ7777| 久久一二区| 亚洲欧美日韩一级| 久99久视频| 丰满岳乱妇在线观看中字 | 一区二区在线精品| 91一区在线| 精品国产18久久久久久依依影院| 国产精品视频久久久久| 免费观看xxxx9999片| 强行挺进女警紧窄湿润| 97人人揉人人捏人人添| 午夜亚洲国产理论片一二三四| 国产99视频精品免视看芒果| 久久人91精品久久久久久不卡| 国产99久久久久久免费看| 国产一区影院| 99精品久久99久久久久| 亚洲精品人| 国产午夜精品免费一区二区三区视频| 午夜黄色网址| 久久国产精品久久| 欧美一区二区久久久| 麻豆精品久久久| 国产精品视频久久久久久久| 国产精品99在线播放| 国产精品日韩在线观看| 久久国产精品网站| 欧美日韩久久一区二区| 国产欧美一区二区在线观看| 国产精品爽到爆呻吟高潮不挺| 中文字幕理伦片免费看| 欧美一区二区三区白人| 17c国产精品一区二区| 国产午夜精品av一区二区麻豆| 日韩av中文字幕第一页| 欧美精品一卡二卡| 少妇高潮大叫喷水| 国产精品色婷婷99久久精品| 久久国产精品首页| 国产精品剧情一区二区三区| 国产二区不卡| 国产精品日本一区二区不卡视频| 99精品视频一区二区| 日本高清二区| 国产欧美一区二区精品久久久| 一区二区三区四区中文字幕| 欧美黄色片一区二区| 国内精品久久久久影院日本| 精品久久久久久亚洲综合网| 99日韩精品视频| 日韩有码一区二区三区| 日本免费电影一区二区| 午夜精品一区二区三区aa毛片| 国产精品欧美一区二区三区奶水| 精品国产一区二区三区久久久久久 | 国产jizz18女人高潮| 久久噜噜少妇网站| 国产午夜精品一区二区理论影院| 艳妇荡乳欲伦2| 日韩电影在线一区二区三区| 日本一区二区欧美| 狠狠色噜噜狠狠狠狠777| 国产一级不卡视频| 国产69精品久久99不卡免费版| 热久久一区二区| 狠狠色狠狠色综合久久一| 久久夜色精品国产噜噜麻豆| 国产一区二区视频免费在线观看| 激情久久综合| 精品久久久久久中文字幕大豆网| 国产精品区一区二区三| 国产欧美视频一区二区三区| 国产91丝袜在线熟| 狠狠色噜噜狠狠狠狠米奇7777| 精品91av| 国产欧美一区二区三区视频| 亚洲一级中文字幕| 日韩精品一区二区久久| 久久精品视频3| 美女张开腿黄网站免费| 国产大片黄在线观看私人影院| 最新国产精品久久精品| 99国产精品久久久久99打野战| aaaaa国产欧美一区二区| 亚洲va国产2019| 国产一区二区伦理| 国产精品国产三级国产专区53| bbbbb女女女女女bbbbb国产| 国产精品亚洲一区| 国产一卡在线| 国产乱淫精品一区二区三区毛片| 欧美精品一区二区三区视频| 国产理论一区| 国产日韩精品一区二区| 国产日韩欧美二区| 欧美日韩综合一区| 性少妇freesexvideos高清bbw|