日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于深度學習的多模態圖文推薦方法及設備有效

專利信息
申請號: 202110385246.5 申請日: 2021-04-09
公開(公告)號: CN113094534B 公開(公告)日: 2022-09-02
發明(設計)人: 黃昭;胡浩武 申請(專利權)人: 陜西師范大學
主分類號: G06F16/535 分類號: G06F16/535;G06F16/335;G06V10/762;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/08
代理公司: 西安通大專利代理有限責任公司 61200 代理人: 王艾華
地址: 710119 陜西*** 國省代碼: 陜西;61
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 深度 學習 多模態 圖文 推薦 方法 設備
【權利要求書】:

1.一種基于深度學習的多模態圖文推薦方法,其特征在于,包括以下步驟:

基于用戶的歷史記錄采用跨模態檢索模型計算用戶的正反饋和負反饋的聚類中心點,所述歷史記錄包括圖像和文本;

從用戶歷史記錄中挑選出用戶評分較高的前N條歷史記錄;

提取所述N條歷史記錄的特征,根據所述特征得到N條歷史記錄的所屬類別;

用跨模態檢索模型從與所述N條歷史記錄模態相同的數據庫中提取同類型的數據;

計算所提取同類型的數據和所述N個歷史記錄的相似度得分,將所述相似度得分按照倒序排列,選取前M項相似度得分對應的歷史記錄;

使用所述正反饋和負反饋的聚類中心點分別計算所述M項中每一項歷史記錄的正反饋分數和負反饋分數;

根據M項相似度得分中每一項的相似度得分及所述正反饋分數和負反饋分數,計算所述M項歷史記錄中每一項數據的總得分,并按照所述總得分倒序排列,選取前K個數據;

針對所述K個數據中的每一項數據,用跨模態檢索模型從文本數據庫或圖像數據庫中找到與之對應的K個數據;

將所述前K個數據和文本數據庫或圖像數據庫中的K個數據對應結合,形成K項圖像-文本對,即得到推薦結果;跨模態檢索模型通過以下過程進行訓練得到:

采用去除了最后一層分類層的MobileNetV3-large模型來初步提取圖像特征,在初步提取圖像特征的基礎上,一方面用AE來提取圖像模態內的表示,即具有模態內信息的圖像模態內表示;一方面使用RBM提取得到圖像進一步的表示,該圖像進一步的表示將被用來形成具有文本信息的圖像模態間表示;

使用TF-IDF算法來初步提取文本特征;在初步提取文本特征的基礎上一方面使用DAE提取文本模態內的表示,即具有模態內信息的文本模態內表示;一方面使用RSRBM提取得到文本進一步的表示,該文本進一步的表示將被用來形成具有圖像信息的文本模態間表示;

基于所述圖像進一步的表示和文本進一步的表示,本發明用Multimodal DBN來提取圖像和文本的模態間表示;在Multimodal DBN的頂層,在圖像和文本表示之間進行交替的吉布斯采樣,即獲得帶有文本特征的圖像模態間表示和帶有圖像特征的文本模態間表示;

利用兩個joint-RBM模型融合每種模態的模態內表示和模態間表示,

一個joint-RBM模型將圖像模態內表示和圖像模態間表示進行融合,得到圖像的綜合表示;另一個joint-RBM模型,將具有文本模態內表示和文本模態間表示進行融合,得到文本的綜合表示;

分別用兩個DAE對所述圖像的綜合表示和所述文本的綜合表示分別做分類訓練,以提取圖像和文本特征的最佳隱藏層數;

固定所提取的圖像和文本的最佳隱藏層數,并使圖像和文本的最佳隱藏層數一一對齊,組成棧式對應自編碼器;

在棧式對應自編碼器中,使用關聯約束函數,重新利用第二階段圖像的綜合表示和第二階段文本的綜合表示訓練所述棧式對應自編碼器,使得所述棧式對應自編碼器在得到圖像和文本最終表示的同時,能夠在圖像和文本的表示之間建立聯系;

使用所述正反饋和負反饋的聚類中心點分別計算所述M項中每一項歷史記錄的正反饋分數和負反饋分數時:計算出備選圖片或文本數據特征與該用戶正反饋中心和負反饋中心的距離,使用圖像或者文本數據特征到正負反饋聚類中心點距離的倒數的和,作為該數據的正負反饋分數。

2.根據權利要求1所述的基于深度學習的多模態圖文推薦方法,其特征在于,跨模態檢索模型用于數據特征的提取,跨模態檢索模型訓練的過程分為兩個階段:

在第一個階段,對于圖像,提取圖像模態內的表示和帶有文本信息的圖像模態間的表示;對于文本,提取文本模態內的表示和帶有圖像信息的文本模態間的表示;

在第二個階段,把圖像模態內的表示和圖像模態間的表示結合起來,形成圖像綜合表示;同時,把文本模態內的表示和文本模態間的表示結合起來,形成文本綜合表示,然后利用棧式對應自編碼器和約束函數在圖像和文本的綜合表示之間建立聯系,同時學習到圖像和文本的最終表示。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于陜西師范大學,未經陜西師范大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://m.szxzyx.cn/pat/books/202110385246.5/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 91精品视频一区二区三区| 国产剧情在线观看一区二区| 亚洲欧美制服丝腿| 欧美在线免费观看一区| 国内久久精品视频| 欧美精品一区久久| 国产一区二区91| 国产精品高潮在线| 亚洲国产精品女主播| 国产欧美一区二区三区在线看| 国产视频二区| 国产精品一区在线播放| 久久99精品久久久久婷婷暖91| 精品久久不卡| 欧美激情国产一区| 一区二区午夜| 国产区一区| 国产欧美日韩亚洲另类第一第二页| 国产一区在线视频播放| 国产一级片大全| 欧美视屏一区| 国产在线精品区| 在线国产精品一区| 国产午夜伦理片| 久久一区二| 欧美一区二区综合| 狠狠色综合久久丁香婷婷 | 一区二区三区欧美视频| 右手影院av| 97久久久久亚洲| 中文字幕1区2区3区| 午夜精品999| 91精品色| 中文字幕一区二区三区乱码| 日韩一区免费| 日韩av三区| 欧美乱大交xxxxx胶衣| 国产精品视频二区三区| 国产91在线拍偷自揄拍| 国产精品久久久麻豆| 夜夜爽av福利精品导航| 午夜欧美a级理论片915影院| 久久99久久99精品免观看软件 | 国产精品综合久久| 中文字幕一区二区三区免费视频| 色婷婷久久一区二区三区麻豆| 精品一区欧美| 精品videossexfreeohdbbw| 中文字幕一区2区3区| 国产精品色婷婷99久久精品| 玖玖国产精品视频| 中文字幕一区二区在线播放| 欧美国产在线看| 日本一区二区免费电影| 国产一二区视频| 久久99精品国产| 一区二区三区中文字幕| 国产视频一区二区在线| 鲁一鲁一鲁一鲁一鲁一av| 狠狠色丁香久久综合频道| 福利视频亚洲一区| 国产精品一区二区不卡| 亚洲精品久久久中文| 午夜影院h| 国产91九色视频| 精品国产一区二区三区四区vr| 日韩欧美国产高清91| 国产精品一区二区久久乐夜夜嗨 | 欧美二区精品| 国产99视频精品免视看芒果| 国产伦精品一区二| 亚洲国产精品国自产拍av| 在线观看欧美日韩国产| 日韩av一二三四区| 四虎影视亚洲精品国产原创优播| 久久青草欧美一区二区三区| 夜夜嗨av禁果av粉嫩av懂色av | 好吊妞国产欧美日韩软件大全| 亚洲欧洲日本在线观看| 欧美日本一二三区| 午夜生活理论片| 国产精品19乱码一区二区三区| 国产精品视频久久久久| 亚洲四区在线| 国产精品一二三区视频网站| 欧美一区二区三区免费播放视频了| 最新国产精品自拍| 国产精品99在线播放| 香蕉视频一区二区三区| 粉嫩久久久久久久极品| 国产精品欧美久久| 香港三日三级少妇三级99| 夜夜躁人人爽天天天天大学生 | 亚洲乱强伦| 欧美日韩一区二区三区不卡| av午夜在线| 91精品国产综合久久婷婷香| 国产乱人乱精一区二视频国产精品 | 午夜激情在线播放| 国产精品综合久久| 国内精品久久久久影院日本| 日本99精品| 午夜裸体性播放免费观看| 日韩中文字幕一区二区在线视频| 久久精品综合视频| 欧美日韩一区在线视频| 97欧美精品| 国产91一区二区在线观看| 国产色婷婷精品综合在线播放 | 狠狠色噜噜狠狠狠狠2021天天| 午夜无遮挡| 国产第一区二区| 性欧美一区二区| 亚洲网站久久| 中文字幕一区二区三区四| 日本一区二区电影在线观看| 日本一区二区欧美| 欧美日韩国产专区| 久久久综合亚洲91久久98| 欧美久久一区二区三区| 亚洲欧美一区二区三区不卡| 波多野结衣女教师电影| 欧美性猛交xxxxxⅹxx88| 欧美日韩国产欧美| 欧美一区二区三区三州| 另类视频一区二区| 大伊人av| 中文字幕一区二区三区又粗| 偷拍精品一区二区三区| 午夜亚洲影院| 日韩精品一区二区三区免费观看| 国产一区二区中文字幕| 欧美在线一区二区视频| 手机看片国产一区| 亚洲精品日韩激情欧美| 狠狠色综合久久婷婷色天使| 日本高清一二区| 久久久精品欧美一区二区| 国产一区欧美一区| 亚洲精品91久久久久久| 偷拍久久精品视频| 99久久精品免费视频| 91超薄丝袜肉丝一区二区| 国产一区二区影院| 欧洲在线一区二区| 日韩欧美国产第一页| 天干天干天啪啪夜爽爽99| 日本二区在线观看| 日韩一区高清| 久久99国产精品视频| 国产一卡在线| 国产日韩欧美亚洲| 欧美日本91精品久久久久| 中文字幕一区二区在线播放| 91精品国产综合久久福利软件| 午夜影院你懂的| 欧美一区二区三区视频在线观看| 性色av色香蕉一区二区| 国模少妇一区二区三区| 亚洲国产精品一区在线| 日本aⅴ精品一区二区三区日| 在线精品国产一区二区三区| 国产一级一区二区| 欧美一区视频观看| 国产一区免费在线观看| 视频一区二区国产| 国产乱子一区二区| 亚洲一区二区三区加勒比| 天摸夜夜添久久精品亚洲人成| 欧美乱大交xxxxx| 欧美精品乱码视频一二专区 | 狠狠色狠狠色综合久久一| 亚洲国产精品一区二区久久hs| 亚洲天堂国产精品| 国产精品高潮呻吟三区四区| 在线视频不卡一区| 午夜a电影| 伊人精品一区二区三区| 岛国黄色av| 亚洲自拍偷拍一区二区三区| 亚洲精品无吗| 国产主播啪啪| 国产欧美一区二区在线观看| 久久精品国产亚洲一区二区| 国产色99| 91精品国产综合久久福利软件| 国产精品爽到爆呻吟高潮不挺| 黄毛片免费| 欧美日韩综合一区| 99久久夜色精品国产网站| 久久激情图片| 天天干狠狠插| 69久久夜色精品国产69–| 亚洲国产精品91| 亚洲国产精品一区在线观看| 欧美一区二区三区免费视频| 日韩中文字幕亚洲欧美| 日韩av在线高清| 一区二区三区国产欧美| 国产女人与拘做受免费视频| 国产精品对白刺激久久久| 日韩欧美一区精品| 香港日本韩国三级少妇在线观看| 福利片午夜| 99热久久这里只精品国产www| 性国产日韩欧美一区二区在线| 午夜一级免费电影| 一级久久久| 久久五月精品| 国产大学生呻吟对白精彩在线| 日韩不卡毛片| 国产精品一区二区在线观看免费| 亚洲制服丝袜在线| 中文字幕制服丝袜一区二区三区 | 午夜国产一区二区三区四区| 国产精品人人爽人人做av片| 国产性猛交| 国产乱对白刺激视频在线观看| 日本一区中文字幕| 99re热精品视频国产免费| 精品三级一区二区| 欧美日韩一区二区三区免费| 91久久香蕉| 91avpro| 91精品一区在线观看| 日韩中文字幕一区二区在线视频| 国产精选一区二区| 日韩欧美国产高清91| 亚洲欧美色图在线| 国产精品19乱码一区二区三区| 国产精品高潮呻吟久| 日韩精品一区二区三区不卡| 午夜精品在线播放| 扒丝袜网www午夜一区二区三区| 日韩国产精品久久久久久亚洲| 久久夜色精品国产亚洲| 午夜裸体性播放免费观看| 91在线一区二区| 亚洲欧美日本一区二区三区| 午夜wwwww| 99日本精品| 日韩国产精品久久| 亚洲少妇一区二区三区| 日韩精品一区二区av| 久久久精品观看| 日韩中文字幕一区二区在线视频|