[發(fā)明專利]信息過(guò)濾方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611154627.8
• 申請(qǐng)日: 2016-12-14
• 公開(kāi)（公告）號(hào): CN108228609B
• 公開(kāi)（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 馬慶麗
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F16/958
• 分類號(hào): G06F16/958;G06F16/957
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 韓建偉;張永明

本發(fā)明公開(kāi)了一種信息過(guò)濾方法和裝置。其中，該方法包括：獲取待展示的網(wǎng)絡(luò)平臺(tái)頁(yè)面中的內(nèi)容；利用預(yù)先獲取的特征，對(duì)網(wǎng)絡(luò)平臺(tái)頁(yè)面中的內(nèi)容進(jìn)行過(guò)濾，得到網(wǎng)絡(luò)平臺(tái)頁(yè)面的主體內(nèi)容，其中，特征用于表示網(wǎng)絡(luò)平臺(tái)頁(yè)面中轉(zhuǎn)換信息的特征，轉(zhuǎn)換信息用于標(biāo)識(shí)由主體內(nèi)容轉(zhuǎn)換為非主體內(nèi)容；展示過(guò)濾得到的主體內(nèi)容。本發(fā)明解決了無(wú)法有效過(guò)濾網(wǎng)絡(luò)平臺(tái)頁(yè)面的廣告的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及信息處理領(lǐng)域，具體而言，涉及一種信息過(guò)濾方法和裝置。

背景技術(shù)

網(wǎng)絡(luò)平臺(tái)的頁(yè)面數(shù)據(jù)日益成為網(wǎng)絡(luò)信息資源的重要數(shù)據(jù)源，在網(wǎng)絡(luò)平臺(tái)頁(yè)面的文章中添加廣告也成為各個(gè)公司的重要營(yíng)銷手段，因此在網(wǎng)絡(luò)平臺(tái)頁(yè)面的內(nèi)容中添加廣告的現(xiàn)象越來(lái)越多，然而大量的廣告信息嚴(yán)重干擾對(duì)正文內(nèi)容信息的挖掘，為采集、分析網(wǎng)絡(luò)平臺(tái)頁(yè)面數(shù)據(jù)以及獲取網(wǎng)絡(luò)平臺(tái)頁(yè)面有效信息帶來(lái)了一定困難，目前過(guò)濾網(wǎng)絡(luò)平臺(tái)頁(yè)面文章廣告的方案主要是依據(jù)過(guò)濾一般網(wǎng)頁(yè)無(wú)用信息的方案，即使用正則表達(dá)式、Xpath(即XML路徑語(yǔ)言)或Css Selector(即CSS選擇器)提取頁(yè)面元素進(jìn)行過(guò)濾，現(xiàn)有技術(shù)中通過(guò)分析網(wǎng)頁(yè)HTML代碼，對(duì)頁(yè)面重要標(biāo)簽進(jìn)行分析，通過(guò)正則表達(dá)式或其它手段提取信息，或者通過(guò)為頁(yè)面建立DOM樹(通過(guò)DOM將HTML頁(yè)面進(jìn)行解析，并生成的HTML tree樹狀結(jié)構(gòu)和對(duì)應(yīng)訪問(wèn)方法)，通過(guò)XPath或者CssSelector選取網(wǎng)頁(yè)元素，選取包含網(wǎng)絡(luò)平臺(tái)頁(yè)面的文章內(nèi)容的標(biāo)簽，提取正文內(nèi)容，從而達(dá)到過(guò)濾的目標(biāo)，但是基于網(wǎng)頁(yè)標(biāo)簽的提取方法，適用性差，往往只能針對(duì)一類頁(yè)面進(jìn)行信息提取，頁(yè)面如果有變化會(huì)導(dǎo)致提取錯(cuò)誤或者提取失敗。

針對(duì)上述無(wú)法有效過(guò)濾網(wǎng)絡(luò)平臺(tái)的頁(yè)面的廣告的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種信息過(guò)濾方法和裝置，以至少解決無(wú)法有效過(guò)濾網(wǎng)絡(luò)平臺(tái)頁(yè)面的廣告的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種信息過(guò)濾方法，包括：獲取待展示的網(wǎng)絡(luò)平臺(tái)頁(yè)面中的內(nèi)容；利用預(yù)先獲取的特征，對(duì)所述網(wǎng)絡(luò)平臺(tái)頁(yè)面中的內(nèi)容進(jìn)行過(guò)濾，得到所述網(wǎng)絡(luò)平臺(tái)頁(yè)面的主體內(nèi)容，其中，所述特征用于表示所述網(wǎng)絡(luò)平臺(tái)頁(yè)面中轉(zhuǎn)換信息的特征，所述轉(zhuǎn)換信息用于標(biāo)識(shí)由主體內(nèi)容轉(zhuǎn)換為非主體內(nèi)容；展示過(guò)濾得到的所述主體內(nèi)容。

進(jìn)一步地，利用預(yù)先獲取的特征，對(duì)所述網(wǎng)絡(luò)平臺(tái)頁(yè)面中的內(nèi)容進(jìn)行過(guò)濾，得到所述網(wǎng)絡(luò)平臺(tái)頁(yè)面的主體內(nèi)容包括：對(duì)所述網(wǎng)絡(luò)平臺(tái)頁(yè)面進(jìn)行深度優(yōu)先搜索；在搜索到所述特征的情況下，獲取從搜索的起始點(diǎn)到搜索到所述特征的特征點(diǎn)之間的內(nèi)容確定為所述網(wǎng)頁(yè)頁(yè)面平臺(tái)的主體內(nèi)容，過(guò)濾掉所述特征點(diǎn)之后的內(nèi)容，其中，所述轉(zhuǎn)換信息包括所述主體內(nèi)容的結(jié)束信息，或所述非主體內(nèi)容的開(kāi)始信息。

進(jìn)一步地，所述轉(zhuǎn)換信息包括所述主體內(nèi)容的結(jié)束信息，或所述非主體內(nèi)容的開(kāi)始信息。

進(jìn)一步地，對(duì)所述網(wǎng)絡(luò)平臺(tái)頁(yè)面進(jìn)行深度優(yōu)先搜索包括：解析所述網(wǎng)絡(luò)平臺(tái)頁(yè)面，得到所述網(wǎng)絡(luò)平臺(tái)頁(yè)面的頁(yè)面結(jié)點(diǎn)樹；從所述頁(yè)面結(jié)點(diǎn)樹的根節(jié)點(diǎn)開(kāi)始，對(duì)所述頁(yè)面結(jié)點(diǎn)樹中的各個(gè)結(jié)點(diǎn)進(jìn)行深度優(yōu)先搜索。

進(jìn)一步地，所述起始點(diǎn)為所述頁(yè)面節(jié)點(diǎn)樹的根結(jié)點(diǎn)，其中，獲取從搜索的起始點(diǎn)到搜索到所述特征的特征點(diǎn)之間的內(nèi)容確定為所述網(wǎng)絡(luò)平臺(tái)頁(yè)面的主體內(nèi)容，過(guò)濾掉所述特征點(diǎn)之后的內(nèi)容包括：在執(zhí)行所述深度優(yōu)先搜索的過(guò)程中，若未搜索到所述特征，則將搜索過(guò)的結(jié)點(diǎn)對(duì)應(yīng)的內(nèi)容追加入主體內(nèi)容中；若搜索到所述特征，記錄搜索到所述特征的特征點(diǎn)，停止追加所述主體內(nèi)容，并將所述頁(yè)面結(jié)點(diǎn)樹中未搜索過(guò)的結(jié)點(diǎn)對(duì)應(yīng)的內(nèi)容過(guò)濾掉。

進(jìn)一步地，在對(duì)所述網(wǎng)絡(luò)平臺(tái)頁(yè)面中的內(nèi)容進(jìn)行過(guò)濾之前，所述方法還包括：獲取多個(gè)網(wǎng)絡(luò)平臺(tái)頁(yè)面；從所述多個(gè)網(wǎng)絡(luò)平臺(tái)頁(yè)面中提取轉(zhuǎn)換信息，其中，所述轉(zhuǎn)換信息用于標(biāo)識(shí)由主體內(nèi)容轉(zhuǎn)換為非主體內(nèi)容；基于提取到的轉(zhuǎn)換信息，生成所述特征。