[發(fā)明專利]一種基于選擇性集成分類器的數(shù)據(jù)打標(biāo)簽方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710171617.3
• 申請(qǐng)日: 2017-03-22
• 公開（公告）號(hào): CN107133258A
• 公開（公告）日: 2017-09-05
• 發(fā)明（設(shè)計(jì)）人: 楊旭川;張桂林
• 申請(qǐng)（專利權(quán)）人: 重慶允升科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 重慶創(chuàng)新專利商標(biāo)代理有限公司50125
• 代理人: 宮兆斌

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)分類技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)打標(biāo)簽的方法。

背景技術(shù)

目前多數(shù)工業(yè)網(wǎng)站都有自有的分類標(biāo)簽體系，抓取這些網(wǎng)站的數(shù)據(jù)后，必須對(duì)標(biāo)簽進(jìn)行歸一化。標(biāo)簽的準(zhǔn)確性關(guān)系到后續(xù)搜索和推薦業(yè)務(wù)的效果。現(xiàn)有技術(shù)中，通常通過(guò)聚類算法這一單一的分類方法進(jìn)行打標(biāo)簽，從而導(dǎo)致打標(biāo)簽的準(zhǔn)確度不高。

因此本領(lǐng)域技術(shù)人員致力于開發(fā)一種準(zhǔn)確度更高的數(shù)據(jù)打標(biāo)簽方法。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種準(zhǔn)確度更高的數(shù)據(jù)打標(biāo)簽方法。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于選擇性集成分類器的數(shù)據(jù)打標(biāo)簽方法，包括以下步驟：

1)生成數(shù)據(jù)訓(xùn)練集：從各個(gè)網(wǎng)站抓取工業(yè)商品詳細(xì)數(shù)據(jù)，生成數(shù)據(jù)訓(xùn)練集，用于選擇性集成分類器的基礎(chǔ)數(shù)據(jù)；

2)文本預(yù)處理：對(duì)文本進(jìn)行分詞，過(guò)濾停用詞，同義詞轉(zhuǎn)化，過(guò)濾高頻詞和低頻詞；

3)文本向量化:將文本轉(zhuǎn)化為向量的代數(shù)建模過(guò)程；

4)利用布爾矩陣存儲(chǔ)集成分類器對(duì)預(yù)處理的文本進(jìn)行分類；

5)從布爾矩陣中篩選出分類性能較好的基分類器構(gòu)成最終的集成分類器：根據(jù)各種基分類器的分類支持度、分類難度、分類強(qiáng)度、分類精準(zhǔn)度集成選擇性集成分類器；

6)建立標(biāo)簽庫(kù)：建立每個(gè)分類與標(biāo)簽的映射關(guān)系；

7)接收到選擇性集成分類器返回的分類結(jié)果，根據(jù)分類結(jié)果獲取分類的標(biāo)簽。

較佳的，步驟4)按以下步驟實(shí)現(xiàn)：

51)從訓(xùn)練集中訓(xùn)練基分類器，再以數(shù)據(jù)集中的樣本為行，基分類器為列，基分類器對(duì)樣本的分類結(jié)果為值來(lái)構(gòu)建分類布爾矩陣；其中基分類器按照分類精度排序，分類結(jié)果正確值為1，錯(cuò)誤則為0；

52)計(jì)算行值數(shù)組，再?gòu)臄?shù)組從取出重復(fù)次數(shù)最多的數(shù)值，將其對(duì)應(yīng)的基分類器添加到候選集成分類器中。當(dāng)重復(fù)次數(shù)一樣時(shí)取較大值；

53)將添加到候選集成分類器的分類器對(duì)應(yīng)的列置0；

54)候選集成分類器評(píng)估系統(tǒng)：選擇具有最大評(píng)估值的候選集成分類器；評(píng)估函數(shù)主要集成分類器正確分類的樣本數(shù)，基分類器的平均分類精度以及集成分類器的大小三個(gè)方面對(duì)候選集成分類器進(jìn)行評(píng)估，計(jì)算公式(a)為

其中，F(xiàn)_eva(I)表示評(píng)估函數(shù)，I表示任意候選集成分類器，|I|為候選集成分類器中基分類器的個(gè)數(shù)即集成分類器的大小，Supp(c_i)為基分類器c_i的支持度即此分類器能夠正確分類的比例，Accu(c_i)為基分類器的分類精度；

其中，基分類器的支持度為基分類器可以正確分類的樣本數(shù)與樣本總數(shù)的比值，其計(jì)算公式(b)為：

Supp(c_i)＝R(c_i)/D(b)

其中,Supp(c_i)表示基分類器c_i的支持度，R(c_i)為被基分類器正確分類的樣本數(shù)，D為數(shù)據(jù)集D中的樣本總數(shù)；

其中，分類精度表示基分類器能夠正確分類樣本的能力，其值等于分類器的支持度和樣本的分類強(qiáng)度的乘積；基分類器的支持度和樣本的分類強(qiáng)度越高，則該基分類器的分類精度越高，分類性能越好.其計(jì)算公式(c)為：

Accu(c_i)＝Stre(c_i)×supp(c_i)(c)

其中，Accu(c_i)為基分類器的分類精度；Stre(c_i)為基分類器c_i的分類強(qiáng)度；supp(c_i)表示基分類器c_i的支持度；

其中，分類強(qiáng)度用來(lái)描述基分類器的分類能力；如果一個(gè)基分類器能夠正確分類的樣本普遍具有較大的平均分類難度，則稱該基分類器具有較高的分類強(qiáng)度，否則，稱該基分類器具有較低的分類強(qiáng)度,其計(jì)算公式(d)為：

其中，Stre(c_i)表示基分類器c_i的分類強(qiáng)度,Hard(d_i)為樣本d_i的分類難度,D為數(shù)據(jù)集中的樣本總數(shù)；

其中，分類難度表示樣本被分類器正確分類的難易程度；如果一個(gè)樣本能夠被多數(shù)基分類器正確分類，則稱該樣本具有較小的分類難度，否則稱該樣本具有較大的分類難度.其計(jì)算公式(c)為：