[發(fā)明專利]一種分布式檢索方法及裝置

在審

• 申請?zhí)枺?/td>: 201610154548.0
• 申請日: 2016-03-17
• 公開（公告）號: CN107203554A
• 公開（公告）日: 2017-09-26
• 發(fā)明（設(shè)計）人: 萬意琛
• 申請（專利權(quán)）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司11002
• 代理人: 李相雨

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體涉及一種分布式檢索方法及裝置。

背景技術(shù)

隨著傳統(tǒng)互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的持續(xù)發(fā)展，網(wǎng)絡(luò)帶給我們的是不斷增長的各種不同價值信息，然而如何在信息海洋中快速檢索到有價值信息，對于我們來講至關(guān)重要。

隨著企業(yè)和政府信息化建設(shè)的持續(xù)推進，相關(guān)系統(tǒng)平臺會產(chǎn)生海量的日志數(shù)據(jù)，而這些日志數(shù)據(jù)的整合分析對于企業(yè)和政府相關(guān)單位具有非常重要的價值，既有關(guān)系型數(shù)據(jù)庫能夠存儲如此海量的大數(shù)據(jù)，然而對于分析如此海量的大數(shù)據(jù)進而提供準確的信息查詢服務(wù)則速度往往不能令人滿意，檢索時間長，命中率過低，效率低下等一系列問題暴露出來，所以對于新技術(shù)的需求就應(yīng)運而生。

現(xiàn)有技術(shù)一般采用兩種方式：橫向擴展或者縱向擴展。縱向擴展是升級服務(wù)器的硬件資源。但是隨著機器的性能配置越高，價格越高，這個代價對于一般的小公司是承擔(dān)不起的。橫向擴展是采用多個廉價的機器提供服務(wù)。這樣一個機器只能處理200個數(shù)據(jù)、3個機器就可以處理600個數(shù)據(jù)了，如果以后業(yè)務(wù)量增加還可以快速配置增加，但橫向擴展同時對數(shù)據(jù)管理和服務(wù)器管理提出了要求，需要同時維護多個服務(wù)器，且需要對數(shù)據(jù)進行有效管理。

發(fā)明內(nèi)容

為了提高檢索效率，當前采用服務(wù)器縱向擴展時對服務(wù)器的性能配置要求很高，且服務(wù)器價格過高，而采用橫向擴展時需要同時維護 多個服務(wù)器，且需要對數(shù)據(jù)進行有效管理的問題，本發(fā)明提出一種分布式檢索方法及裝置。

第一方面，本發(fā)明提出一種分布式檢索方法，包括：

根據(jù)數(shù)據(jù)主題對原始數(shù)據(jù)進行分類，每類原始數(shù)據(jù)存儲在若干個存儲模塊中；

根據(jù)第一預(yù)設(shè)規(guī)則對存儲模塊進行分布式存儲；

根據(jù)預(yù)設(shè)關(guān)鍵字對每個存儲模塊進行檢索，得到每個存儲模塊對應(yīng)的檢索結(jié)果，并將所有存儲模塊對應(yīng)的檢索結(jié)果合并為最終檢索結(jié)果。

優(yōu)選地，所述根據(jù)預(yù)設(shè)關(guān)鍵字對每個存儲模塊進行檢索，進一步包括：

預(yù)設(shè)檢索節(jié)點數(shù)，將所有存儲模塊按照第二預(yù)設(shè)規(guī)則分配給檢索節(jié)點；

每個檢索節(jié)點根據(jù)預(yù)設(shè)關(guān)鍵字對分配給當前檢索節(jié)點的存儲模塊進行檢索。

優(yōu)選地，所述預(yù)設(shè)檢索節(jié)點數(shù)之后，還包括：

增加檢索節(jié)點。

優(yōu)選地，所述原始數(shù)據(jù)包括關(guān)系型數(shù)據(jù)和文件數(shù)據(jù)。

優(yōu)選地，所述關(guān)系型數(shù)據(jù)和所述文件數(shù)據(jù)存儲在不同的存儲模塊中。

第二方面，本發(fā)明還提出一種分布式檢索裝置，包括：

數(shù)據(jù)分類模塊，用于根據(jù)數(shù)據(jù)主題對原始數(shù)據(jù)進行分類，每類原始數(shù)據(jù)存儲在若干個存儲模塊中；

分布式存儲模塊，用于根據(jù)第一預(yù)設(shè)規(guī)則對存儲模塊進行分布式存儲；

檢索模塊，用于根據(jù)預(yù)設(shè)關(guān)鍵字對每個存儲模塊進行檢索，得到每個存儲模塊對應(yīng)的檢索結(jié)果，并將所有存儲模塊對應(yīng)的檢索結(jié)果合并為最終檢索結(jié)果。

優(yōu)選地，所述檢索模塊還用于預(yù)設(shè)檢索節(jié)點數(shù)，將所有存儲模塊按照第二預(yù)設(shè)規(guī)則分配給檢索節(jié)點，以使每個檢索節(jié)點根據(jù)預(yù)設(shè)關(guān)鍵字對分配給當前檢索節(jié)點的存儲模塊進行檢索。

優(yōu)選地，所述檢索模塊還用于增加檢索節(jié)點。

優(yōu)選地，所述數(shù)據(jù)分類模塊中的原始數(shù)據(jù)包括關(guān)系型數(shù)據(jù)和文件數(shù)據(jù)。

優(yōu)選地，所述數(shù)據(jù)分類模塊中關(guān)系型數(shù)據(jù)和所述文件數(shù)據(jù)存儲在不同的存儲模塊中。

由上述技術(shù)方案可知，本發(fā)明通過對原始數(shù)據(jù)分類，并進行分布式存儲和檢索，檢索時間短，命中率高，無需通過縱向擴展和橫向擴展來提高檢索效率，大大節(jié)省了軟硬件資源消耗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些圖獲得其他的附圖。

圖1為本發(fā)明一實施例提供的一種分布式檢索方法的流程示意圖；

圖2為本發(fā)明一實施例提供的一種分布式檢索方法的數(shù)據(jù)流示意圖；

圖3為本發(fā)明一實施例提供的一種分布式檢索裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖，對發(fā)明的具體實施方式作進一步描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，而不能以此來限制本發(fā)明的保護范圍。

圖1示出了本發(fā)明一實施例提供的一種分布式檢索方法的流程示意圖，包括：

S101、根據(jù)數(shù)據(jù)主題對原始數(shù)據(jù)進行分類，每類原始數(shù)據(jù)存儲在若干個存儲模塊中；