技術(shù)領(lǐng)域

本發(fā)明屬于空間統(tǒng)計數(shù)據(jù)信息壓縮技術(shù)領(lǐng)域，特別是涉及一種新的利用圖像分塊稀疏特征對空間統(tǒng)計數(shù)據(jù)進(jìn)行分塊壓縮的方法及系統(tǒng)。

背景技術(shù)

海量空間信息的存儲和快速訪問一直是空間信息服務(wù)系統(tǒng)試圖解決的重要問題，依據(jù)空間數(shù)據(jù)的訪問規(guī)律組織存儲空間數(shù)據(jù)，能大幅度提高空間數(shù)據(jù)服務(wù)系統(tǒng)的性能。空間數(shù)據(jù)的訪問規(guī)律就是用戶在訪問空間數(shù)據(jù)時形成的對空間數(shù)據(jù)的訪問記錄，主要包括所訪問空間數(shù)據(jù)及訪問次數(shù)的統(tǒng)計信息，一般以訪問日志的形式存在，相關(guān)的研究表明空間數(shù)據(jù)的訪問規(guī)律符合Zipf分布。由于空間數(shù)據(jù)的更新速度快，在分布式環(huán)境下動態(tài)的統(tǒng)計獲取空間數(shù)據(jù)的訪問規(guī)律，以便快速根據(jù)訪問規(guī)律調(diào)整存儲和組織策略，一般稱動態(tài)統(tǒng)計獲得的空間數(shù)據(jù)訪問規(guī)律為空間統(tǒng)計數(shù)據(jù)。

為了動態(tài)調(diào)整存儲和組織策略，需要在分布式環(huán)境中實時傳輸和共享空間統(tǒng)計數(shù)據(jù)，由于空間數(shù)據(jù)量巨大，對空間統(tǒng)計數(shù)據(jù)進(jìn)行壓縮處理以減少傳輸信息量是必須的。

針對空間數(shù)據(jù)的壓縮算法主要用于減少柵格數(shù)據(jù)或矢量數(shù)據(jù)的存儲空間，如空間柵格數(shù)據(jù)或空間矢量數(shù)據(jù)壓縮處理，而空間統(tǒng)計數(shù)據(jù)屬于離散數(shù)據(jù)，其部分?jǐn)?shù)據(jù)是由用戶的隨機(jī)訪問形成的，不能有效的為存儲和組織提供依據(jù)，針對其特點，一般采用的方法是通過代理融合或聚類壓縮來減少總的統(tǒng)計數(shù)據(jù)量。代理融合方法通過融合不同節(jié)點統(tǒng)計得到的相同數(shù)據(jù)，減少重復(fù)傳輸開銷，在傳輸時每塊空間數(shù)據(jù)用5個字節(jié)表示，其總的空間統(tǒng)計數(shù)據(jù)量和被訪問的空間數(shù)據(jù)量相關(guān)。而聚類壓縮算法則通過空間聚類提取，按照空間統(tǒng)計數(shù)據(jù)訪問次數(shù)差小于127，同時聚類區(qū)域半徑不大于設(shè)定值時，將空間統(tǒng)計數(shù)據(jù)分組壓縮，壓縮時對每塊數(shù)據(jù)采用3個字節(jié)來表示，壓縮率有限。

總之，現(xiàn)有的方法主要采用將數(shù)據(jù)點逐個排列，然后通過其排列規(guī)律采取一定的算法進(jìn)行處理以減少數(shù)據(jù)量，這種模式在空間統(tǒng)計數(shù)據(jù)量較大時，由于數(shù)據(jù)點規(guī)模巨大，算法則難以適應(yīng)，如SRTM90數(shù)據(jù)，一副地形數(shù)據(jù)就包含3538890個數(shù)據(jù)點，即使按照Zipf規(guī)律，80%的用戶都只訪問20%的數(shù)據(jù)，針對該幅地形數(shù)據(jù)的空間統(tǒng)計數(shù)據(jù)也包含了707778個數(shù)據(jù)點，其總數(shù)據(jù)量也達(dá)到了2.02MB，對空間統(tǒng)計數(shù)據(jù)的傳輸仍然影響很大，而且計算復(fù)雜，效率較低。

發(fā)明內(nèi)容

為了解決上述的技術(shù)問題，本發(fā)明提供了一種基于圖像稀疏特征的空間統(tǒng)計數(shù)據(jù)分塊壓縮方法及系統(tǒng)。

本發(fā)明的方法所采用的技術(shù)方案是：一種基于圖像稀疏特征的空間統(tǒng)計數(shù)據(jù)分塊壓縮方法，其特征在于，包括以下步驟：

步驟1：將空間統(tǒng)計數(shù)據(jù)按層映射成灰度圖像輸出；

步驟2：計算所述的每層映射的灰度圖像分塊的壓縮率參數(shù)、面積大小、壓縮效果、分塊內(nèi)包含的空間數(shù)據(jù)量和稀疏特征；

步驟3：根據(jù)圖像分塊的壓縮率參數(shù)、面積大小進(jìn)行啟發(fā)式計算最優(yōu)分塊方案；

步驟4：針對圖像分塊稀疏特征分別采用不同壓縮算法對圖像分塊進(jìn)行壓縮處理輸出。

作為優(yōu)選，所述的空間統(tǒng)計數(shù)據(jù)，包含對應(yīng)的空間數(shù)據(jù)的坐標(biāo)及訪問次數(shù)，所述的空間統(tǒng)計數(shù)據(jù)包括但不限于以日志格式文件、數(shù)據(jù)庫的形式提供。

作為優(yōu)選，所述的映射的灰度圖像，每個像素代表一塊空間數(shù)據(jù)，像素坐標(biāo)即為對應(yīng)的空間統(tǒng)計數(shù)據(jù)對應(yīng)的X、Y坐標(biāo)，像素的灰度值為對應(yīng)的空間統(tǒng)計數(shù)據(jù)被訪問次數(shù)。

作為優(yōu)選，所述的灰度圖像分塊的壓縮方法包括稀疏分塊圖像的壓縮方法和非稀疏分塊圖像的壓縮方法。

作為優(yōu)選，所述的稀疏分塊圖像的壓縮方法是通過將空間統(tǒng)計數(shù)據(jù)逐個排列，通過序列差計算后選擇序列化數(shù)據(jù)壓縮算法壓縮，所述的序列化數(shù)據(jù)壓縮算法包括但不限于游程編碼壓縮；所述的非稀疏分塊圖像的壓縮方法是選擇通用圖像無損壓縮算法壓縮，所述的圖像無損壓縮算法包括但不限于JPEG無損壓縮。

本發(fā)明的系統(tǒng)所采用的技術(shù)方案是：一種利用權(quán)利要求1所述的基于圖像稀疏特征的空間統(tǒng)計數(shù)據(jù)分塊壓縮方法進(jìn)行空間統(tǒng)計數(shù)據(jù)分塊壓縮方法的系統(tǒng)，其特征在于，包括空間統(tǒng)計數(shù)據(jù)分層映射單元、灰度圖像分塊稀疏特征計算單元、啟發(fā)式方案優(yōu)化計算單元和圖像分塊壓縮處理單元；

所述的空間統(tǒng)計數(shù)據(jù)分層映射單元用于將空間統(tǒng)計數(shù)據(jù)按層映射成灰度圖像輸出；所述的灰度圖像分塊稀疏特征計算單元用于計算所述的每層映射的灰度圖像分塊的壓縮率參數(shù)、面積大小、壓縮效果、分塊內(nèi)包含的空間數(shù)據(jù)量和稀疏特征；

所述的啟發(fā)式方案優(yōu)化計算單元用于根據(jù)圖像分塊壓縮率參數(shù)、面積大小進(jìn)行啟發(fā)式計算最優(yōu)分塊方案；

所述的圖像分塊壓縮處理單元用于針對圖像分塊稀疏特征分別采用不同壓縮算法對圖像分塊進(jìn)行壓縮處理輸出。