[發明專利]基于大數據的網站用戶行為數據采集方法、系統及應用

在審

• 申請號: 201711147181.0
• 申請日: 2017-11-17
• 公開（公告）號: CN107908748A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 甘傲然
• 申請（專利權）人: 南京感度信息技術有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京科知維創知識產權代理有限責任公司32270
• 代理人: 段曉玲

1.一種基于大數據的網站用戶行為數據采集方法，其特征在于包括以下步驟：

（1）網站插碼的步驟，由網站開發人員在網站頁面上進行插碼，插入用戶行為數據采集腳本文件和腳本代碼；

（2）收集用戶行為數據的步驟，當用戶訪問網站頁面時，用戶行為數據采集腳本文件和腳本代碼收集用戶行為數據，并將數據重組成指定規格的用戶行為數據包，通過HTTP協議向用戶行為采集服務器發送；

（3）將用戶行為數據包轉化成用戶行為日志文件的步驟，用戶行為采集服務器接收網頁端發出的用戶行為數據包，并利用OpenResty組件將數據包轉化成用戶行為日志文件；

（4）將用戶行為日志文件發送至數據收集云存儲的步驟，在用戶行為采集服務器上部署Linux Shell腳本，定時將用戶行為日志文件發送至統一的數據收集云存儲上；

（5）將不斷增加的用戶行為日志文件中的數據實時傳輸給大數據存儲的步驟，采用監控數據工具監控數據收集云存儲（NAS）上不斷增加的用戶行為日志文件，并實時的將日志文件中的數據傳輸給大數據存儲；

（6）大數據存儲的步驟，使用HDFS作為大數據存儲，將所有的用戶行為數據存儲于HDFS之中。

2.根據權利要求1所述基于大數據的網站用戶行為數據采集方法，其特征在于：所述OpenResty組件為Lua和Nginx粘合的ngx_lua模塊；所述數據收集云存儲為NAS云存儲；所述監控數據工具為Flume。

3.根據權利要求1所述基于大數據的網站用戶行為數據采集方法，其特征在于：所述將不斷增加的用戶行為日志文件中的數據實時傳輸給大數據存儲的步驟，采用監控數據工具監控數據收集云存儲（NAS）上新增加的用戶行為日志文件，采用增量傳遞的方式實時的將日志文件中的數據傳輸給大數據存儲。

4.采用權利要求1所述基于大數據的網站用戶行為數據采集方法的系統，其特征在于：包括網站插碼、用戶行為數據采集服務器、文件數據傳輸部件、數據收集云存儲、文件數據收集部件和HDFS大數據存儲。

5.根據權利要求4所述的基于大數據的網站用戶行為數據采集方法的系統，其特征在于：

所述網站插碼包括用戶行為數據采集腳本文件和腳本代碼；

所述用戶行為數據采集服務器包括采集用戶行為數據采集腳本文件和腳本代碼收集的用戶行為的采集部件，將用戶行為數據重組成指定規格的用戶行為數據包的數據轉換部件，以及通過HTTP協議向用戶行為采集服務器發送用戶行為數據包的發送部件；

所述文件數據傳輸部件包括將用戶行為數據包轉化成用戶行為日志文件的數據轉換部件，以及將用戶行為日志文件發送至數據收集云存儲的傳輸部件；

所述數據收集云存儲包括數據接收部件，以及數據存儲部，所述數據接收部件接收文件數據傳輸部件發來的用戶行為日志文件，所述數據存儲部收集數據接收部件收到的用戶行為日志文件；

所述文件數據收集部件包括監控數據收集云存儲上不斷增加的用戶行為日志文件的數據監控部件，以及實時的將日志文件中的數據傳輸給大數據存儲數據傳輸部件；

所述HDFS大數據存儲包括數據存儲器，支撐存儲器的存儲系統以及用戶行為數據數據庫。

6.根據權利要求5所述的基于大數據的網站用戶行為數據采集方法的系統，其特征在于：

所述文件數據收集部件包括監控數據收集云存儲上新增加的用戶行為日志文件的數據監控部件，以及實時的將日志文件中新增加的數據傳輸給大數據存儲數據傳輸部件。

7.一種應用權利要求1基于大數據的網站用戶行為數據采集方法的應用，其特征在于：包括網站、論壇、社區、APP、電子商務平臺、網上商城、或微信平臺。

8.一種應用權利要求4基于大數據的網站用戶行為數據采集系統的應用，其特征在于：包括網站、論壇、社區、APP、電子商務平臺、網上商城、或微信平臺。