[發明專利]頁面防抓取方法及裝置

在審

• 申請號: 201711389232.0
• 申請日: 2017-12-21
• 公開（公告）號: CN108173823A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 張文選
• 申請（專利權）人: 五八有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 董建姣;劉芳

1.一種頁面防抓取方法，其特征在于，應用于業務集群服務器，所述方法包括：

對于所述業務集群服務器所支持的各項業務，均執行如下步驟：

接收客戶端發送的頁面獲取請求，所述頁面獲取請求中包括所述頁面獲取請求對應的訪問信息；

根據所述訪問信息和預設檢測策略，確定所述頁面獲取請求的安全檢測結果；

根據所述安全檢測結果，指示對應的服務器處理所述頁面獲取請求。

2.根據權利要求1所述的方法，其特征在于，所述訪問信息中包括所述客戶端的互聯網協議IP地址；根據所述訪問信息和預設檢測策略，確定所述頁面獲取請求的安全檢測結果，包括：

根據所述客戶端的IP地址，判斷預設緩存中是否存儲有所述客戶端的IP地址對應的安全檢測結果；

若是，則將所述客戶端的IP地址對應的安全檢測結果確定為所述訪問信息對應的安全檢測結果；

若否，則確定所述訪問信息對應的安全檢測結果為安全。

3.根據權利要求2所述的方法，其特征在于，確定所述訪問信息對應的安全檢測結果為安全之后，還包括：

通過分布式消息系統在所述訪問信息中獲取所述客戶端的超文本傳輸協議HTTP請求信息；

根據所述客戶端的IP地址和HTTP請求信息中的至少一種，按照所述預設檢測策略，確定所述客戶端的IP地址對應安全檢測結果；

將所述客戶端的IP地址和所述安全檢測結果存儲至所述預設緩存中。

4.根據權利要求3所述的方法，其特征在于，根據所述客戶端的IP地址和HTTP請求信息中的至少一種，確定所述客戶端的IP地址對應安全檢測結果，包括：

獲取預設黑名單或者預設白名單，所述預設黑名單和所述預設白名單在多個業務線之間共享；

若所述客戶端的IP地址在所述預設黑名單中，則確定所述客戶端的IP地址對應的安全檢測結果為不安全；

若所述客戶端的IP地址在所述預設白名單中，則確定所述客戶端的IP地址對應的安全檢測結果為安全。

5.根據權利要求3所述的方法，其特征在于，根據所述客戶端的IP地址和HTTP請求信息中的至少一種，確定所述客戶端的IP地址對應安全檢測結果，包括：

獲取所述客戶端的IP地址對應的訪問頻率、城市切換頻率和網絡信息，所述城市切換頻率是指所述客戶端的IP地址切換訪問不同城市的網絡的頻率，所述網絡信息包括網絡地址和域名系統DNS；

若所述客戶端的IP地址的訪問頻率大于第一閾值、或者所述客戶端的IP地址的城市切換頻率大于第二閾值、或者所述網絡信息異常，則確定所述客戶端的IP地址對應安全檢測結果為不安全，否則，確定所述客戶端的IP地址對應安全檢測結果為安全。

6.根據權利要求3所述的方法，其特征在于，根據所述客戶端的IP地址和HTTP請求信息中的至少一種，確定所述客戶端的IP地址對應安全檢測結果，包括：

判斷所述HTTP請求中是否包括用戶代理信息；

若是，則判斷所述用戶代理信息是否為搜索引擎的用戶代理信息，若是，則確定所述客戶端的IP地址對應安全檢測結果為安全，若否，則確定所述客戶端的IP地址對應安全檢測結果為不安全；

若否，則確定所述客戶端的IP地址對應安全檢測結果為不安全。

7.根據權利要求3所述的方法，其特征在于，根據所述客戶端的IP地址和HTTP請求信息中的至少一種，確定所述客戶端的IP地址對應安全檢測結果，包括：

判斷在接收到所述頁面獲取請求之后的預設時長內，是否接收到異步請求，所述異步請求用于請求加載腳本文件；

若是，則確定所述客戶端的IP地址對應安全檢測結果為安全；

若否，則確定所述客戶端的IP地址對應安全檢測結果為不安全。