[發明專利]一種分布式任務處理方法及裝置

有效

• 申請號: 201610928429.6
• 申請日: 2016-10-31
• 公開（公告）號: CN108021430B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 王志杰;浦世亮;周明耀
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

本發明實施例公開了一種分布式任務處理方法及裝置，該方法包括：管理節點遍歷包括每個運行任務的任務信息的任務處理隊列，其中，任務信息包括該任務的狀態信息；根據任務信息，從任務處理隊列中，篩選出對應的狀態信息超時未更新的目標任務；為目標任務添加非處理標識；以使計算節點申請到該目標任務后，根據該非處理標識，將該目標任務透傳至數據接收端。

技術領域

本發明涉及分布式集群系統任務處理技術領域，特別涉及一種分布式任務處理方法及裝置。

背景技術

隨著計算機信息化進程的推進，人們越來越依賴使用計算機進行批量數據的分析處理，分布式集群系統的應用越來越廣泛。在分布式集群系統中存在管理節點以及計算節點。管理節點用于整體調度待處理的任務，計算節點用于向向管理節點申請任務，分析處理管理節點所分配的任務并且定時上報分析處理的任務的狀態。當分布式集群系統中某一計算節點崩潰，則會導致該計算節點下的任務都無法完成分析處理，這就容易給用戶帶來損失。

為了解決上述問題，該分布式集群系統需要具備容錯的功能。其中，現有技術中，當分布式集群系統中某個計算節點崩潰后，若計算節點在一定的時間范圍內重新啟動，則會自行從崩潰位置處的任務重新開始進行處理，否則，通過管理節點將該崩潰的計算節點下的任務重新調度至其他計算節點，以使其他計算節點處理該崩潰的計算節點下的任務。

該現有技術在一定程度上實現了分布式集群系統的容錯功能，然而，當存在某個錯誤任務持續致使計算節點崩潰時，即當崩潰的計算節點在一定的時間范圍內重新啟動后，自行重新開始處理該某個錯誤任務時，該計算節點會繼續崩潰。或者，該崩潰的計算節點未在一定的時間范圍內重新啟動，管理節點將該崩潰的計算節點的包括該錯誤任務的所有任務重新調度至其他計算節點，當新的計算節點開始處理該錯誤任務時，該新的計算節點也會崩潰。該某個錯誤任務的存在，造成了該分布式集群系統的不穩定。

那么如何解決上述問題成為亟待解決的問題。

發明內容

本發明實施例公開了一種分布式任務處理方法及裝置，及時將錯誤任務從分布式集群系統剔除，以在實現容錯功能的基礎上，增加分布式集群系統的穩定性。具體方案如下：

一方面，本發明實施例提供了一種分布式任務處理方法，所述方法包括：

遍歷任務處理隊列，其中，所述任務處理隊列中包括每個運行任務的任務信息，所述任務信息包括該任務的狀態信息；

根據所述任務信息，從所述任務處理隊列中，篩選出對應的狀態信息超時未更新的目標任務；

為所述目標任務添加非處理標識；以使計算節點申請到所述目標任務后，根據所述非處理標識，將所述目標任務透傳至數據接收端。

可選的，所述任務處理隊列中的每個任務信息中還包括該任務的崩潰次數；

所述根據所述任務信息，從所述任務處理隊列中，篩選出對應的狀態信息超時未更新的目標任務的步驟之后，所述方法還包括：

判斷所述目標任務的崩潰次數是否超過崩潰閾值；

當判斷所述目標任務的崩潰次數超過崩潰閾值時，執行為所述目標任務添加非處理標識的步驟；否則，將所述目標任務的崩潰次數加一。

可選的，所述方法還包括：

當判斷所述目標任務的崩潰次數超過崩潰閾值時，判斷所述目標任務是否達到最小任務切分單位；

當判斷所述目標任務達到最小任務切分單位時，執行為所述目標任務添加非處理標識的步驟；

當判斷所述目標任務未達到最小任務切分單位時，以所述最小任務切分單位對所述目標任務進行切分；