[發(fā)明專利]一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)攝像系統(tǒng)及其實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810355057.1
• 申請(qǐng)日: 2018-04-19
• 公開(kāi)（公告）號(hào): CN108712630A
• 公開(kāi)（公告）日: 2018-10-26
• 發(fā)明（設(shè)計(jì)）人: 王彥飛;張禎;胡勝發(fā)
• 申請(qǐng)（專利權(quán)）人: 安凱（廣州）微電子技術(shù)有限公司
• 主分類(lèi)號(hào): H04N7/18
• 分類(lèi)號(hào): H04N7/18;G06K9/00;G06T7/10
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 胡輝

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)攝像系統(tǒng)及其實(shí)現(xiàn)方法，系統(tǒng)包括視頻前端芯片和人工智能芯片；方法包括：通過(guò)視頻前端芯片對(duì)原始圖像信息進(jìn)行預(yù)處理，并通過(guò)USB接口將預(yù)處理后的圖像信息發(fā)送至人工智能芯片；根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)模型，通過(guò)人工智能芯片對(duì)預(yù)處理后的圖像信息進(jìn)行智能分析；根據(jù)智能分析的結(jié)果，通過(guò)視頻前端芯片進(jìn)行后續(xù)處理。本發(fā)明新增的人工智能芯片通過(guò)USB接口就可以與傳統(tǒng)的視頻前端處理芯片連接，系統(tǒng)成本低；另外，本發(fā)明通過(guò)人工智能芯片進(jìn)行智能分析，降低了服務(wù)器端的負(fù)載和視頻前端的內(nèi)存帶寬占用率，可廣泛應(yīng)用于互聯(lián)網(wǎng)攝像產(chǎn)品領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)攝像產(chǎn)品領(lǐng)域，尤其是一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)攝像系統(tǒng)及其實(shí)現(xiàn)方法。

背景技術(shù)

互聯(lián)網(wǎng)攝像產(chǎn)品是傳統(tǒng)攝像產(chǎn)品與網(wǎng)絡(luò)視頻技術(shù)相結(jié)合的產(chǎn)物，它通過(guò)網(wǎng)絡(luò)將視頻前端采集到的視頻數(shù)據(jù)傳輸?shù)骄W(wǎng)絡(luò)遠(yuǎn)端分析保存。現(xiàn)有的大多數(shù)互聯(lián)網(wǎng)攝像產(chǎn)品的視頻采集傳輸流程如附圖1所示，網(wǎng)絡(luò)視頻前端傳感器采集外部圖像數(shù)據(jù)并保存到內(nèi)存中，接著對(duì)內(nèi)存中的圖像數(shù)據(jù)進(jìn)行圖像增強(qiáng)，然后使用視頻編碼技術(shù)對(duì)圖像數(shù)據(jù)進(jìn)行壓縮編碼，并保存為視頻數(shù)據(jù)，最后通過(guò)網(wǎng)絡(luò)傳輸?shù)竭h(yuǎn)端服務(wù)器。然而這樣的互聯(lián)網(wǎng)攝像產(chǎn)品缺少必要的智能分析功能，視頻數(shù)據(jù)中的有效信息難以得到及時(shí)的分析處理，使得大量無(wú)效的視頻數(shù)據(jù)占用了服務(wù)器海量的存儲(chǔ)空間。

現(xiàn)在基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的人工智能分析功能開(kāi)始應(yīng)用到互聯(lián)網(wǎng)攝像產(chǎn)品中。相比以前的圖像識(shí)別算法，基于深度學(xué)習(xí)網(wǎng)絡(luò)技術(shù)的智能分析算法具有更高的識(shí)別成功率、更好的容錯(cuò)性，能夠達(dá)到甚至超過(guò)人類(lèi)的分析水平，同時(shí)計(jì)算量也更巨大。目前，為互聯(lián)網(wǎng)攝像產(chǎn)品增加人工智能分析功能主要有以下兩種實(shí)現(xiàn)方法：

(1)在服務(wù)器端增加人工智能分析功能，即待視頻數(shù)據(jù)傳輸至服務(wù)器之后，由服務(wù)器對(duì)其進(jìn)行數(shù)據(jù)的人工智能分析。由于互聯(lián)網(wǎng)攝像產(chǎn)品前端時(shí)時(shí)刻刻都在進(jìn)行視頻數(shù)據(jù)的采集工作，視頻數(shù)據(jù)的數(shù)量相當(dāng)大，尤其對(duì)于那些連接多個(gè)互聯(lián)網(wǎng)攝像產(chǎn)品前端的服務(wù)器而言，網(wǎng)絡(luò)傳輸開(kāi)銷(xiāo)十分巨大；并且在視頻數(shù)據(jù)的人工智能分析階段，多對(duì)一(多數(shù)據(jù)來(lái)源，一個(gè)服務(wù)器)的處理模式也大大增加了服務(wù)器的工作負(fù)擔(dān)，智能分析的性能較差。

(2)在互聯(lián)網(wǎng)攝像產(chǎn)品前端芯片加入人工智能分析功能。該方法與方法(1)相比，解決了網(wǎng)絡(luò)開(kāi)銷(xiāo)大和服務(wù)器工作負(fù)擔(dān)大的問(wèn)題。然而，人工智能分析算法計(jì)算量大，對(duì)內(nèi)存訪問(wèn)需求巨大，而現(xiàn)有的視頻前端處理已經(jīng)占用了大部分系統(tǒng)計(jì)算資源和內(nèi)存帶寬資源，加入人工智能分析功能將進(jìn)一步擴(kuò)大系統(tǒng)資源需求，增加系統(tǒng)實(shí)現(xiàn)成本。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明的目的在于：提供一種能夠降低服務(wù)器端的負(fù)載和視頻前端的內(nèi)存帶寬占用率、且系統(tǒng)成本低的，基于深度學(xué)習(xí)的互聯(lián)網(wǎng)攝像系統(tǒng)及其實(shí)現(xiàn)方法。

本發(fā)明所采取的第一技術(shù)方案是：

一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)攝像系統(tǒng)，包括視頻前端芯片和人工智能芯片，

其中，所述視頻前端芯片，用于對(duì)原始圖像信息進(jìn)行預(yù)處理、編碼和存儲(chǔ)；

所述人工智能芯片，用于采用深度學(xué)習(xí)方法對(duì)圖像進(jìn)行智能分析；

所述視頻前端芯片還將智能分析的結(jié)果進(jìn)行上傳；

所述視頻前端芯片通過(guò)USB接口與人工智能芯片連接。

進(jìn)一步，所述人工智能芯片的數(shù)量為一個(gè)或多個(gè)。

進(jìn)一步，所述視頻前端芯片包括：

圖像處理模塊，用于對(duì)原始圖像信息進(jìn)行圖像前處理，然后進(jìn)行圖像后處理；

微處理器，用于對(duì)圖像后處理得到的圖像進(jìn)行分割處理；

編碼模塊，用于對(duì)分割處理得到的子圖像進(jìn)行編碼處理；

第一存儲(chǔ)器，用于對(duì)編碼模塊的處理結(jié)果進(jìn)行存儲(chǔ)；