[發(fā)明專利]一種自動(dòng)駕駛視頻語義分割系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202011373273.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112364822B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 王姍;王俊峰
• 申請（專利權(quán)）人: 重慶電子工程職業(yè)學(xué)院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶強(qiáng)大凱創(chuàng)專利代理事務(wù)所(普通合伙) 50217
• 代理人: 康奇剛

1.一種自動(dòng)駕駛視頻語義分割方法，其特征在于：包括：

S100：獲取待處理的視頻數(shù)據(jù)；

S200：通過視頻稀疏采樣算法對待處理的視頻數(shù)據(jù)進(jìn)行關(guān)鍵幀提取；

S300：基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建分類模型；

S400：通過分類模型對關(guān)鍵幀進(jìn)行語義識別分類，生成視頻數(shù)據(jù)的語義分割結(jié)果；

所述S200包括：

S201：通過幀差法計(jì)算視頻數(shù)據(jù)中相鄰兩幀圖像之間的差異度；

S202：根據(jù)差異度將視頻數(shù)據(jù)分割為若干視頻段；

S203：從每個(gè)視頻段中選取若干幀圖像作為關(guān)鍵幀；

所述S203包括：

S2031：從視頻段中隨機(jī)選取第一個(gè)關(guān)鍵幀；

S2032：從第一個(gè)關(guān)鍵幀開始按照固定的間隔從視頻段中選取幀圖像作為關(guān)鍵幀；

所述S201通過對像素的時(shí)間差分進(jìn)行閉值化來提取相鄰幀的差異度；

所述S201包括：

S2011：將相鄰幀圖像對應(yīng)像素值相減得到差分圖像；

S2012：對差分圖像進(jìn)行二值化；

S2013：根據(jù)二值化后的差分圖像，計(jì)算差異度；

所述S300包括：

S301：建立卷積神經(jīng)網(wǎng)絡(luò)的卷積層、池化層以及全連接層；

S302：構(gòu)建訓(xùn)練集，通過訓(xùn)練集對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

所述S301包括：

S3011：構(gòu)建卷積層，卷積層采用同一化核、邊緣檢測核、均值模糊核、高斯濾波核、圖像銳化核以及浮雕核中的一種或多種作為卷積層的特征提取器；

S3012：構(gòu)建池化層，池化層的池化窗口大小根據(jù)輸入圖片大小以及特征提取器的大小配置，池化算法采用平均值池化、最大值池化或隨機(jī)池化算法；

S3013：構(gòu)建全連接層，全連接層使用了Softmax激活函數(shù)作為分類器；

S400包括：

S401：通過分類模型對關(guān)鍵幀進(jìn)行語義識別，生成各個(gè)分類的概率；

S402：根據(jù)各個(gè)分類的概率，將關(guān)鍵幀語義分類至概率最大的分類中；

S403：根據(jù)各個(gè)關(guān)鍵幀的語義識別結(jié)果，對語義識別結(jié)果相同的相鄰關(guān)鍵幀的語義識別結(jié)果進(jìn)行融合；

S404：根據(jù)各個(gè)關(guān)鍵幀的語義識別結(jié)果對關(guān)鍵幀對應(yīng)的視頻段進(jìn)行語義標(biāo)注，形成語義分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種自動(dòng)駕駛視頻語義分割方法，其特征在于：所述S100包括：

S101：采集多路視頻數(shù)據(jù)；

S102：對多路視頻數(shù)據(jù)進(jìn)行預(yù)處理和數(shù)據(jù)融合，形成待處理視頻數(shù)據(jù)。

3.一種自動(dòng)駕駛視頻語義分割系統(tǒng)，其特征在于：使用了如權(quán)利要求1-2中任一項(xiàng)所述的自動(dòng)駕駛視頻語義分割方法。