[發明專利]基于不同相機間距的立體圖像克隆方法

有效

• 申請號: 201710097015.8
• 申請日: 2017-02-22
• 公開（公告）號: CN106910253B
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 侯春萍;劉琦;閻維青;陳華;王致芃
• 申請（專利權）人: 天津大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06T3/40;G06T5/50;H04N13/128;H04N13/271
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于圖像處理技術領域，為提出針對相機間距不一致時的立體圖像克隆算法。本發明采用的技術方案是，基于不同相機間距的立體圖像克隆方法,首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續的網格變形，之后通過調整視差來調整立體圖像克隆區域的形狀和大小，最后將調整后的立體圖像克隆區域融合到目標圖像中。本發明主要應用于圖像處理場合。

技術領域

本發明屬于圖像處理技術領域，具體講,涉及一種基于不同相機間距的立體圖像克隆算法。

背景技術

隨著3D電影和電視等3D媒體的增加，3D內容受到了用戶的廣泛關注。因此，一旦用戶能夠很方便地接觸到3D相機和3D顯示設備，就會希望能夠像編輯2D圖像一樣編輯3D圖像，然而，將2D圖像編輯的方法直接應用到3D圖像，往往不能產生令人舒適愉悅的視覺體驗。

目前，關于2D圖像克隆已經有很多成熟的算法，然而3D圖像克隆面臨著許多新的挑戰：1)3D圖像相比2D圖像增加了深度約束，因此，為了保證立體圖像克隆過程中的深度一致性，需要對克隆區域的大小和形狀進行調整。2)為了舒適的視覺體驗，需要保持左視點圖像和右視點圖像之間的對應關系。

目前，已有部分研究人員對立體圖像克隆進行了研究。Lo等人提出了一種3D復制和粘貼的方法，需要精確分割源圖像中的待克隆對象，并將其粘貼到目標圖像中。Luo等人提出了一種基于透視感知變形的無縫立體圖像克隆算法，該算法不需要對源圖像中的待克隆區域進行精確分割，可以處理具有模糊邊界、不易分割的克隆對象。然而，在立體圖像克隆的過程中，上述研究都假設拍攝源圖像和拍攝目標圖像的立體相機的相機間距是一致的。然而，實際中，拍攝源圖像和拍攝目標圖像的立體相機的相機間距往往不一致，因此，相機間距不一致時的立體圖像克隆問題亟待解決。

發明內容

為克服現有技術的不足，本發明旨在提出針對相機間距不一致時的立體圖像克隆算法。本發明采用的技術方案是，基于不同相機間距的立體圖像克隆方法,首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續的網格變形，之后通過調整視差來調整立體圖像克隆區域的形狀和大小，最后將調整后的立體圖像克隆區域融合到目標圖像中。

圖像預處理具體步驟是，計算源圖像和目標圖像的視差圖，同時為源圖像和目標圖像構建四邊形網格，構建方式如下：首先用一個均勻網格M^l＝(V^l,E^l,F^l)表示源圖像的左視點圖像，其中V^l表示左視點圖像的網格頂點，E^l表示左視點圖像的網格邊，F^l表示左視點圖像的網格四邊形，之后根據源圖像的視差圖構建源圖像右視點圖像的網格M^r＝(V^r,E^r,F^r)，其中，V^r表示右視點圖像的網格頂點，E^r表示右視點圖像的網格邊，F^r表示右視點圖像的網格四邊形。

輪廓處理具體步驟是，結合源圖像的左視點圖像的初始均勻網格對用戶繪制的任意輪廓進行調整，使新輪廓為包含用戶繪制輪廓的最小矩形輪廓，其中矩形輪廓的四個角點均為源圖像的左視點圖像的初始均勻網格中的網格頂點，在獲得源圖像的左視點圖像的新輪廓之后，根據源圖像視差圖獲得源圖像的右視點圖像的新輪廓，輪廓包圍區域即為源圖像克隆區域。

調整視差來迭代調整立體圖像克隆區域的形狀和大小即迭代優化變形，具體步驟是，

1)視差調整

調整方式如下：采用源圖像克隆區域的視差圖梯度場作為求解下式的引導場G₀，同時迫使調整后的源圖像克隆區域邊緣的視差和目標立體圖粘貼區域邊緣的視差相同，通過求解下述加權泊松等式的最小值獲得調整后的源圖像克隆區域的視差圖