[發(fā)明專利]基于不同相機間距的立體圖像克隆方法

有效

• 申請?zhí)枺?/td>: 201710097015.8
• 申請日: 2017-02-22
• 公開（公告）號: CN106910253B
• 公開（公告）日: 2020-02-18
• 發(fā)明（設計）人: 侯春萍;劉琦;閻維青;陳華;王致芃
• 申請（專利權）人: 天津大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06T3/40;G06T5/50;H04N13/128;H04N13/271
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于不同相機間距的立體圖像克隆方法，其特征是，首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續(xù)的網(wǎng)格變形，之后通過調整視差來調整立體圖像克隆區(qū)域的形狀和大小，最后將調整后的立體圖像克隆區(qū)域融合到目標圖像中，其中，調整視差來迭代調整立體圖像克隆區(qū)域的形狀和大小即迭代優(yōu)化變形，具體步驟是，

1)視差調整

調整方式如下：采用源圖像克隆區(qū)域的視差圖梯度場作為求解下式的引導場G₀，同時迫使調整后的源圖像克隆區(qū)域邊緣的視差和目標立體圖粘貼區(qū)域邊緣的視差相同，通過求解下述加權泊松等式的最小值獲得調整后的源圖像克隆區(qū)域的視差圖

其中是為源圖像克隆區(qū)域制定的權重函數(shù)，用于懲罰平滑的區(qū)域，D_T表示目標圖像視差圖，表示源圖像克隆區(qū)域的輪廓，表示調整后的源圖像克隆區(qū)域的視差圖的梯度場；

2)基于四邊形網(wǎng)格的優(yōu)化變形

2.1場景物體大小與視差的關系

假定立體相機攝像頭平行設置，根據(jù)幾何關系及相似三角形定理，推導出場景物體深度z和相機間距b之間的關系為：

其中，b表示立體相機間距，f表示相機焦距，z表示場景物體的深度，d＝x_L-x_R表示圖像視差，x_L和x_R表示同一場景物體在左視點圖像和右視點圖像的對應橫坐標；

根據(jù)幾何關系及相似三角形定理，推導出場景物體在立體圖像平面上的大小與場景物體深度之間的關系為

其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小，由此推導出場景物體在立體圖像平面上的大小x與圖像視差d之間的關系為：

由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機間距b有關，而與立體相機焦距f無關；

對于同一場景物體L₁，其在源圖像上和目標圖像上的大小分別為x₁和x₂，視差分別為d₁和d₂，雙目立體相機間距分別為b₁和b₂，得下述公式：

由上述兩式可得，相機間距不一致時同一場景物體在源圖像和目標圖像上的縮放關系為：

由此，場景物體在立體圖像上的大小不僅與圖像視差有關，而且與立體相機的相機間距有關；

2.2優(yōu)化變形

采用透視縮放項、直線約束項、視差一致項、垂直對齊項和位置固定項的權重組合來指導四邊形網(wǎng)格變形，其中V^l和V^r表示優(yōu)化變形前的左視點圖像網(wǎng)格頂點和右視點圖像網(wǎng)格頂點，和表示優(yōu)化變形后的左視點圖像網(wǎng)格頂點和右視點圖像網(wǎng)格頂點；

(1)透視縮放項定義透視縮放因子為

其中，和分別表示源圖像克隆區(qū)域調整后的視差和調整前的視差，b_S和b_T分別表示拍攝源圖像的立體相機間距和拍攝目標圖像的立體相機間距，V_i^l表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i個頂點坐標；

對于源圖像克隆區(qū)域左視點圖像的任意網(wǎng)格邊其中，V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標，其縮放因子定義為

其中，和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點的透視縮放因子；

透視縮放項定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點圖像網(wǎng)格邊和右視點圖像網(wǎng)格邊的集合；V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標，V_i^r和分別表示優(yōu)化變形前的右視點圖像網(wǎng)格的第i和第j個頂點坐標；和分別表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i和第j個頂點坐標，和分別表示優(yōu)化變形后的右視點圖像網(wǎng)格的第i和第j個頂點坐標；S_ij表示網(wǎng)格邊的縮放因子；

(2)直線約束項

為源圖像左視點圖像的網(wǎng)格邊定義變形后與變形前的長度比為

其中，V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標，和分別表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i和第j個頂點坐標；

用相同的方法定義源圖像右視點圖像的長度比

直線約束項定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點圖像網(wǎng)格邊和右視點圖像網(wǎng)格邊的集合，V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標，V_i^r和分別表示優(yōu)化變形前的右視點圖像網(wǎng)格的第i和第j個頂點坐標；和分別表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i和第j個頂點坐標，和分別表示優(yōu)化變形后的右視點圖像網(wǎng)格的第i和第j個頂點坐標；

(3)視差一致項

對于每組待計算的水平坐標分量其視差應與調整后的視差保持一致，令表示調整后的視差，視差一致項定義為

其中，表示左視點圖像待計算的水平坐標，表示右視點圖像待計算的水平坐標；

(4)垂直對齊項

對于每組待計算的垂直坐標分量應使其調整后趨近于0，從而消除垂直視差的影響，垂直對齊項定義為

其中，表示左視點圖像待計算的垂直坐標，表示右視點圖像待計算的垂直坐標；

(5)位置固定項

為防止源圖像克隆區(qū)域的中心位置發(fā)生改變，引入位置固定項固定源圖像克隆區(qū)域左網(wǎng)格的中心位置，令表示初始左網(wǎng)格的中心位置，其中，V^l表示初始的左視點圖像網(wǎng)格頂點坐標，V_i^l表示初始的左視點圖像網(wǎng)格的第i個頂點坐標，位置固定項定義為

其中，表示優(yōu)化變形后的左視點圖像網(wǎng)格頂點坐標，表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i個頂點坐標；

優(yōu)化變形的總能量定義為五個能量項的權重加和，其中五個能量項為透視縮放項、直線約束項、視差一致項、垂直對齊項、位置固定項，權重加和表示為：

Φ＝ω_sΦ_s+ω_lΦ_l+ω_dΦ_d+ω_vΦ_v+ω_dΦ_d

其中，Φ_s、Φ_l、Φ_d、Φ_v和Φ_d分別表示透視縮放能量、直線約束能量、視差一致能量、垂直對齊能量和位置固定能量，ω_s、ω_l、ω_d、ω_v和ω_d為上述能量對應的權重系數(shù)；通過求解總能量函數(shù)的最小值獲得優(yōu)化變形網(wǎng)格。