AI修圖,好像最早是PS推出的一個功能:內容感知。後來NVIDIA研究人員開發了一個更厲害的軟件演示,可以說“一鍵修圖”。在圖上把不需要的物體隻要抹一下,算法就會自動填補抹掉物體空白處,而且融合還相當可以。視頻一鍵Roto真實現了?一起來看今天這篇技術解析!
很多小夥伴說,這隻是圖片,如果是視頻那才真正的厲害。如果有這樣的技術,Roto工作效率會大大提高。哎?這次真的來了。研究人員本著“隻要你敢想,我就給你研發原則”真的做出來了。來,看動圖!
這裏要強調的是不僅僅扣除了人還要包括陰影區域,而且輪廓也要從鏡頭中消失。看見上圖了麼?就是這麼Niubility!讓我們看看其他一些例子。
如果單獨修複一張圖,這遠遠不是研究人員的追求,所以要換成視頻也必須看起來非常完美才可以。
可是因為時間連貫性的要求,視頻的處理是非常的難。針對這個問題自弗吉尼亞大學和Facebook的研究團隊四位大佬Chen Gao, Ayush Saraf, Jia-Bin Huang和Johannes Kopf發表了一篇論文《Flow-edge Guided Video Completion》翻譯過來應該是《光流邊緣引導視頻算法》。
論文介紹是這樣說的:
“我們提出了一個新的基於光流的視頻修複算法。之前的光流修複算法通常無法保持運動邊界的銳度。我們的方法首先提取並完成運動邊緣,然後利用運動邊緣來引導具有銳邊的分段光滑流補全。現有的方法在相鄰幀之間的局部光流連接之間傳播色彩。然而,並不是視頻中所有缺失的區域都可以用這種方法進行恢複,因為運動的邊界形成了不可逾越的障礙。我們的方法通過相隔較遠的幀之間的全局光流(non-local flow)連接減輕了這個問題,允許在運動邊界上傳播視頻內容。我們在DAVIS數據集驗證了我們的方法,視覺和定量結果都表明,我們的方法優於最先進的算法。”
實現方法概述:
那過程到底是如實現的呢?喏,都在下麵這張模型圖裏了。
過程大致是這樣的:首先,輸入一個要修複的視頻和一個二進製掩碼視頻,大概意思就是要告訴算法哪些部分需要合成。
然後算法開始計算正向和反向流以及一組非相鄰幀,補全這些流場中的缺失區域。
紅線部分是神經網絡自己補充出來的邊緣
接著用流邊緣來引導視頻中被水印/人物擋住的缺失區域的修複。
完事後,沿著流的軌跡為每個丟失像素傳播一組候選像素。從鏈接前向和後向的流向量得到兩個候選點,直到到達一個已知像素。
彩色文字
上圖中,綠色區域代表缺失部分;黃色、橙色和棕色線分別代表:第一個非局部幀、當前幀和第三個非局部幀的掃描線。
通過跟蹤流動軌跡(黑色虛線)達到缺失區域的邊緣,可以獲得圖中藍色像素的局部候選對象。但由於人腿部運動形成的流動遮擋,計算紅色像素點的候選像素就有些困難了。這裏研究人員引入非相鄰幀的非局部光流後,紅色像素點就得到了額外的非局部領域(黃線和棕線上的紅色像素點),然後就還原了被腿部遮擋的真實背景。
然後,再在梯度域中,使用置信加權平均值(A Confidence-weighted Average)將每個缺失像素的候選像素與有效候選像素進行融合以便重建顏色。
最後將整個過程不斷迭代,並將結果傳播到視頻的其餘部分,直到沒有缺失像素為止。
是不是驚呆了?這樣的技術如果能應用在我們CG行業的Roto上簡直瘋狂的不要不要的,效率得提高多少!!希望這個技術能盡快應用到實際項目中,哈哈,就不用一幀一幀摳圖啦!
來源:CG世界
下一篇 後期製作實用的小工具推薦
熱門課程
專業講師指導 快速擺脫技能困惑相關文章
多種教程 總有一個適合自己專業問題谘詢
你擔心的問題,火星幫你解答學習如何在火星時代教育選擇高質量的Maya建模培訓學校,提高您的3D建模技巧,開啟您的CG藝術職業生涯。
火星時代教育的Blender軟件培訓班,通過專業的教育機構和一流的教師來提升你的3D動畫設計技能。無論你是初學者還是有經驗的設......
在這個為期數月的Blender美工培訓班中,火星時代教育帶您進一步探索數碼藝術,全麵了解Blender這一強大的3D建模和動畫軟件。
本文深入探討了cg遊戲模型培訓學校的關鍵優勢,同時列舉了其在未來發展的重要方向。文章最後介紹了火星時代教育在這個領域的貢獻和優勢。
在火星時代教育,我們提供針對CG影視模型的培訓課程,教授3D建模和視覺特效的技巧和知識,為學員打造專業的火星時代CG影視模型製作能力。
該文章通過詳細的教學文章,剖析Maya影視模型製作的步驟和技巧,由火星時代教育提供
1. 打開微信掃一掃,掃描左側二維碼
2. 添加老師微信,馬上領取免費課程資源
同學您好!