把下面圖片中的衣服，換到視頻里的模特身上，你需要分幾步走？
愛奇藝AI團(tuán)隊(duì)的答案是“一鍵換裝”。
近日，國際AI頂級會議CVPR 2022公布了最新論文入選結(jié)果，愛奇藝AI團(tuán)隊(duì)的論文《ClothFormer: Taming Video Virtual Try-on in All Module》以O(shè)ral Presentation（口頭報(bào)告論文）入選。論文研究的目標(biāo)就是通過圖像生成模型，把圖片里的衣服，穿到視頻中的人物身上。
CVPR（Computer Vision and Pattern Recognition）由IEEE主辦，是計(jì)算機(jī)視覺領(lǐng)域的三大頂會（CVPR、ICCV、ECCV）之一。CVPR代表著AI學(xué)術(shù)領(lǐng)域的世界前沿水平。今年最終有2067篇論文被接收，接收率約為25%，Oral接收率更是不到5%。
愛奇藝AI團(tuán)隊(duì)的這篇論文提出了ClothFormer算法，并提出了業(yè)內(nèi)首個基于真實(shí)場景的視頻虛擬試穿數(shù)據(jù)集iQIYI-VVT，不僅能夠更真實(shí)、自然地完成“虛擬換裝”，也為業(yè)內(nèi)深入研究該技術(shù)提供了豐富的數(shù)據(jù)支持。
有了愛奇藝這項(xiàng)技術(shù)，觀眾足不出戶試穿影視劇同款、全世界潮流服飾的愿望指日可待。
虛擬換裝≠軟件修圖
把圖片里的衣服換到人身上，這項(xiàng)操作似乎和軟件修圖類似，實(shí)際上兩者相差甚遠(yuǎn)。
假如給一支時長1分鐘視頻里的人換裝，即使每秒只有25幀，也需要修改1500張圖片，若是人物動作復(fù)雜、遮擋物多的視頻，全部修改完也不一定能流暢播放。
這與“視頻虛擬換裝”的三大關(guān)鍵點(diǎn)有關(guān)：一是精準(zhǔn)地把款式衣服變形，使其貼合模特動作，二是把衣服“穿”到模特身上，三是使生成的視頻看上去夠流暢。每個關(guān)鍵環(huán)節(jié)都存在眾多難點(diǎn)，比如衣服變形不夠精準(zhǔn)，視頻里的人物被遮擋或動作復(fù)雜，生成的視頻不穩(wěn)定，加上現(xiàn)有真實(shí)場景的數(shù)據(jù)集不足，很難準(zhǔn)確理解復(fù)雜場景……這些問題都導(dǎo)致衣服無法“穿”到人身上。
為了解決“虛擬換裝”面臨的技術(shù)問題，愛奇藝AI團(tuán)隊(duì)提出ClothFormer算法，該算法重新對視頻虛擬試穿框架進(jìn)行了創(chuàng)新，有效改善了遮擋、視頻穩(wěn)定性等問題，降低了復(fù)雜姿態(tài)和復(fù)雜場景的挑戰(zhàn)，換裝后的視頻也更加自然。（了解ClothFormer算法詳情可訪問：https://cloth-former.github.io/）
ClothFormer算法讓“虛擬換裝”走進(jìn)真實(shí)場景
未來，在愛奇藝拍攝短視頻，用戶任意拿一張衣服的照片，或者影視劇劇照，就能給自己一鍵換裝，真正實(shí)現(xiàn)“穿衣自由”。“虛擬換裝”還可以用在虛擬制作中，比如拍攝結(jié)束后演員需要更換服裝，通過虛擬換裝技術(shù)給自動給演員更換，可以節(jié)省重新置景、拍攝的時間和成本。
近年來，“虛擬換裝”成為熱門研究領(lǐng)域，在CVPR等眾多計(jì)算機(jī)視覺頂會中，越來越多的相關(guān)文章被收錄。隨著技術(shù)的進(jìn)步，研究者們逐漸從小尺寸圖片演變到高清圖片以及視頻的虛擬試穿，但大多仍限定在特定場景中，背景、姿態(tài)都比較簡單，在真實(shí)場景上難以真正應(yīng)用起來。ClothFormer算法則讓“虛擬換裝”進(jìn)一步從實(shí)驗(yàn)走向真實(shí)場景。
