

在第四屆中國“互聯網+”大學生創新創業大賽冠軍爭奪賽上,來自北京郵電大學的“人工智能影視制作——聚力維度”項目,堪稱影視制作“黑科技”,它可以將2D電影實時地直接轉換成3D,效率提升1000倍,打破了傳統3D影視制作高成本、耗時間的問題。在此次大賽中,獲得亞軍。





崢嶸平臺由聚力維度的科幻成真實驗室歷時3年之久研發完成,主要用于畫面品質達院線級標準的3D內容制作。
《阿凡達》上映之后,3D電影在大眾領域從“陌生”轉為“熟悉”。很多人都看過3D電影,但僅有很少人知道3D電影如何制作。主流的3D電影制作采用2D轉3D方式。因為使用3D雙目攝像機實拍,不僅成本高、周期長、移動不便,而且在拍攝特寫、逆光、運動等鏡頭上也有限制。崢嶸平臺的誕生則徹底顛覆了傳統2D轉3D技術。
用傳統2D轉3D技術制作一幀立體畫面,是一個繁瑣且耗時間的過程,要經過圖像分割、灰度繪制、背景補圖、渲染合成至少4個步驟。
舉例來說,將一張正對鏡頭的面部特寫圖片制作成立體圖片,一個人類立體設計師需要先用傳統3D轉制軟件里的分割工具,將人物的面部從鼻尖、鼻翼、顴骨、耳根再到頭發,像用ps摳圖一樣分別依次分割;再給分割出來的每一層依次賦予灰度值,也就是賦予單個部分立體感;然后將單張圖片依據左右眼視角進行平移,并將平移后的空白部分補充完整;最后將左右視角圖與灰度圖渲染合成

傳統轉3D面部立體手工分割工序
繁瑣如此,也才僅僅得到一幀圖片中一張人物面部的立體圖像,更別提含有多人以及多層次背景的影視場景。

傳統轉3D復雜場景手工分割工序
然而,使用人工智能2D轉3D平臺崢嶸,則只需將這張圖片上傳給平臺,就可以實時得到一張結構精細的立體圖。

崢嶸平臺主要基于人工智能技術,其核心是從單目圖像中恢復出整個場景的三維結構。與應用在安防、自動駕駛、金融、醫療領域的目標檢測或目標分割等技術相比,崢嶸平臺是在用機器做人的視覺。
首先,其輸出的結果是影視畫面,與安防、金融、醫療等應用相比,主要服務于人類的觀看體驗。
其次,人眼對所觀看的影視畫面要求很高,并希望從中獲得愉悅感。崢嶸平臺輸出的影視畫面需要做到三維空間關系精細、穩定且漂亮。如果每張圖片的立體結構不一致,合成的完整視頻就有可能造成同一人物在同一場景、位置出現抖動。即便很輕微,也可能使人眩暈。但在安防或自動駕駛領域,機器鎖定目標后,并不必清晰的將其呈現給人看。檢測框圍繞目標的輕微抖動是被允許的,只要不影響最終結果判斷。
第三,崢嶸平臺不僅要像人類一樣能“看”到影視內容,并且要立體化影視內容中的萬事萬物,三維重建影視畫面中的所有類別。
對于普通人來說,運用這個3D制作平臺,就可以在短時間內學會制作動畫,制作效果甚至可以達到院線級水平。
基于該平臺的3D直播技術,能對電視劇、綜藝甚至時效性強的新聞、體育賽事等進行實時3D轉換。此外,3D瀏覽器能將所有普通網頁實時轉換成3D網頁。除了2D轉3D,聚力維度也在圍繞前期拍攝、后期制作、特效動畫等可以用人工智能優化甚至顛覆的影視制作方向進行研究,致力開創人工智能影視制作新紀元。