在居然裝飾與每平每屋·設(shè)計(jì)家“數(shù)字 ”產(chǎn)品發(fā)布暨“尋找國民好設(shè)計(jì)”設(shè)計(jì)挑戰(zhàn)賽(華北區(qū))啟動新聞發(fā)布會上,阿里巴巴每平每屋平臺業(yè)務(wù)負(fù)責(zé)人、每平每屋設(shè)計(jì)家CEO石梵正式發(fā)布了每平每屋與淘系技術(shù)合作自研的AI視頻建模技術(shù)及其應(yīng)用產(chǎn)品Object Drawer。Object Drawer是業(yè)界首個基于神經(jīng)渲染的3D建模產(chǎn)品,推理速度相較于nerf算法提升了1萬倍。

　　基于此項(xiàng)技術(shù),消費(fèi)者不需要依賴特定設(shè)備,只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝,就可以完成自動重建,所生成的三維建模效果達(dá)到高精模型還原度,還能夠把目標(biāo)商品放到自己家的真實(shí)戶型中進(jìn)行展示。

　　而這個家居黑科技從何而來?背后工具支撐有多強(qiáng)大?讓我們一探究竟。

　　VR/AR賽道崛起 家居家裝3D建模需求暴漲

　　元宇宙源于1992年尼爾·斯蒂芬森的《雪崩》,這本書描述了一個平行于現(xiàn)實(shí)世界的虛擬世界,Metaverse,隨著VR/AR應(yīng)用的發(fā)展,在現(xiàn)實(shí)世界家裝家居領(lǐng)域,正在大量地運(yùn)用VR、3D、虛擬現(xiàn)實(shí)等技術(shù),云化的3D拍攝素材庫、場景庫已經(jīng)成為商家的數(shù)字化基建的重要環(huán)節(jié),經(jīng)營者希望解脫了拍攝策劃、3D創(chuàng)作的困擾,云素材能夠信手拈來,隨時開拍。另一方面,市場上家居家裝商品3D建模需求持續(xù)增加,家居家裝商品建模需求可能達(dá)到現(xiàn)在的100倍以上。

　　目前市面上的商品3D建模主要依賴于手工建模,建模時長需要幾小時甚至幾天時間,費(fèi)用動輒數(shù)百到數(shù)千元,不僅對建模環(huán)境、拍攝設(shè)備提出了諸多要求,為了提升目標(biāo)商品的形狀、紋理、材質(zhì)的展示細(xì)節(jié),還需要大量人工作業(yè)進(jìn)行高精度還原和細(xì)節(jié)修復(fù)。

　　關(guān)鍵核心技術(shù)突破 推理速度提升10000倍

　　近幾年,神經(jīng)渲染技術(shù)正在飛速發(fā)展。Google初代的NeRF及其衍生技術(shù)利用神經(jīng)隱式表達(dá)來存儲場景的物理幾何以及材質(zhì)紋理信息,端到端的優(yōu)化渲染效果,但在實(shí)際應(yīng)用中仍存在許多問題,主要包括:第一,推理速度、訓(xùn)練速度慢,1幀高清圖推理時間超過50秒,一個物體的建模時間長達(dá)2天以上。第二,細(xì)致紋理無法還原。第三,部分視角渲染效果不理想。第四,無法直接導(dǎo)入圖形學(xué)工具,不支持顯式使用,例如CAD場景搭配設(shè)計(jì);此外,由于只能還原拍攝場景的光照也使得NeRF模型無法支持環(huán)境光照變化的場景應(yīng)用。

　　而每平每屋與淘系技術(shù)共研AI視頻建模技術(shù)及其承載產(chǎn)品Object Drawer通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),探索幾何先驗(yàn),預(yù)存部分信息,在保證渲染質(zhì)量的前提下,其推理速度可以達(dá)到每秒200幀,在手機(jī)上可達(dá)到每秒30幀,從而實(shí)現(xiàn)了實(shí)時高清可交互的三維模型,且相比NeRF算法推理速度提升了10000倍。 模型的訓(xùn)練時間從2天壓縮到僅需要4小時,模型大小僅需要20M,同時,對于任意視角查看,商品3D模型都達(dá)到實(shí)拍照片的展示效果,實(shí)現(xiàn)了3D建模一直追求的自動高精度還原。Object Drawer不需要依賴特定設(shè)備,只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝,就可以完成AI人工智能的自動重建,所生成的3D建模效果達(dá)到高精模型還原度。目前,這項(xiàng)技術(shù)已經(jīng)面向手淘、天貓部分家居家裝商家開放。

　　攻克復(fù)雜光照遷移、紋理細(xì)節(jié)還原等難題

　　為了反應(yīng)物理渲染作用于3D粗模型的光照效果,如反射,陰影等,Object Drawer將物理渲染反應(yīng)在物體上的逼真光照效果遷移到神經(jīng)渲染生成的物體視角圖上,通過融合得到具有光照效果的神經(jīng)渲染結(jié)果,進(jìn)一步用得到的帶有光照效果的高清合成圖替代物理渲染結(jié)果中的粗模投影以實(shí)現(xiàn)逼真的場景渲染效果。在實(shí)驗(yàn)數(shù)據(jù)的結(jié)果表明,Object Drawer能夠適應(yīng)各種復(fù)雜光源條件以及細(xì)節(jié)的陰影效果的遷移,視覺效果遠(yuǎn)超其他替代方案。

(Object Drawer建模時不同光照遷移效果)

　　在還原紋理細(xì)節(jié)方面,對于家居家裝商品的模型來說,紋理細(xì)節(jié)還原度非常重要,通常需要達(dá)到照片級的還原才能支持實(shí)際渲染相關(guān)產(chǎn)品。Object Drawer優(yōu)化了模型表達(dá),在大幅度加速模型訓(xùn)練時間的同時,第一次做到了高清精細(xì)紋理還原,如布料線條等細(xì)節(jié)都能清晰可見。

(模型與真實(shí)商品紋理細(xì)節(jié)對比圖)

　　每平每屋與淘系技術(shù)攜手推出基于AI視頻建模技術(shù)的應(yīng)用產(chǎn)品Object Drawer對神經(jīng)輻射場技術(shù)進(jìn)行了全面的改進(jìn)和升級,實(shí)現(xiàn)了家居家裝商品自動化高精度建模流程,未來,每平每屋作為阿里巴巴旗下家居家裝賽道的創(chuàng)新業(yè)務(wù),會持續(xù)加大科研技術(shù)投入,從「商品模型-戶型-設(shè)計(jì)」及其他各個步驟,幫助商家、設(shè)計(jì)師、消費(fèi)者降低3D場景創(chuàng)作的門檻,將科技注入家裝家居和居住全鏈路的每一個環(huán),以科技優(yōu)化每個人對居住空間的體驗(yàn)、體感與審美,構(gòu)建數(shù)智化的全新居住模式。

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾，并請自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。