百度商業(yè)發(fā)布全球首個(gè)中文音視頻一體化生成模型MuseSteamer

在7月2日舉辦的百度AI DAY開(kāi)放日上，百度商業(yè)研發(fā)團(tuán)隊(duì)正式推出自研視頻生成模型MuseSteamer。該模型通過(guò)突破性技術(shù)創(chuàng)新，為全球視頻創(chuàng)作者帶來(lái)高效、專(zhuān)業(yè)的智能化解決方案。據(jù)了解，MuseSteamer提供了Turbo版、Lite版、Pro版及全系列有聲版模型矩陣，通過(guò)差異化設(shè)計(jì)滿(mǎn)足各類(lèi)用戶(hù)不同創(chuàng)作需求。

“所思即所得”，重新定義敘事藝術(shù)邊界

百度商業(yè)體系商業(yè)研發(fā)總經(jīng)理劉林在會(huì)上詳細(xì)介紹了MuseSteamer的核心突破。他指出，指令理解與遵循是多模態(tài)大模型最基礎(chǔ)也是最有挑戰(zhàn)的素質(zhì)，MuseSteamer具備極致遵循力，可以真正幫助創(chuàng)作者實(shí)現(xiàn)“所思即所得”的創(chuàng)作自由。

在MuseSteamer生成的古裝武俠視頻中，一位頭戴斗笠、身著青衫的俠客正與巨型怪物展開(kāi)驚心動(dòng)魄的搏斗。該技術(shù)通過(guò)多模態(tài)大模型實(shí)現(xiàn)高度逼真的動(dòng)態(tài)內(nèi)容創(chuàng)作：斗笠下，俠客眉頭緊鎖，目光銳利，即使在特寫(xiě)鏡頭和復(fù)雜光影條件下，面部微表情依然自然生動(dòng)。同時(shí)，視頻還展現(xiàn)了MuseSteamer強(qiáng)大的運(yùn)鏡能力：以俯拍鏡頭展現(xiàn)龐大怪物的壓迫感，隨即切換到俠客第一視角的仰拍，最后以環(huán)繞運(yùn)鏡呈現(xiàn)雙方交鋒的精彩瞬間。這些專(zhuān)業(yè)級(jí)鏡頭語(yǔ)言的自動(dòng)化實(shí)現(xiàn)，讓普通用戶(hù)也能輕松獲得電影級(jí)的敘事張力。

從完整視頻可以看出，MuseSteamer能夠以導(dǎo)演拍攝的角度，對(duì)視頻基本劇情、畫(huà)面形成判斷，從俠客拔劍的起手式，到怪物咆哮時(shí)震落的碎石特效，不僅每個(gè)動(dòng)作都嚴(yán)格遵循武俠風(fēng)格的打斗軌跡，更通過(guò)快慢鏡頭的交替運(yùn)用，將這場(chǎng)生死對(duì)決的緊張氛圍渲染得淋漓盡致，展現(xiàn)出AI視頻生成在專(zhuān)業(yè)影視創(chuàng)作中的巨大潛力。

劉林指出，在AI內(nèi)容創(chuàng)作領(lǐng)域，視頻時(shí)長(zhǎng)與畫(huà)質(zhì)的突破往往意味著創(chuàng)作自由度的質(zhì)變。以MuseSteamer生成的短片《她總在三點(diǎn)一刻出現(xiàn)》為例，該技術(shù)通過(guò)10秒超長(zhǎng)鏡頭和1080P高清畫(huà)質(zhì)，實(shí)現(xiàn)了電影級(jí)的藝術(shù)表現(xiàn)力。

視頻以極具張力的鏡頭語(yǔ)言展開(kāi)：固定機(jī)位首先捕捉男主角在街頭徘徊張望的身影，隨后鏡頭自然轉(zhuǎn)向女主角，細(xì)膩呈現(xiàn)她喝咖啡的動(dòng)作，蒸汽氤氳中睫毛的顫動(dòng)，完整記錄“她總點(diǎn)一樣的咖啡”的細(xì)節(jié)。整個(gè)過(guò)程中，王家衛(wèi)式的色彩美學(xué)貫穿始終，暗紅色調(diào)與冷色陰影形成鮮明對(duì)比。而1080P的高清畫(huà)質(zhì)則刻畫(huà)出從咖啡熱氣到衣物褶皺的每一個(gè)細(xì)節(jié)，將專(zhuān)業(yè)運(yùn)鏡、光影控制和敘事張力完美融合，為創(chuàng)作者提供了更廣闊的表達(dá)空間。

與市場(chǎng)上多數(shù)需要后期配音的解決方案不同，MuseSteamer能夠同步生成畫(huà)面、音效和人物臺(tái)詞，實(shí)現(xiàn)聲音與畫(huà)面的自然生成，顯著提升了視頻作品的完整性和藝術(shù)表現(xiàn)力，是全球首個(gè)實(shí)現(xiàn)中文音視頻一體化生成的視頻模型。

以一段沙漠越野主題的短片為例，系統(tǒng)不僅能呈現(xiàn)越野車(chē)在沙漠中疾速漂移的畫(huà)面，更能智能生成與之相匹配的立體聲效：發(fā)動(dòng)機(jī)低沉的轟鳴聲隨著飛揚(yáng)的沙塵變化而起伏，輪胎與沙地摩擦的聲響隨轉(zhuǎn)彎的角度而變化，極致遵循物理運(yùn)動(dòng)規(guī)律。聲音元素與畫(huà)面動(dòng)作相得益彰，為創(chuàng)作者帶來(lái)真正“所見(jiàn)即所感”的音視頻一體化體驗(yàn)。

數(shù)據(jù)、算法、審美多重突破，持續(xù)霸榜 VBench-I2V圖生視頻榜首

在技術(shù)層面，MuseSteamer的亮點(diǎn)表現(xiàn)源于百度在數(shù)據(jù)、算法、審美等方面的深耕。劉林介紹，該模型構(gòu)建了億級(jí)規(guī)模中文多模態(tài)數(shù)據(jù)庫(kù)，通過(guò)“篩選－凈化－配比”三級(jí)優(yōu)化體系，實(shí)現(xiàn)業(yè)界領(lǐng)先的文本指令與視覺(jué)元素的語(yǔ)義對(duì)齊精度。在算法架構(gòu)上，MuseSteamer采用精細(xì)化結(jié)構(gòu)設(shè)計(jì)，支持中文文本、參考圖像等多模態(tài)條件輸入，確保對(duì)畫(huà)面細(xì)節(jié)、主體運(yùn)動(dòng)軌跡等要素的遵循。此外，模型可生成分辨率高達(dá)1080P高清視頻，呈現(xiàn)出電影級(jí)流暢轉(zhuǎn)場(chǎng)與逼真的物理運(yùn)動(dòng)規(guī)律。

在音畫(huà)呈現(xiàn)上，MuseSteamer構(gòu)建了一套完整的有聲視頻生成能力，圍繞“誰(shuí)在說(shuō)、怎么說(shuō)、在什么環(huán)境下說(shuō)”三個(gè)關(guān)鍵問(wèn)題，通過(guò)多人自動(dòng)化對(duì)齊編排、音視對(duì)齊Refiner，實(shí)現(xiàn)視覺(jué)信息、高還原度的人聲與環(huán)境音自動(dòng)生成能力。這些技術(shù)創(chuàng)新共同構(gòu)成了MuseSteamer的核心競(jìng)爭(zhēng)力。在海外權(quán)威視頻生成評(píng)測(cè)榜單 VBench Leaderboard圖生視頻榜單中，MuseSteamer視頻生成模型以總分89.38%的成績(jī)，登上VBench-I2V圖生視頻全球榜首。

伴隨MuseSteamer的發(fā)布，全新AI視頻創(chuàng)作平臺(tái)——“繪想”也同步上線(xiàn)，為創(chuàng)作者提供全新視頻生成體驗(yàn)。即日起，用戶(hù)可通過(guò)PC端搜索“MuseSteamer”或“繪想”免費(fèi)體驗(yàn)Turbo版功能，探索AI視頻創(chuàng)作的無(wú)限可能。為激發(fā)創(chuàng)作熱情，百度將在7月2日—8月3日期間舉辦“繪想·跨次元捏合”AI視頻創(chuàng)作大賽。參賽者只需上傳一張圖片，即可借助MuseSteamer視頻生成模型的強(qiáng)大能力生成富有創(chuàng)意的動(dòng)態(tài)視頻作品。

隨著技術(shù)的突破，創(chuàng)意的邊界也將進(jìn)一步拓展。MuseSteamer視頻生成模型讓專(zhuān)業(yè)級(jí)視頻創(chuàng)作變?yōu)榇蟊娍杉暗哪芰?，讓每個(gè)人都能成為自己故事的導(dǎo)演，實(shí)現(xiàn)“所思即所得”的創(chuàng)意自由。展望未來(lái)，百度將持續(xù)推進(jìn)AIGC技術(shù)創(chuàng)新，讓技術(shù)真正服務(wù)于每個(gè)人的創(chuàng)意表達(dá)。