
太干擾了!所有這個詞一個現象級 show time~
前腳字節剛上線 Seedance 2.0,后腳勝利全網現象級刷屏!!!
這邊馬斯克怒贊,那里好意思國導演直呼好萊塢要完蛋了。
以致急得不少老外狂催更:啥本事能通達全球使用?咋注冊中國賬號?在線等!挺急的!

如斯之火爆,如斯之 amzing,那咱上下也得上手搓一把試試。
看我搓的這個全網超火的「貓咪大戰哥斯拉」同款視頻,小貓一躍,勝利一個重拳出擊~

再來看這個 AI 版《F1 狂飆飛車》,轉速表飆升、剎車尖嘯,太有好萊塢內味兒了嗷:
再來試試 Chinese kungfu 大戰鋼鐵俠,倆東談主一來一趟近身過招,音效刺激感拉滿,太帶派了!
腦洞掀開的網友們更會整活兒,快看底下這位網友作念的一鏡到底,鏡頭從街頭一談滑進地鐵站、鉆進車廂,超有夢核感:

還有這位網友,僅僅上傳了一張漫畫截圖,Seedance 2.0 勝利給他整出了一整段劇情視頻,別太 amazing 啊我說!!

安分說,Seedance 2.0 如實對鏡頭語言透露更到位也更可控了,參考武藝勝利 next level,很符合咱泛泛作念多鏡頭和考究化落拓使用~
老章程不謊話,咱勝利邊測邊嘮,模子到底能不可打,讓大師來評!!!
鏡頭透露更到位了復雜場景也能穩住
我不知談 uu 們有莫得碰到過跟我相通的撓頭陡然:
那即是我們泛泛作念 AI 視頻時,一朝觸及觸及多鏡頭的領導詞,主體特征就會很容易「發飄」。
舉個栗子,搓出來的視頻東談主物前后長得不相通,場景和鏡頭作風不調和等等,臨了基本皆會靠近反復抽卡的戲碼……
歸根結底,照舊因為模子的一致性和安靖性有 bug。
此次 Seedance 2.0 一個最彰著的升級點就落在多模態輸入狀貌上,咱可以輸入圖像、視頻、音頻、文本四種攙雜執行狀貌,模子在畫面一致性上著實認也更穩更可控了~
先來點開胃菜,最近網上邵氏武俠 AI 視頻火得不行,于是我勝利輸入一張武林中東談主對打的動作寫照照:

在具體領導詞的遐想上,需要畫面里的男女扮裝在對話、厚誼變化、動作伸開到再次寶石之間釀成一條竣工的沖破鏈,同期需要 AI 在多鏡頭切換中穩住東談主物外形,并在全體作風和厚誼基調上保捏一致!

從底下的后果看,在大幅動作和屢次鏡頭切換進程中,即便東談主物格式和鏡頭角度發生變化,但男女主的面部特征依然安靖,莫得彰著變形的問題,不戳不戳!
咱再來玩點挑升義的,這回咱讓蒙娜麗莎在盧浮宮演出一出盧浮宮偷喝可樂的《大戲》。
在領導詞遐想里,蒙娜麗莎需要長久固定在原有畫像中完成掏可樂、喝可樂這么幅度不小的動作,還要同步出現言語格式,對模子的安靖性條目一下子就拉高了:

你還真別說,蒙娜麗莎這偷喝可樂時鬼頭鬼腦的小目光和動作還真挺到位,言語時面部一致性也穩住了,手扶畫框的動作莫得出戲,過關過關!!
咱再來玩個首尾幀玩法,馬年到了趕巧應應景,我上傳了兩張畫風完全不同的馬兒奔走圖片,讓這匹馬在統一個畫面里完成一次大變身:

有點東西……從水墨風一談過渡到油畫風,再到像素風,全體銜尾得很天然,音效和變身動作也卡得挺準!!!
總的來說,我個東談主嗅覺模子在畫面一致性和可控性這塊著實認照舊蠻強的,泛泛用來作念多扮裝、多鏡頭的視頻制作場景很合適~
在使用時提議大師盡量多上傳一些不同角度、不同參考元素,這么模子全體的輸出水準會更穩一些~

一鏡到底也能拍
在此次更新中,Seedance 2.0 還有一個大功能亮點即是——「一鏡到底」。
然而這個一鏡到底和我們解析的不太相通,它主要強調的是我們可以給模子不同的參考畫面,模子可以把這些畫面用一個視頻串聯起來~
此次,咱玩點過去科幻感的,我勝利給模子喂了三張賽博味拉滿、視角各不籌商的一百年后的地球城市參考畫面:

在領導詞設定上,需要模子在統一視角里把圖一到圖二再到圖三順暢串起來,中間還要完成急轉、俯沖、拉升等大幅運鏡,對鏡頭銜尾的邏輯和連貫性條目更高:

于是乎,我就獲得了一個無東談主機視角的過去城市穿越大片,別說,金沙電玩app這鏡頭畫面的超絕抖動感還挺帶派???
先說說優點,輸入中觸及的三個參考鏡頭如實皆給我竣工收復在視頻里了,何況如實是一鏡到底,這沒得說。
但一個算不上弊端的弊端的是——圖一和圖二的畫面銜尾太硬了點,我延緩給大師看:

其實我個東談主更理想的情況是,在圖一和圖二之間應該加一段狹小空間算作過渡,這么再切到圖三時,全體的連貫感會更好,也不太會有割裂的嗅覺。
(大師以為呢,有啥更好的處分方式嗎,接待留言~)
救濟竣工劇情輸出
在一致性和安靖性方面,Seedance 2.0 還有一個法子是能我方——腦補劇情。
它不僅僅基于首幀往青年景畫面,而是可以阿諛多份參考素材和領導詞,勝利跑一整段竣工的「劇情輸出」。
此次我干脆讓 AI 按一套六宮格漫畫,勝利創作一支竣工的劇情向動漫視頻:
將【@圖片 1】以從左到右從上到下的規章進行漫畫演繹,保捏東談主物說的臺詞與圖片上的一致,分鏡切換以及要點的情節演繹加入至極音效,全體作風詼諧幽默。

emm …畫面自己倒是沒啥問題,六個畫面皆被竣工收復了出來。
問題主要出在翰墨上,不少字體和原漫畫里的案牘對不上,何況翰墨出現的時機也和畫面不同步。
我猜可能是因為翰墨自己不屬于畫面主體的一部分,相較于東談主物、動作和場景這些畫內元素,漫畫里的翰墨對模子來說優先級彰著更低。
是以在多鏡頭和節拍切換時很容易被當成可變元素處理…
盡然啊,東談主不可既要又要還要,AI 亦然同理。(doge
視頻長度 / 音效也能 diy
除了基礎的畫面鏡頭武藝外,Seedance 2.0 在視頻延伸和音效剪輯上也上了一個 level。
先來說說視頻延伸。
uu 們需要留意的是,它這個延伸并不是單純把視頻時分拉長,而是我們可以在領導詞里給出首幀畫面,并可以明確「標注出」需要生成的視頻時長。
此次我給 AI 喂的是一張 3D 作風、正在奔走的甜甜圈圖片,條目它延伸生成一段 10 秒的視頻,并在進程中完成翻騰、向上、滑行等一整套聚攏動作:

好好好,視頻時長完全莫得問題,說 10 秒東談主家就生成 10 秒,一秒未幾一秒不少,音效還賊動感,動次打次動次打次~
然而,為啥這甜甜圈是倒著跑的???(我不太透露

臨了呢,咱來說說 Seedance 2.0 在多模態上的另一個武藝——音效。
官方強調的并不僅僅能配音,而是音色準確度超牛,同期和東談主物的貼合度也更高。
我們先來試一個畸形觀看音效武藝的場景——吃播(流哈喇子,望望模子能不可準確收復不同食品咀嚼的聲息:

從底下生成的后果看,AI 把吃炸雞的咔嚓聲、脆脆的黃瓜聲、披薩拉絲的聲息以及可樂的氣泡音統統 1:1 收復了,可以可以!
我們再來試一個 ASMR 的場景,這回我們讓 AI 在統一個視頻中演繹出不同物體的觸發音,望望會是啥后果~

除了第一個水晶碰撞聲略略有點出戲,其余險些皆作念到了 1:1 收復。金屬、玻璃、絲綢的質感皆很真確,檔次也在線:
我猜水晶聲息相比出戲的原因,主如果因為模子勝利按領導詞生的方法音效,而莫得左證場景進行想考,是以出來的聲息反而像金屬碰撞的聲息,而不是水晶摩擦音…
天然網上鋪墊該地皆是 Seedance 2.0 的各式評價,但此次我實打實用下來的感受即是:
如果單說鏡頭透露武藝(包括但不限于畫面的一致性、可控性、連貫性),Seedance 2.0 著實認如實有點超出我的預期。
哪怕用的是很大口語的領導詞,也能跑出越過理想的后果,很符合咱用在泛泛的 AIGC 視頻的畫面生成創作中去。
小 bug 也有,比如像多宮格漫畫的腳本輸出,模子不見得能 1:1 收復每個場景畫面,此外,音效上可能也偶爾會有出戲的問題。

泛泛如果用來作念一些生意場景、AIGC 泛泛創作而言,照舊夠用何況好用了,照舊很驚喜的~
這不嘛,有網友用完,皆直呼好萊塢要完蛋了,看來對模子著實認甚是承諾。(doge)

當前,Seedance 2.0 照舊在豆包 App 和即夢里上線,感興味的一又友可以勝利上手搓搓看~
{jz:field.toptypename/}(ps:親測,這兩天提議大師在豆包體驗,即夢當今生成一個視頻要列隊好幾個小時,沒招了… )
— ?接待 AI 居品從業者共建 ?—
? ?「AI 居品學問庫」是量子位智庫基于歷久居品庫跟蹤和用戶行徑數據推出的飛書學問庫,旨在成為 AI 行業從業者、投資者、接洽者的中樞信息缺欠與有詭計救濟平臺。
一鍵溫暖 ? ? 點亮星標
科技前沿進展逐日見

備案號: