Sora最近很火爆，AI視頻生成讓行業(yè)內(nèi)發(fā)生了很大變動，對于Sora已經(jīng)有不少業(yè)內(nèi)的大佬開始激烈探討，想要了解Sora到底懂不懂物理世界，那么大家可以看看下方游戲鳥小編帶來的最新資訊，方便大家更好的了解哦。

Sora到底懂不懂物理世界

Sora 到底是不是物理引擎甚至世界模型?圖靈獎得主 Yann LeCun、Keras 之父 Francois Chollet 等人正在深入探討。

最近幾天，OpenAI 發(fā)布的視頻生成模型 Sora 成了全世界關(guān)注的焦點(diǎn)。

【關(guān)注機(jī)器之心視頻號，第一時(shí)間看到有趣的 AI 內(nèi)容】

和以往只能生成幾秒鐘視頻的模型不同，Sora 把生成視頻的長度一下子拉長到 60 秒。而且，它不僅能了解用戶在 Prompt 中提出的要求，還能 get 到人、物在物理世界中的存在方式。

以經(jīng)典的「海盜船在咖啡杯中纏斗」為例。為了讓生成效果看起來逼真，Sora 需要克服以下幾個(gè)物理難點(diǎn)：

規(guī)模和比例的適應(yīng)：將海盜船縮小到能夠在咖啡杯中纏斗的尺寸，同時(shí)保持它們的細(xì)節(jié)和結(jié)構(gòu)，是一個(gè)挑戰(zhàn)。AI 需要理解和調(diào)整這些對象在現(xiàn)實(shí)生活中的相對尺寸，使得場景在視覺上顯得合理;

流體動力學(xué)：咖啡杯中的液體會對海盜船的運(yùn)動產(chǎn)生影響。AI 模型需要模擬液體動力學(xué)的效果，包括波浪、濺水和船只移動時(shí)液體的流動，這在計(jì)算上是復(fù)雜的;

光線和陰影的處理：為了使場景看起來真實(shí)，AI 需要精確地模擬光線如何照射在這個(gè)小型場景中，包括咖啡的反光、船只的陰影，以及可能的透光效果;

動畫和運(yùn)動的真實(shí)性：海盜船的運(yùn)動需要符合真實(shí)世界的物理規(guī)律，即使它們被縮小到咖啡杯中。這意味著 AI 需要考慮到重力、浮力、碰撞以及船體結(jié)構(gòu)在動態(tài)環(huán)境中的行為。

雖然生成效果還有些瑕疵，但我們能明顯感覺到，Sora 似乎是懂一些「物理」的。英偉達(dá)高級研究科學(xué)家 Jim Fan 甚至斷言，「Sora 是一個(gè)數(shù)據(jù)驅(qū)動的物理引擎」，「是一個(gè)可學(xué)習(xí)的模擬器，或『世界模型』」。

部分研究者同意這樣的觀點(diǎn)，但也有不少人反對。

Yann LeCun：生成視頻的過程與基于世界模型的因果預(yù)測完全不同

圖靈獎得主 Yann LeCun 率先亮明觀點(diǎn)。在他看來，僅僅根據(jù) prompt 生成逼真視頻并不能代表一個(gè)模型理解了物理世界，生成視頻的過程與基于世界模型的因果預(yù)測完全不同。

他接著講到，模型生成逼真視頻的空間非常大，視頻生成系統(tǒng)只需要產(chǎn)生一個(gè)合理的示例就算成功。不過對于一個(gè)真實(shí)視頻而言，其合理的后續(xù)延續(xù)空間卻非常小，生成這些延續(xù)的代表性片段，特別是在特定行動條件下，任務(wù)難度更大。此外生成視頻的后續(xù)內(nèi)容不僅成本高昂，實(shí)際上也毫無意義。

因此，Yann LeCun 認(rèn)為，更理想的做法是生成視頻后續(xù)內(nèi)容的抽象表達(dá)，并消除與我們可能所采取動作無關(guān)的場景中的細(xì)節(jié)。

當(dāng)然，他借此又 PR 了一波 JEPA(Joint Embedding Predictive Architecture，聯(lián)合嵌入預(yù)測架構(gòu))，認(rèn)為上述做法正是它的核心思想。JEPA 不是生成式的，而是在表示空間中進(jìn)行預(yù)測。與重建像素的生成式架構(gòu)(如變分自編碼器)、掩碼自編碼器、去噪自編碼器相比，聯(lián)合嵌入架構(gòu)(如 Meta 前幾天推出的 AI 視頻模型 V-JEPA)可以產(chǎn)生更優(yōu)秀的視覺輸入表達(dá)。

François Chollet：只讓 AI 看視頻學(xué)不成世界模型

Keras 之父 François Chollet 則闡述了更細(xì)致的觀點(diǎn)。他認(rèn)為，像 Sora 這樣的視頻生成模型確實(shí)嵌入了「物理模型」，但問題是：這個(gè)物理模型是否準(zhǔn)確?它能否泛化到新的情況，即那些不僅僅是訓(xùn)練數(shù)據(jù)插值的情形?

Chollet 強(qiáng)調(diào)，這些問題至關(guān)重要，因?yàn)樗鼈儧Q定了生成圖像的應(yīng)用范圍 —— 是僅限于媒體生產(chǎn)，還是可以用作現(xiàn)實(shí)世界的可靠模擬。

Chollet 通過海盜船在咖啡杯中纏斗的例子，討論了模型能否準(zhǔn)確反映水的行為等物理現(xiàn)象，或者僅僅是創(chuàng)造了一種幻想拼貼。這里，他指出模型目前更傾向于后者，即依賴于數(shù)據(jù)插值和潛空間拼貼來生成圖像，而不是真實(shí)的物理模擬。有人將這種行為類比為人類做夢，認(rèn)為 Sora 其實(shí)只是達(dá)到了人類做夢的水平，但是邏輯能力依然不行。

Sora 生成的人類考古視頻，椅子在畫面中憑空出現(xiàn)，而且不受重力影響漂浮在空中。

Chollet 指出，通過機(jī)器學(xué)習(xí)模型擬合大量數(shù)據(jù)點(diǎn)后形成的高維曲線(大曲線)在預(yù)測物理世界方面是存在局限的。在特定條件下，大數(shù)據(jù)驅(qū)動的模型能夠有效捕捉和模擬現(xiàn)實(shí)世界的某些復(fù)雜動態(tài)，比如預(yù)測天氣、模擬風(fēng)洞實(shí)驗(yàn)等。但這種方法在理解和泛化到新情況時(shí)存在局限。模型的預(yù)測能力依賴于其訓(xùn)練數(shù)據(jù)的范圍和質(zhì)量，對于那些超出訓(xùn)練數(shù)據(jù)分布的新情況，模型可能無法準(zhǔn)確預(yù)測。

所以，Chollet 認(rèn)為，不能簡單地通過擬合大量數(shù)據(jù)(如游戲引擎渲染的圖像或視頻)來期望得到一個(gè)能夠泛化到現(xiàn)實(shí)世界所有可能情況的模型。這是因?yàn)楝F(xiàn)實(shí)世界的復(fù)雜性和多樣性遠(yuǎn)超過任何模型能夠通過有限數(shù)據(jù)學(xué)習(xí)到的。

田淵棟：學(xué)習(xí)物理需要主動學(xué)習(xí)或者策略強(qiáng)化學(xué)習(xí)

針對 Jim Fan 的觀點(diǎn)，一些研究者提出了更激進(jìn)的反駁，認(rèn)為 Sora 并不是學(xué)到了物理，只是看起來像是學(xué)到了罷了，就像幾年前的煙霧模擬一樣。也有人覺得，Sora 不過是對 2D 像素的操縱。

當(dāng)然，Jim Fan 對「Sora 沒有在學(xué)習(xí)物理，而只是操縱 2D 像素」這一說法進(jìn)行了一系列反駁。他認(rèn)為，這種觀點(diǎn)忽略了模型在處理復(fù)雜數(shù)據(jù)時(shí)所展現(xiàn)出的深層次能力。就像批評 GPT-4 不是學(xué)習(xí)編碼，只是隨機(jī)挑選字符串一樣，這種批評沒有認(rèn)識到 Transformer 模型在處理整數(shù)序列(代表文本的 token ID)時(shí)所表現(xiàn)出的復(fù)雜理解和生成能力。

對此，谷歌研究科學(xué)家 Kevin P Murphy 表示，他不確定最大化像素的可能性是否足以促使模型可靠地學(xué)到精確的物理，而不是看似合理的動態(tài)視覺紋理呢?是否需要 MDL(Minimum description length，最小描述長度)呢?

與此同時(shí)，知名 AI 學(xué)者、Meta AI 研究科學(xué)家田淵棟也認(rèn)為，關(guān)于 Sora 是否有潛力學(xué)到精確的物理(當(dāng)然現(xiàn)在還沒有)，其背后的關(guān)鍵問題是：為什么像「預(yù)測下一個(gè) token」或「重建」這樣簡單的思路會產(chǎn)生如此豐富的表示?

他表示，損失函數(shù)如何被激發(fā)的并不重要，損失函數(shù)的設(shè)計(jì)動機(jī)(無論多么哲學(xué)化或復(fù)雜)并不直接決定模型能否學(xué)習(xí)到更好的表示。事實(shí)上，復(fù)雜的損失函數(shù)可能與看起來很簡單的損失函數(shù)實(shí)際上產(chǎn)生了類似的效果。

最后他稱，為了更好地理解事物，我們確實(shí)需要揭開 Transformers 的黑匣子，檢查給定反向傳播的訓(xùn)練動態(tài)，以及如何學(xué)習(xí)隱藏的特征結(jié)構(gòu)，并探索如何進(jìn)一步改進(jìn)學(xué)習(xí)過程。

田淵棟還表示，如果想要學(xué)習(xí)精確的物理，他敢打賭需要主動學(xué)習(xí)或者策略強(qiáng)化學(xué)習(xí)(無論如何稱呼它)來探索物理的精細(xì)結(jié)構(gòu)(例如物體之間的相互作用、硬接觸)。

其他觀點(diǎn)：Sora 被認(rèn)為是「數(shù)據(jù)驅(qū)動的物理引擎」太荒謬

除了眾多 AI 圈大佬之外，也有一些專業(yè)性的觀點(diǎn)開始反駁 Sora 懂物理引擎這一說法。

比如下面這位推特博主，他認(rèn)為 OpenAI 是數(shù)據(jù)驅(qū)動的物理引擎這一觀點(diǎn)是荒謬愚蠢的， 就好像收集了行星運(yùn)動的數(shù)據(jù)并將它們喂給一個(gè)預(yù)測行星位置的模型，然后就得出該模型內(nèi)部實(shí)現(xiàn)了廣義相對論的結(jié)論。

他稱，愛因斯坦花了很多年時(shí)間才推導(dǎo)出了重力理論的方程。如果有人認(rèn)為隨機(jī)梯度下降(SGD)+ 反向傳播僅憑輸入輸出對就能理解一切，并在模型訓(xùn)練中解決問題，那這個(gè)人對于機(jī)器學(xué)習(xí)的理解是有問題的，對機(jī)器學(xué)習(xí)的工作方式了解也不夠。

愛因斯坦在理論推導(dǎo)中對現(xiàn)實(shí)做出了很多假設(shè)，比如光速恒定、時(shí)空是靈活的結(jié)構(gòu)，然后推導(dǎo)出了微分方程，其解揭示了黑洞、引力波等重大發(fā)現(xiàn)?？梢哉f，愛因斯坦利用因果推理將不同的概念連接了起來。

但是，SGD + 反向傳播并不是這樣，它們只是將信息壓縮到模型權(quán)重中，并不進(jìn)行推理，只是更新并轉(zhuǎn)向?qū)崿F(xiàn)具有最低誤差的參數(shù)配置。

他認(rèn)為，機(jī)器學(xué)習(xí)(ML)中的統(tǒng)計(jì)學(xué)習(xí)過程可能會顯然低誤差「盆地」，即無法探索不同的概念， 因?yàn)橐坏┫萑脒@些低誤差「盆地」或者局部最小值就無法重新開始。

因此，SGD + 反向傳播發(fā)現(xiàn)了看似有效但卻很容易崩潰的、脆弱的解決方案捷徑。這就是為什么深度學(xué)習(xí)系統(tǒng)不可靠并且實(shí)際訓(xùn)練起來很難，你必須在現(xiàn)實(shí)中不斷更新和訓(xùn)練它們，這就很麻煩。

梯度下降的工作原理就像一只蒼蠅尋找氣味源一樣，即蒼蠅跟隨空氣中的化學(xué)濃度向下移動，從而引導(dǎo)它導(dǎo)向氣味源。但如果僅依賴這種方式，則很容易迷路或陷入困境。

在機(jī)器學(xué)習(xí)中，模型的可調(diào)節(jié)參數(shù)就像蒼蠅，訓(xùn)練數(shù)據(jù)就像氣味源，目標(biāo)函數(shù)測量的誤差就像氣味。而調(diào)整模型權(quán)重的目的是向著氣味源(這里是低誤差，相當(dāng)于更濃的氣味)移動。

最后，他得出結(jié)論，如果認(rèn)為機(jī)器學(xué)習(xí)模型僅僅通過訓(xùn)練行星運(yùn)動的視頻就能在內(nèi)部學(xué)到廣義相對論，那就更荒謬了。這是對機(jī)器學(xué)習(xí)原理的嚴(yán)重誤解。

此外，有網(wǎng)友指出 Sora 視頻示例中充滿了物理錯誤，比如一群小狗在雪中玩鬧的場景就很糟糕，大塊雪的運(yùn)動就完全違反了重力(是否真如此，有待判斷)。

Sora 到底懂不懂物理?將來會不會懂?「預(yù)測下一個(gè) token」是不是通往 AGI 的一個(gè)方向?我們期待各路研究者進(jìn)行進(jìn)一步驗(yàn)證。