圖注：Sora可以為各種設(shè)備生成與其原始縱橫比完美匹配的內(nèi)容

改進構(gòu)圖與框架

我們的實驗結(jié)果顯示，在視頻的原始縱橫比上進行訓(xùn)練，能夠顯著提升構(gòu)圖和框架的質(zhì)量。為了驗證這一點，我們將Sora與一個將所有訓(xùn)練視頻裁剪為方形的模型版本進行了比較。結(jié)果發(fā)現(xiàn)，在正方形裁剪上訓(xùn)練的模型有時會生成僅部分顯示主題的視頻。而Sora則能呈現(xiàn)出更加完美的幀，充分展現(xiàn)了其在視頻生成領(lǐng)域的卓越性能。

圖注：將所有訓(xùn)練視頻裁剪為方形的模型相比(左)，Sora能呈現(xiàn)出更加完美的幀

語言理解深化

為了訓(xùn)練文本轉(zhuǎn)視頻生成系統(tǒng)，需要大量帶有相應(yīng)文本字幕的視頻。為此，我們借鑒了DALL·E3中的re-captioning技術(shù)，并應(yīng)用于視頻領(lǐng)域。首先，我們訓(xùn)練了一個高度描述性的轉(zhuǎn)譯員模型，然后使用它為我們訓(xùn)練集中的所有視頻生成文本轉(zhuǎn)譯。通過這種方式，我們發(fā)現(xiàn)對高度描述性的視頻轉(zhuǎn)譯進行訓(xùn)練，可以顯著提高文本保真度和視頻的整體質(zhì)量。

與此同時，與DALL·E3類似，我們還利用GPT技術(shù)將簡短的用戶提示轉(zhuǎn)換為更長的詳細轉(zhuǎn)譯，并將其發(fā)送到視頻模型。這一創(chuàng)新使得Sora能夠精確地按照用戶提示生成高質(zhì)量的視頻。

圖片與視頻提示

在上述所有結(jié)果和我們的演示中，你可能已經(jīng)注意到了文本轉(zhuǎn)視頻的示例。但Sora的功能遠不止于此，它還能接受其他類型的輸入提示，如預(yù)先存在的圖像或視頻。這種多樣化的提示方式使Sora能夠執(zhí)行廣泛的圖像和視頻編輯任務(wù)，如創(chuàng)建完美的循環(huán)視頻、將靜態(tài)圖像轉(zhuǎn)化為動畫、向前或向后擴展視頻等。

將DALL·E圖片變成動畫

值得一提的是，Sora還能在提供圖像和提示作為輸入的情況下生成視頻。下面展示的示例視頻就是基于DALL·E 2和DALL·E 3的圖像生成的。這些示例不僅證明了Sora的強大功能，還展示了它在圖像和視頻編輯領(lǐng)域的無限潛力。