首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> AI人性化 >> 正文

重磅!OpenAI首個視頻生成模型發(fā)布,1分鐘流暢高清,效果炸裂

2024年2月16日 10:46  每日經(jīng)濟新聞  

據(jù)OpenAI官網(wǎng),OpenAI首個視頻生成模型Sora發(fā)布,完美繼承DALL·E 3的畫質(zhì)和遵循指令能力,能生成長達1分鐘的高清視頻。

AI想象中的龍年春節(jié),紅旗招展人山人海。

有緊跟舞龍隊伍抬頭好奇官網(wǎng)的兒童,還有不少人掏出手機邊跟邊拍,海量人物角色各有各的行為。

一位時髦女士漫步在東京街頭,周圍是溫暖閃爍的霓虹燈和動感的城市標志。

一名年約三十的宇航員戴著紅色針織摩托頭盔展開冒險之旅,電影預告片呈現(xiàn)其穿梭于藍天白云與鹽湖沙漠之間的精彩瞬間,獨特的電影風格、采用35毫米膠片拍攝,色彩鮮艷。

豎屏超近景視角下,這只蜥蜴細節(jié)拉滿:

OpenAI表示,公司正在教授人工智能理解和模擬運動中的物理世界,目標是訓練出能夠幫助人們解決需要與現(xiàn)實世界互動的問題的模型。在此,隆重推出文本到視頻模型——Sora。Sora可以生成長達一分鐘的視頻,同時保證視覺質(zhì)量和符合用戶提示的要求。

如今,Sora正面向部分成員開放,以評估關鍵領域的潛在危害或風險。同時,OpenAI也邀請了一批視覺藝術家、設計師和電影制作人加入,期望獲得寶貴反饋,以推動模型進步,更好地助力創(chuàng)意工作者。OpenAI提前分享研究進展,旨在與OpenAI以外的人士合作并獲取反饋,讓公眾了解即將到來的AI技術新篇章。

Sora模型能夠生成包含多個角色、特定類型運動和主體及背景精確細節(jié)的復雜場景。該模型不僅能理解用戶在提示中所要求的內(nèi)容,還能理解這些事物在現(xiàn)實世界中的存在方式。該模型對語言有深刻理解,能準確解讀提示,并生成表達豐富情感的引人入勝的角色。Sora還能在單個生成的視頻中創(chuàng)建多個鏡頭,使角色和視覺風格保持準確一致。

比如一大群紙飛機在樹林中飛過,Sora知道碰撞后會發(fā)生什么,并表現(xiàn)其中的光影變化。

一群紙飛機在茂密的叢林中翩翩起舞,在樹林中穿梭,就像候鳥一樣。

Sora還可以在單個視頻中創(chuàng)建多個鏡頭,并依靠對語言的深入理解準確地解釋提示詞,保留角色和視覺風格。

對于Sora當前存在的弱點,OpenAI也不避諱,模型在準確模擬復雜場景的物理特性方面可能會遇到困難,也可能無法理解具體的因果關系實例。例如“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數(shù)量會變化,一些憑空出現(xiàn)或消失。

此外,模型還可能會混淆提示的空間細節(jié),例如左右不分,并且在處理隨時間發(fā)生的事件的精確描述方面也可能存在困難,比如跟蹤特定的攝像機軌跡。

如提示詞“籃球穿過籃筐然后爆炸”中,籃球沒有正確被籃筐阻擋。

技術方面,目前OpenAI透露的不多,簡單介紹如下:

Sora是一種擴散模型,從噪聲開始,能夠一次生成整個視頻或擴展視頻的長度,

關鍵之處在于一次生成多幀的預測,確保畫面主體即使暫時離開視野也能保持不變。

與GPT模型類似,Sora使用了Transformer架構(gòu),有很強的擴展性。

在數(shù)據(jù)方面,OpenAI將視頻和圖像表示為patch,類似于GPT中的token。

通過這種統(tǒng)一的數(shù)據(jù)表示方式,可以在比以前更廣泛的視覺數(shù)據(jù)上訓練模型,涵蓋不同的持續(xù)時間、分辨率和縱橫比。

Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術,為視覺訓練數(shù)據(jù)生成高度描述性的標注,因此能夠更忠實地遵循用戶的文本指令。

除了能夠僅根據(jù)文本指令生成視頻之外,該模型還能夠獲取現(xiàn)有的靜態(tài)圖像并從中生成視頻,準確地讓圖像內(nèi)容動起來并關注小細節(jié)。

該模型還可以獲取現(xiàn)有視頻并對其進行擴展或填充缺失的幀,請參閱技術論文了解更多信息(晚些時候發(fā)布)。

Sora是能夠理解和模擬現(xiàn)實世界的模型的基礎,OpenAI相信這一功能將成為實現(xiàn)AGI的重要里程碑。

每日經(jīng)濟新聞綜合OpenAI官網(wǎng)

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應用建議。如網(wǎng)站內(nèi)容涉及作品版權和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
工信部辛國斌:2023年全國行政村通5G覆蓋超過80%
精彩專題
CES 2024國際消費電子展
2023年信息通信產(chǎn)業(yè)盤點暨頒獎禮
飛象網(wǎng)2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復制、鏡像