Vidu是生數科技聯合清華大學于2024年4月27日在中關村論壇未來人工智能先鋒論壇上發布的一款視頻大模型，該模型支持一鍵生成長度達16秒、分辨率為1080P的高清視頻內容。
Vidu模型采用Diffusion與變壓器融合的架構U-VT，不僅能夠模擬真實物理世界，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點。
歷史沿革
Vidu的快速突破源自于團隊在托馬斯·貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊于2022年9月提出，早于Sora采用的DiT架構，是全球首個Diffusion與Transformer融合的架構。2023年3月，團隊開源了全球首個基于U-ViT融合架構的多模態擴散模型UniDiffuser，率先完成了U-ViT架構的大規?？蓴U展性驗證。
2024年4月27日，在中關村論壇未來人工智能先鋒論壇上，生數科技聯合清華大學正式發布中國首個長時長、高一致性、高動態性視頻大模型Vidu。
技術特點
Vidu模型采用團隊原創的Diffusion與Transformer融合的架構U-VT，支持一鍵生成長達16秒、分辦率高達1080P的高清視頻內容。Vidu不僅能夠模擬真實物理世界，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點。Vidu采用“一步到位”的生成方式，從文本到視頻的轉換是直接且連續的，在底層算法實現上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。
相關評價
Vidu是全棧自主創新的最新成果，在多個維度實現了技術突破，比如可以模擬真實的物理世界、具有想象力、可以理解多鏡頭語言、可以一鍵生成長達16秒的視頻、人物場景時間具有高度一致性，還可以理解中國元素。（清華大學人工智能研究院副院長、生數科技首席科學家朱軍評）
參考資料 >
中國版Sora來了！清華打造！背后創業公司已融資數億元.百家號.2024-04-27
全面對標Sora，中國首個自研視頻大模型Vidu發布.百家號.2024-04-27
2024中關村論壇年會｜中國首個Sora級視頻大模型Vidu亮相.百家號.2024-04-27