阿里云宣布自研EMO模型上線通義App,用照片+音頻生成唱歌視頻

來(lái)源:IT之家
作者:?jiǎn)栔?/div>
時(shí)間:2024-04-27
3319
EMO(Emote Portrait Alive)是一個(gè)由阿里巴巴集團(tuán)智能計(jì)算研究院開(kāi)發(fā)的框架,一個(gè)音頻驅(qū)動(dòng)的AI肖像視頻生成系統(tǒng),能夠通過(guò)輸入單一的參考圖像和語(yǔ)音音頻,生成具有表現(xiàn)力的面部表情和各種頭部姿勢(shì)的視頻。

IT之家 4月25日消息,EMO(Emote Portrait Alive)是一個(gè)由阿里巴巴集團(tuán)智能計(jì)算研究院開(kāi)發(fā)的框架,一個(gè)音頻驅(qū)動(dòng)的AI肖像視頻生成系統(tǒng),能夠通過(guò)輸入單一的參考圖像和語(yǔ)音音頻,生成具有表現(xiàn)力的面部表情和各種頭部姿勢(shì)的視頻。

阿里云今日宣布,通義實(shí)驗(yàn)室研發(fā)的AI模型——EMO正式上線通義App,并開(kāi)放給所有用戶免費(fèi)使用。借助這一功能,用戶可以在歌曲、熱梗、表情包中任選一款模板,然后通過(guò)上傳一張肖像照片就能讓EMO合成演戲唱歌視頻。

c0e7487b-b457-4dd3-8c3d-698cd945d39e.jpg

據(jù)介紹,通義App首批上線了80多個(gè)EMO模板,包括熱門(mén)歌曲《上春山》《野狼Disco》等,還有網(wǎng)絡(luò)熱?!袄徖忞u”“回手掏”等,但目前暫未開(kāi)放自定義音頻。

IT之家附EMO官網(wǎng)入口:

·官方項(xiàng)目主頁(yè):https://humanaigc.github.io/emote-portrait-alive/

·arXiv研究論文:https://arxiv.org/abs/2402.17485

·GitHub:https://github.com/HumanAIGC/EMO(模型和源碼待開(kāi)源)

87d5da0c-40dd-4715-a3d1-b2d4eef1a3d9.png

EMO的主要特點(diǎn)

·音頻驅(qū)動(dòng)的視頻生成:EMO能夠根據(jù)輸入的音頻(如說(shuō)話或唱歌)直接生成視頻,無(wú)需依賴于預(yù)先錄制的視頻片段或3D面部模型。

·高表現(xiàn)力和逼真度:EMO生成的視頻具有高度的表現(xiàn)力,能夠捕捉并再現(xiàn)人類面部表情的細(xì)微差別,包括微妙的微表情,以及與音頻節(jié)奏相匹配的頭部運(yùn)動(dòng)。

·無(wú)縫幀過(guò)渡:EMO確保視頻幀之間的過(guò)渡自然流暢,避免了面部扭曲或幀間抖動(dòng)的問(wèn)題,從而提高了視頻的整體質(zhì)量。

·身份保持:通過(guò)FrameEncoding模塊,EMO能夠在視頻生成過(guò)程中保持角色身份的一致性,確保角色的外觀與輸入的參考圖像保持一致。

·穩(wěn)定的控制機(jī)制:EMO采用了速度控制器和面部區(qū)域控制器等穩(wěn)定控制機(jī)制,以增強(qiáng)視頻生成過(guò)程中的穩(wěn)定性,避免視頻崩潰等問(wèn)題。

·靈活的視頻時(shí)長(zhǎng):EMO可以根據(jù)輸入音頻的長(zhǎng)度生成任意時(shí)長(zhǎng)的視頻,為用戶提供了靈活的創(chuàng)作空間。

·跨語(yǔ)言和跨風(fēng)格:EMO的訓(xùn)練數(shù)據(jù)集涵蓋了多種語(yǔ)言和風(fēng)格,包括中文和英文,以及現(xiàn)實(shí)主義、動(dòng)漫和3D風(fēng)格,這使得EMO能夠適應(yīng)不同的文化和藝術(shù)風(fēng)格。

立即登錄,閱讀全文
原文鏈接:點(diǎn)擊前往 >
文章來(lái)源:IT之家
版權(quán)說(shuō)明:本文內(nèi)容來(lái)自于IT之家,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個(gè)人觀點(diǎn),不代表快出海對(duì)觀點(diǎn)贊同或支持。如有侵權(quán),請(qǐng)聯(lián)系管理員(zzx@kchuhai.com)刪除!
相關(guān)文章
一文詳解阿里云AI大基建
一文詳解阿里云AI大基建
面向AI時(shí)代,阿里云基礎(chǔ)設(shè)施是如何創(chuàng)新與發(fā)展的?計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、集群、可觀測(cè)等,阿里云全新升級(jí)的AI Infra到底有哪些重磅更新?
阿里云
云服務(wù)
2024-11-02
AI時(shí)代云安全新范式,阿里云安全能力全線升級(jí)!
AI時(shí)代云安全新范式,阿里云安全能力全線升級(jí)!
AI時(shí)代,云安全面臨著新的挑戰(zhàn),不僅要持續(xù)面對(duì)以往的傳統(tǒng)問(wèn)題,更需要全新理念落地于產(chǎn)品設(shè)計(jì)、技術(shù)演進(jìn)、架構(gòu)設(shè)計(jì),才能實(shí)現(xiàn)效果、性能、和成本的最優(yōu)解。
AI
阿里云
云服務(wù)
2024-09-27
連續(xù)四年!阿里云領(lǐng)跑中國(guó)公有云大數(shù)據(jù)平臺(tái)
連續(xù)四年!阿里云領(lǐng)跑中國(guó)公有云大數(shù)據(jù)平臺(tái)
近日,國(guó)際數(shù)據(jù)公司(IDC)發(fā)布《中國(guó)大數(shù)據(jù)平臺(tái)市場(chǎng)份額,2023:數(shù)智融合時(shí)代的真正到來(lái)》報(bào)告——2023年中國(guó)大數(shù)據(jù)平臺(tái)公有云服務(wù)市場(chǎng)規(guī)模達(dá)72.2億元人民幣,其中阿里巴巴市場(chǎng)份額保持領(lǐng)先,占比達(dá)40.2%,連續(xù)四年排名第一。
阿里云
云服務(wù)
2024-09-18
直降算力成本!阿里云容器計(jì)算服務(wù)ACS正式商業(yè)化
直降算力成本!阿里云容器計(jì)算服務(wù)ACS正式商業(yè)化
今日,阿里云容器計(jì)算服務(wù)ACS正式商業(yè)化,綜合算力成本最高可降55%。
阿里云
云服務(wù)
2024-08-24
優(yōu)質(zhì)服務(wù)商推薦
更多