Meta 推出 AI 音頻模型 Audiobox：支持語音及文字同時輸入、可生成多層次聲音
2023-12-22 14:00:11
2023-12-22 14:00:11
开yun体育官网 12 月 22 日消息，Meta 日前推出了一款 AI 聲音生成模型 Audiobox，能夠同時接收語音及文字輸入，用戶可同時使用語音及文字描述，讓這款模型生成所需的音頻。
據(jù)悉，這款模型基于 Meta 今年 6 月推出的 Voicebox AI 模型，據(jù)稱 Audiobox 能生成各種環(huán)境音、自然對話語音，并整合了音頻生成和編輯能力，以便于用戶自由生成自己所需的音頻。
Meta 介紹稱，生成高品質(zhì)音頻需要有大量音頻庫及深厚的領(lǐng)域知識，但大眾難以獲得這些資源，而該公司推出這個模型旨在降低聲音生成門檻，讓任何人都更容易制作視頻、游戲等應(yīng)用場景的音效。
开yun体育官网發(fā)現(xiàn)，這款 Audiobox 模型基于 Voicebox 的“引導聲音”機制，以便于生成目標音頻，并配合“流量比對（flow-matching）”擴散模型生成方法，以實現(xiàn)“聲音填充（audio infilling）”功能，從而生成多層次的音頻。
Meta 測試生成帶有雷暴聲的下雨音頻，并輸入一系列提示句進行演示，例如“流水聲伴隨鳥鳴”、“以高音調(diào)快節(jié)奏說开yun体育官网話的年輕女性”等；同時測試了同時輸入人聲及文字提示，以生成帶有情緒（“哀痛而緩慢”）并擁有背景音（身處教堂）的語音。
Meta 聲稱，Audiobox 在音質(zhì)及“生成內(nèi)容的準確度” 順利擊敗了 AudioLDM2、VoiceLDM 及 TANGO，超越了現(xiàn)有最佳的音頻生成模型。
目前 Audiobox 已經(jīng)開放向特定研究人員及學術(shù)界試用，以供測試模型品質(zhì)及安全性，Meta 聲稱，他們計劃“再過幾周將社會全面公開該模型”。
上一篇： 微軟僅憑「提示工程」讓 GPT
相關(guān)新聞
-
智能未來生活：探索开yun体育官网智能家居的創(chuàng)新之路
2024-04-14 -
AI 聊天機器人 开yun体育官网Claude 2.1
2023-12-02
-
迎接綠色可持續(xù)發(fā)展挑戰(zhàn) ——訪ABB電氣中國
2023-12-31
-
开yun体育官网智能家居：讓生活更智能更便捷
2024-02-29
-
开yun体育官网引領(lǐng)石化產(chǎn)業(yè)新技術(shù)革命，助力可持續(xù)發(fā)展
2024-06-08
