隨著人工智能技術的飛速進步,越來越多的社交平臺開始嘗試借助AI優(yōu)化用戶體驗?；诖吮尘?Soul App創(chuàng)始人張璐團隊上線了自研的端到端全雙工語音通話大模型,標志著其在語音技術領域取得了穩(wěn)步前進。此次升級的端到端語音通話大模型具備超低交互延遲、快速自動打斷、超真實聲音表達及情緒感知理解等特性,實現了更為貼近生活的交互對話和情感陪伴體驗。

從2016年上線,Soul就致力于通過技術創(chuàng)新來提升社交體驗。早在2020年,Soul便啟動了AIGC相關技術的研發(fā),不斷打磨和完善智能對話、語音技術等關鍵技術。同時,Soul還積極與國際前沿技術接軌,參與國際技術交流。今年7月,Soul語音技術團隊在國際人工智能聯合會議舉辦的多模態(tài)情感識別挑戰(zhàn)賽上表現優(yōu)異,在SEMI(半監(jiān)督學習)賽道取得了第一名的好成績,展現出Soul在語音技術領域的創(chuàng)新能力和強勁實力。

聲音作為信息傳遞和情感表達的重要媒介,是Soul技術研發(fā)中的關鍵方向之一。尤其在社交場景中,語音交互的實時性和自然性直接影響用戶的互動體驗。為此,Soul團隊專注于打造更加自然、情感化的語音模型,以提升人機交互的體驗。

相較使用級聯方案的語音模型,此次上線的端到端全雙工語音通話大模型顯著提升了交互效率和準確性。傳統(tǒng)級聯方案通常涉及語音識別、自然語言處理、語音生成等多個步驟,而步驟越多就越容易產生信息損耗和延遲。此次升級的端到端語音通話大模型通過直接處理語音輸入和輸出,減少了這些環(huán)節(jié)中的信息丟失,使得交互過程更加順暢。此外,該模型還有快速自動打斷等特點,實現更加流暢的語音交流。這種高效的語音處理能力,有效改善了人機交互質量。

聲音不僅是信息傳遞的工具,也是情感交流的重要渠道。Soul創(chuàng)始人張璐團隊認識到,擬人化的情感陪伴體驗需要精確、自然的聲音表達。此次升級之前,Soul就將自研的多個語音大模型(包括語音生成、語音識別、語音對話、音樂生成等)應用于“AI茍蛋”和“狼人魅影”的游戲互動中,AI的語音處理和生成能力大幅提升了用戶的沉浸感和互動性,也帶來了更為真實的體驗。

而此次升級的端到端語音通話大模型具備超真實聲音表達和情緒感知理解能力,能夠更好地感知和回應用戶的情緒變化。例如,在陪伴場景中,AI不僅能理解用戶聲音的情緒情感,還能夠根據對話氛圍做出適當的聲音回應,進一步增強用戶的情感體驗。模型還能夠理解物理世界的聲音場景,模擬物理世界中的聲音,理解多人聊天內容,進行多風格語言切換,開展文藝內容創(chuàng)作和即興演唱等,滿足用戶接近現實交流互動場景需要。

通過多年的技術積累和持續(xù)創(chuàng)新,Soul App創(chuàng)始人張璐團隊在語音交互領域展現出強大的技術實力。此次端到端語音通話大模型的上線,使用戶能夠體驗到更加自然、流暢的語音互動,也讓Soul在AI輔助社交的道路上更進一步。