開發(fā)者->SDK下載中獲取新版SDK" />
12月19日,聲網(wǎng)RTC Native SDK的4.1.0版本正式上線官網(wǎng)。開發(fā)者們可以在官網(wǎng)->開發(fā)者->SDK下載中獲取新版SDK。該版本現(xiàn)已全面支持4K 60fps超高清分辨率。同時,4.1.0版針對多種場景下的屏幕共享體驗,進行了大幅優(yōu)化,并新增多項與之相關(guān)的新功能。另外,新版本還增加二級均衡器、AI AEC、多路徑接入等功能。
體驗提升
視頻支持4K 60fps超高清分辨率
隨著用戶對于視頻體驗要求的不斷提升,更多用戶會開始期望看到更高清的視頻畫面。4.1.0版聲網(wǎng)RTC Native SDK現(xiàn)已全面支持4K分辨率,并優(yōu)化了FEC算法,可根據(jù)視頻幀包數(shù)與幀率進行自適應(yīng)分辨率切換,在保證提供高質(zhì)量的互動體驗體驗同時,提供適合用戶當(dāng)前網(wǎng)絡(luò)、設(shè)備情況的高清甚至超高清畫質(zhì)。
屏幕共享體驗大幅升級
4.1.0版聲網(wǎng)RTC Native SDK圍繞屏幕共享體驗進行的多項升級。目前聲網(wǎng)SDK的屏幕共享功能相對于其他同類產(chǎn)品,畫質(zhì)更優(yōu),聲網(wǎng)屏幕共享延時,在各類弱網(wǎng)Case下體驗更好。
首先,該版本的屏幕共享支持全屏共享、多屏共享、應(yīng)用窗口共享,以及指定區(qū)域共享。其中支持窗口共享的應(yīng)用包括:WPS Office、Microsoft Office PowerPoint、Visual Studio、Photoshop、Windows Media Player、Scratch等。而且支持了更多的系統(tǒng)與設(shè)備,包括:Window 8系統(tǒng)、無獨立顯卡的設(shè)備、雙顯卡設(shè)備、外接屏幕設(shè)備。
該版本的屏幕共享還增加多項新功能:
勾邊
支持多屏幕采集
去遮擋窗口
窗口最小化、從最小化恢復(fù)時回調(diào)
獲取屏幕、窗口縮略圖
獲取共享程序圖標(biāo)、屏幕名稱、窗口標(biāo)題、窗口所屬進程路徑
虛擬背景效果升級
在新版本中,我們升級了虛擬背景的自研算法。在人物靜止的情況下,人物畫面邊緣平滑不閃爍;在人物有動作時,新算法也可保證虛擬背景的畫面穩(wěn)定,不會漏出真實背景。聲網(wǎng)的虛擬背景適用于多種場景,包括白天、夜間的辦公室,以及室外環(huán)境。而且,針對多種姿態(tài)、人物狀態(tài)進行了調(diào)優(yōu),例如半身人像靜止?fàn)顟B(tài),也能辨別手指,還有手部擺動、身體晃動等。
新一代音頻技術(shù)智能引擎上線
聲網(wǎng)新一代音頻技術(shù)智能引擎“聲網(wǎng)鳳鳴AI引擎”,現(xiàn)已上線4.1.0版聲網(wǎng)RTC Native SDK。該引擎包含了AI降噪、AI回聲消除、空間音頻等核心組件,全方位提升音頻互動體驗。
值得一提的是,該版本基于AI方法重構(gòu)了AEC算法,相比傳統(tǒng)AEC算法,新的算法可以在較惡劣的回信比(echo-to-signal)條件下保存完整、清晰、流暢的近端人聲,顯著提高系統(tǒng)的回聲消除和雙講性能,能為會議、語聊、K歌等場景下的用戶提供更舒適的通話和直播體驗。
新增耳機均衡器
聲網(wǎng)率先將空間音頻應(yīng)用到了實時互動領(lǐng)域??臻g音頻的體驗不僅與接口參數(shù)相關(guān),也與用戶的設(shè)備相關(guān)。由于有不少用戶會選擇使用頭戴式耳機,而這類耳機發(fā)聲單元有獨有的EQ策略,這種策略會修改聲網(wǎng)空間音頻原始的EQ,進而影響最終體驗效果。為了保證用戶體驗,我們在4.1.0版本中新增了setHeadphoneEQParameters方法,用于調(diào)節(jié)耳機均衡器的低頻和高頻參數(shù),主要應(yīng)用于空間音效場景。該方法可抵消頭戴式耳機EQ策略帶來的影響,增強空間音頻的體驗。詳細參數(shù)說明可在聲網(wǎng)文檔中心搜索該方法獲取。
多鏈路傳輸MPUDP
大多數(shù)的移動設(shè)備都支持在連接Wi-Fi的同時,利用移動網(wǎng)絡(luò)來改善通信質(zhì)量,比如應(yīng)急指揮、在線教育、戶外直播等。這就是多鏈路傳輸能力。通常來講,如果你希望自己的App可以使用該能力來改善用戶的通話體驗或App使用體驗,一方面需要用戶的系統(tǒng)支持該能力,另一方面需要App支持該傳輸策略。
4.1.0版聲網(wǎng)RTC Native SDK基于自研的AUT傳輸協(xié)議,為開發(fā)者提供多鏈路傳輸能力。也就是說,基于聲網(wǎng)SDK開發(fā)的App可以通訊時利用Wi-Fi和4G/5G為用戶提供更穩(wěn)定的互動體驗。我們也為開發(fā)者提供了兩種傳輸策略:
1.動態(tài)切換:根據(jù)弱網(wǎng)策略,自動在Wi-Fi或4G/5G鏈路上選擇更優(yōu)線路進行切換,帶寬消耗和單一鏈路傳輸(即僅適用Wi-Fi或4G/5G)一樣。
2.冗余傳輸:采用多個網(wǎng)絡(luò)鏈路同時傳輸,即Wi-Fi和4G/5G同時進行傳輸,帶寬消耗是單一鏈路傳輸?shù)膬杀丁?/p>
性能與指標(biāo)提升
相較上一個版本,4.1.0版的延時得到了大幅的優(yōu)化。弱網(wǎng)場景下的延時降低了100ms。視頻的丟包邊界從之前的70%,提升至了80%,可以在弱網(wǎng)情況下,提供更穩(wěn)定的視頻互動體驗。同時,首幀出圖時間全面低于300ms,在推薦配置下,可達到150ms,大幅提升了直播、視頻會議等場景的用戶體驗。