聲網(wǎng)實(shí)時(shí)高清·超級(jí)畫質(zhì) | 視頻要高清 美顏也要養(yǎng)眼

美顏是當(dāng)今短視頻、視頻社交、直播等日常生活中經(jīng)常使用到的一項(xiàng)技術(shù)，好的美顏可以給視頻中自己的外貌、膚色、妝容等加分，進(jìn)而帶來(lái)更好的視覺(jué)體驗(yàn)。而然，美顏并不是萬(wàn)能的，我們平時(shí)看直播時(shí)，有的平臺(tái)在主播開啟美顏后，反倒出現(xiàn)了畫面泛白泛紅、屏幕有條紋刺眼閃爍、細(xì)節(jié)模糊等情況，導(dǎo)致美感消失，或者有的平臺(tái)美顏參數(shù)配置不合適，主播看起來(lái)像整容失敗。這種情況下，如果忽視了美顏和RTC集成過(guò)程的細(xì)節(jié)打磨，也將導(dǎo)致視頻無(wú)法呈現(xiàn)出最佳畫質(zhì)，視覺(jué)觀看體驗(yàn)大打折扣。長(zhǎng)此以往，會(huì)導(dǎo)致主播的人氣下降，平臺(tái)的流水下滑等。

聲網(wǎng)近期發(fā)布的“實(shí)時(shí)高清·超級(jí)畫質(zhì)”解決方案，是面向?qū)崟r(shí)視頻場(chǎng)景提供的一套以提升視頻畫質(zhì)和使用體驗(yàn)為核心的解決方案，包含至臻畫質(zhì)、美顏悅色、絲滑流暢、低碼高清、PC開播、玩法升級(jí)、數(shù)據(jù)監(jiān)測(cè)、使用無(wú)憂八大禮包，其中“美顏悅色”就具備RTC+美顏?zhàn)罴褜?shí)踐、高精準(zhǔn)五官貼合、高穩(wěn)定點(diǎn)位追蹤、美顏場(chǎng)景無(wú)死角覆蓋等一系列能力，不僅可以給主播帶來(lái)更美、更自然的美顏效果，還能幫助企業(yè)降低開發(fā)門檻，快速集成上線美顏。

RTC+美顏?zhàn)罴褜?shí)踐

杜絕美顏接入后黑屏、卡頓

企業(yè)的直播/視頻平臺(tái)在接入美顏時(shí)，選擇最佳的集成方式非常重要，美顏效果再好，接入方式出現(xiàn)問(wèn)題，也是白忙活。聲網(wǎng)作為實(shí)時(shí)互動(dòng)云行業(yè)的開創(chuàng)者，積累了豐富的實(shí)時(shí)音視頻集成美顏SDK的經(jīng)驗(yàn)，并總結(jié)出實(shí)時(shí)音視頻接入各家美顏過(guò)程的最佳實(shí)踐方法。由于每家廠商集成方式不同，集成方式復(fù)雜，需要在不同視頻格式來(lái)回切換和調(diào)用，容易出現(xiàn)接入處理方式錯(cuò)誤，導(dǎo)致黑屏、卡頓、發(fā)燙等一系列問(wèn)題。

聲網(wǎng)在不斷的實(shí)踐中總結(jié)出了多個(gè)最優(yōu)技術(shù)路徑，例如：

·告別黑屏：聲網(wǎng)采用了RTC SDK直接采集，動(dòng)態(tài)根據(jù)采集數(shù)據(jù)類型使用最佳的美顏處理方式，紋理輸入處理或者I420輸入處理，強(qiáng)大的兼容性大大降低黑屏概率。

·保證流暢：聲網(wǎng)使用了多種處理方式組合，單紋理處理、I420處理和雙輸入處理，以及做了異步處理優(yōu)化耗時(shí)，使美顏處理耗時(shí)降到最低，實(shí)現(xiàn)幀率足幀且穩(wěn)定流暢，海外低端機(jī)也可以輕松享受高清畫質(zhì)。

·避免發(fā)燙：聲網(wǎng)選擇將更多部分美顏處理放在GPU處理，減少CPU占用，避免手機(jī)發(fā)燙，主播長(zhǎng)時(shí)間開播也不用發(fā)愁，助力平臺(tái)進(jìn)一步提升主播活躍度和粘性。

此外，在美顏?zhàn)罴褜?shí)踐的加持之下，毛發(fā)、睫毛等細(xì)節(jié)清晰度上都實(shí)現(xiàn)了高保真還原；在色彩表現(xiàn)上，最大程度還原真實(shí)色彩的同時(shí)，實(shí)現(xiàn)了主播人像更白的效果，更符合亞洲人審美，同時(shí)滿足國(guó)內(nèi)和海外的審美需求；在幫助主播更高清地呈現(xiàn)主播人美同時(shí)，還兼顧了背景物品細(xì)節(jié)的真實(shí)還原，不僅適用于秀場(chǎng)、視頻交友場(chǎng)景，還適用于電商場(chǎng)景。

場(chǎng)景化美顏API

顯著降低開發(fā)門檻

為了幫助開發(fā)者與企業(yè)有效降低開發(fā)成本，快速上線美顏功能，聲網(wǎng)提供了美顏場(chǎng)景化API解決方案降低集成工作量與代碼量。在集成方面，減少客戶90%的集成工作量，原本需要7-14天的開發(fā)時(shí)間，優(yōu)化后只需1-3小時(shí)完成。

在代碼量方面，原本需要的300+行代碼，減少至10行以內(nèi)，這其中聲網(wǎng)解決了多個(gè)核心技術(shù)難點(diǎn)：不同美顏廠商之間的無(wú)腦切換、多種視頻幀格式間的自動(dòng)兼容、美顏SDK與RTC的最佳實(shí)踐、預(yù)設(shè)的美顏參數(shù)最佳配置和鏡像的通用配置。

場(chǎng)景化美顏API可以適配各種場(chǎng)景，已經(jīng)包含秀場(chǎng)單主播、秀場(chǎng)PK、秀場(chǎng)連麥、秀場(chǎng)多人連屏、電商直播等，在各場(chǎng)景下均實(shí)現(xiàn)了低消耗、高穩(wěn)定性的表現(xiàn)。

高精準(zhǔn)五官貼合

高穩(wěn)定點(diǎn)位追蹤

美顏是對(duì)圖像中人臉進(jìn)行美化的綜合技術(shù)，美顏的首要任務(wù)是準(zhǔn)確定位圖像中的人臉以及人臉的五官，然后根據(jù)人臉的特征，進(jìn)行個(gè)性化的美化。美顏依賴的基礎(chǔ)技術(shù)包括人臉檢測(cè)、人臉關(guān)鍵點(diǎn)檢測(cè)。人臉檢測(cè)，是從圖像中找到人臉的位置并采用矩形框的方式將人臉標(biāo)示出來(lái)。由于人臉檢測(cè)提供的信息比較粗糙，要想獲取更精細(xì)、詳細(xì)的人臉信息，比如，人臉的臉型、嘴巴、眼睛、鼻子的位置和幾何形狀，則需要進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)。

人臉關(guān)鍵點(diǎn)檢測(cè)，也稱為人臉關(guān)鍵點(diǎn)定位或者人臉對(duì)齊，是在人臉檢測(cè)獲取到人臉在圖像中具體位置的基礎(chǔ)上，進(jìn)一步定位人臉五官的位置。這些人臉五官位置信息，是一些具有明確語(yǔ)議定義的離散點(diǎn)，因此稱為人臉關(guān)鍵點(diǎn)。通常，人臉關(guān)鍵點(diǎn)定義在人臉的臉頰、嘴巴、眼睛、鼻子和眉毛區(qū)域，將人臉關(guān)鍵點(diǎn)連接起來(lái)，能夠描繪人臉的幾何特征。利用人臉關(guān)鍵點(diǎn)，可以定位嘴巴、眼睛、鼻子、眉毛的位置，以及推斷臉型、嘴巴、眼睛的幾何形態(tài)和頭部的姿態(tài)。

而聲網(wǎng)“超級(jí)畫質(zhì)”的美顏能力可以實(shí)現(xiàn)高精準(zhǔn)度的五官貼合，保持人臉的五官和輪廓各部位點(diǎn)位始終精準(zhǔn)，并且無(wú)論是靜止還是運(yùn)動(dòng)場(chǎng)景，均能保持點(diǎn)位始終穩(wěn)定，拒絕抖動(dòng)與延遲，最終實(shí)現(xiàn)在不同的表情、姿態(tài)、光照和遮擋條件下，準(zhǔn)確、快速、穩(wěn)定地定位人臉關(guān)鍵點(diǎn)，達(dá)到最佳的美顏效果。

多場(chǎng)景、多人種最佳美顏效果

在保證對(duì)人臉關(guān)鍵點(diǎn)的精準(zhǔn)識(shí)別后，聲網(wǎng)還能實(shí)現(xiàn)多場(chǎng)景、多人種的最佳美顏效果。一方面，聲網(wǎng)可對(duì)復(fù)雜場(chǎng)景精細(xì)化調(diào)優(yōu)，例如明暗光、大表情、大角度、大遮擋、小臉、運(yùn)動(dòng)變化等場(chǎng)景，均能保證最優(yōu)美顏效果，同時(shí)在美顏場(chǎng)景上也實(shí)現(xiàn)無(wú)死角全方位覆蓋。

另一方面，針對(duì)多人種人臉特征，聲網(wǎng)也能精準(zhǔn)識(shí)別，并保證不同人種的最佳美顏效果，對(duì)于企業(yè)而言，可以將美顏功能更靈活的適配到出海APP中。