【產品經理】視覺美化行業的技術路徑和競品分析

我在2021年3月份來到了字節跳動的火山引擎部門，擔任智能美化特效CVsdk的產品實習生。這段實習中認識了很棒的mentor，很可愛的同事，這是一段很快樂的時光！

實習結束了，我也來到了新的公司。總想為上半年留下點什么，正好碰到朋友約稿寫一寫AI落地的小行業，就動筆寫了這篇博文，經過改編后將會發到朋友的公眾號上。

　　抖音快手等短視頻的爆火在拉動泛娛樂行業快速前進的同時，也催生着美顏特效產業不斷壯大。比起高大上的AI名詞，在手機App中觸手可得的美顏濾鏡、酷炫特效、貼紙玩法似乎更能吸引大家的注意力。奶瓶面膜、透明雨衣、金鳳凰，哪怕你不是短視頻愛好者，也難免會被他們吸引住目光。

 

  　　這些美顏特效似乎也不止停留在了這些短視頻APP中，我們打開小紅書拍照后可以進行美化處理，我們打開騰訊會議會自帶美顏效果，甚至打開智能電視都能找到系統自帶的貼紙小游戲，就連商湯的打卡機在打卡成功后都會出現有趣的貼紙特效。似乎每一個能讓你看到人臉的地方都有着美顏特效的影子。

 　　有需求的地方就有生意。據估算，以美顏特效為主的CVSDK市場約有 每年5億的市場規模，且在以年化10%的速度快速增長。伴隨着泛娛樂行業的快速發展，在行業中聚集了字節、商湯、相芯、BAT等眾多技術提供商。美顏特效的背后包含着哪些技術能力，各家的產品又有什么差異，我們將通過本文一探究竟。

 

美顏特效產業的背后技術

 　　近些年來，大眾對美的追求從單純的白幼瘦逐漸演變為了追求自然感和高級質感，人臉特效的功能也從最初的磨皮美白紅潤演變為了能力覆蓋美顏、美型、美體、美妝、貼紙、Avatar的特效全家桶。行業內的技術提供商往往會將上述的能力封裝為SDK產品，以直銷或者渠道的方式售賣給各個APP廠商。

功能項	功能小項
美顏	磨皮、美白、紅潤、銳化
美型	大眼、瘦臉、小臉、瘦鼻、隆鼻、白牙、縮人中等
美體	美臀、美胯、豐胸、瘦身、瘦腰、長腿、瘦手臂等
美妝	腮紅、口紅、修容、美瞳、眼影、眉毛、高光等
濾鏡貼紙	人像濾鏡、風景濾鏡、食物濾鏡、3D貼紙、GAN特效貼紙、交互貼紙等
虛擬形象	animoji形象生成、avatar形象驅動

　　看似簡單的美顏特效背后，卻包含着來自算法、工程和產品層面的大量挑戰。僅從技術的角度看，美顏特效大量的使用了計算機視覺(CV)和計算機圖形學(CG)的相關技術。除了這些單點技術本身，如何從多樣的功能和場景中提煉出統一的處理鏈路，也是極度考驗團隊技術實力的一大難題。

　　我們先看CV和CG這兩項核心技術。利用計算機視覺技術，可以實現對場景的檢測和理解，無論是人臉關鍵點識別、還是面部瑕疵檢測，無論是手勢動作識別，還是自然場景理解，各種智能能力中都包含着以深度學習為核心的CV技術的影子。深度學習的發展大幅度的推動了CV技術的進步，在檢測、分割、智能生成等方面都表現出了極佳的精度、准確度和場景適應性。借助上述算法的識別結果打造強互動性的特效玩法已經成為了行業內的一大發展趨勢。而伴隨着GAN網絡的工程化落地，使用生成式模型打造千人千面的效果也成了各家鼓吹的新興賣點。

 

　　除了CV技術外，將虛擬的素材疊加渲染到真實畫面上也是一個重要的環節，這其中離不開CG的各項技術。為了更好的完成工程化落地，各家也會打造自己的特效渲染引擎。渲染引擎往往會適配OpenGL、Neon等多種計算后端並提供統一的調用接口，引擎本身也會針對場景需求進行輕量化改造、跨平台適配、高性能優化等定向開發。經過近幾年的不斷打磨和發展，各家的渲染引擎也變得越發強大，能夠模擬真實的材質、變換的光影，甚至使用GPU粒子系統模擬出近乎真實的煙花效果。

 

　　美顏特效不只是一門技術，更是一項完整工程。只有將CV和CG的原子能力進行完善的工程化、系統化和產品化包裝，才能真正的產生客戶價值。不同技術提供商所選用的pipeline各不相同，但無不圍繞着算法和渲染兩大功能簇展開，下圖就是執行流程的一個示例。而在工程化的過程中還會遇到模塊化組件、多機型適配、穩定性優化等多種實際問題。針對效果、性能、成本的不同優化也形成了行業內不同玩家的各自優勢。

 

 

 美顏特效行業的頭部玩家

商湯

　　商湯作為行業內的先行者和領跑者，具有多年的技術積累，產品功能豐富、效果較好、形成了極佳的業界口碑。商湯在算法性能和corner case的優化上付出了很多的努力，算法在大角度側臉場景下的跟隨穩定性 和 面部消失重現場景下的響應速度 都有着領先友商的技術優勢。而商湯也在Animoji、Avatar、數字人等新興技術上保持着長期的投入和技術領先優勢。

　　從商務的角度上觀察，商湯具有大量的騰訊和阿里投后客戶，主要客戶群是腰部以上且對效果要求較高的大中型客戶，有着較高的商務壁壘。

字節

　　字節在抖音、輕顏、醒圖等自有大流量產品的不斷加持下，美顏特效相關的基礎技術能力不斷迭代升級，自有UED團隊在海量數據和用研調查中對大眾審美趨勢有着獨到的把控，圍繞着抖音積累了來自內外部設計師的十余萬款特效貼紙資源，特效創作工具Effect Creator也在設計師的長期使用反饋中不斷完善。字節圍繞着美顏特效建立了“算法+引擎+資源+工具”的完整產品生態。

　　而在C端流量紅利見頂和自身技術能力外溢的大背景下，字節跳動也積極布局B端業務，成立子品牌“火山引擎”，將內部的產品生態進行toB的封裝，入局美顏特效sdk領域，以抖音等大流量產品為背書，快速搶占市場份額，以生態優勢築起較高的壁壘。

相芯

　　相芯是一家位於杭州的技術公司，主打美顏、磨皮和銳化等基礎的美顏功能。與友商相比，相芯聚焦於腰部及以下的中長尾客戶，以更高的性價比和更貼心周到的配套服務來俘獲客戶的親睞。值得注意的是，相芯在以Avatar為代表的技術上打造單點的亮眼能力，獲得了一些大客戶的肯定。

　　在幾年的發展后，相芯與聲網、網易雲、金山雲等渠道商都保持着良好的合作關系。目前渠道商構成了相芯的大部分銷量，而相芯也以“高性價比滿足中長尾客戶基本需求”為主策略，搶占了市場生態位。

BAT

　　騰訊、百度和阿里都有着美顏特效的技術能力和相關產品，但基本上都不會單獨售賣，而多是包裹在短視頻或直播解決方案中整體銷售。聯合着視頻雲或視頻編輯工具，打造場景下的成套解決方案，主要服務的客戶也是以集團內部客戶和戰略投資的客戶為主。

　　在沒有自有大流量產品的高需求下，BAT都普遍缺乏大量投入研發的動力，而是作為整體解決方案的一部分，更強調場景下的鏈路完整。

 

　　小小的美顏特效卻也暗藏玄機，行業內的各家也是八仙過海、各顯神通。商湯靠技術、字節靠生態、相芯靠價格、BAT靠方案。在AI落地的過程中，或許也需要考慮算法技術之外的因素，無論是工程能力還是商務資源，占領具有壁壘的生態位並長期提供客戶價值才是保持市場競爭力的不二之法。