簡單卻困難：Animoji背后十年的技術(shù)難題

表情隨心變

雖說 iPhone X 確實(shí)是一款極具誘惑力的新手機(jī)，它靚麗的外形和先進(jìn)的技術(shù)很讓人驚艷，但畢竟很多東西我們都已經(jīng)通過爆料提前知道了。如果要說稱得上驚喜的，那么 Animoji 動(dòng)畫表情功能應(yīng)該算是其中之一了吧。

所謂的 Animoji 其實(shí)很簡單，就是讓手機(jī)屏幕中虛擬形象的臉隨你的變化而變化。你擺出什么夸張的表情，它也會(huì)跟著“模仿”。蘋果首批提供了 12 種卡通形象，無論是貓、狗、機(jī)器人、外星人還是便便，你都可以對著手機(jī)做做鬼臉，看看它們會(huì)有什么相應(yīng)的變化。

別看功能好像很簡單，Animoji 還必須要 iPhone X 才能夠?qū)崿F(xiàn)。因?yàn)槲覀冎溃琲Phone X 的前置攝像頭是所謂的“原深感攝像頭”，它能夠通過將數(shù)萬個(gè)光點(diǎn)投射到用戶臉上，實(shí)時(shí)捕捉他的 3D 面譜。通過這些面部信息，設(shè)備得以讓虛擬形象即時(shí)表現(xiàn)出和用戶相似的表情來。

蘋果會(huì)在發(fā)布會(huì)主題演講中重點(diǎn)提及 Animoji，肯定是因?yàn)閷λ蓄H多期望。有趣的是蘋果說來很輕松，其實(shí)要真正實(shí)現(xiàn)它，是需要很長時(shí)間的技術(shù)沉淀的。那么有關(guān) Animoji，這背后又有些什么值得我們?nèi)チ私獾募夹g(shù)細(xì)節(jié)？

一切的開始

早在幾年前，蘋果就已經(jīng)開始在收購很多相關(guān)的公司了，比如 Perceptio、Metaio、Faceshift，還有市場里最好的 3D 傳感器制造商之一 —— PrimeSense。雖說現(xiàn)在我們都已經(jīng)知道蘋果這些收購的目的了，但在當(dāng)時(shí)它究竟想做什么，人們還是猜不透的。正是這些收購，讓 Animoji 最終得以實(shí)現(xiàn)。但是如果要了解它的技術(shù)起源，那就是十多年前的事情了。

在過去面部捕捉還是一項(xiàng)很費(fèi)勁的工作，雖說好的科幻電影、CG 電影都已經(jīng)實(shí)現(xiàn)了細(xì)膩逼真的虛擬表情，但那需要演員在臉上粘上好多個(gè)追蹤器。隨著演員面部表情的變化，追蹤器的位置也會(huì)相應(yīng)發(fā)生變動(dòng)，讓光學(xué)系統(tǒng)能夠追蹤到，并根據(jù)這些數(shù)據(jù)構(gòu)建表情變化的信息近似值，最后生成建模，然后手工調(diào)整修正。這種方法清晰、明了、有效。

但是它的缺點(diǎn)也非常明顯，那就是費(fèi)時(shí)費(fèi)力費(fèi)錢，需要攝影棚環(huán)境，演員還得愿意使用這些追蹤器，穿上專門的動(dòng)態(tài)捕捉服。這一切的不便，促使人們想要尋找更輕松簡單的面部捕捉的辦法。事實(shí)上從那個(gè)時(shí)候開始，研究者們就已經(jīng)想到深度感應(yīng)攝像頭了。直到現(xiàn)在，這種技術(shù)都是最可行的解決方案，就像 iPhone X 那樣。

然而問題就在于它說起來簡單，其實(shí)很困難。我們雖然可以用各種簡單的詞語來描述人的表情，但每一個(gè)表情事實(shí)上都牽涉到臉部許多部位的活動(dòng)，而且這些位移還是時(shí)刻在變化的。對計(jì)算機(jī)來說，要判斷這些位移數(shù)據(jù)究竟意味著什么，這可非常復(fù)雜。

為什么這會(huì)那么復(fù)雜？因?yàn)楸M管人的臉對我們來說，無論怎么看都是一張臉，但對機(jī)器來說，它的算法涵蓋面要足夠廣，以至于無論角度變化，光線變化，年齡變化，民族變化，這等等所有的變數(shù)，系統(tǒng)都要能夠認(rèn)出來這是人的臉，而且還要認(rèn)得出他當(dāng)時(shí)的表情。即使當(dāng)技術(shù)進(jìn)步，深度感應(yīng)攝像頭已經(jīng)足夠復(fù)雜，能夠采集所有和臉部相關(guān)的重要信息之后，讓計(jì)算機(jī)讀懂這些信息還是十分困難，因?yàn)閷τ?jì)算機(jī)來說，這些數(shù)據(jù)本質(zhì)上什么意義都沒有。

轉(zhuǎn)變思維

為了解決這個(gè)棘手的難題，研究者們改換了思路。他們不再試圖讓計(jì)算機(jī)去強(qiáng)行讀懂那些紛亂的數(shù)據(jù)，而是為它設(shè)置了許多模板作為范本。

據(jù)了解在新的思路的指導(dǎo)下，科學(xué)家逐漸將面部識別視為了一種幾何問題。他們通過一系列面部數(shù)據(jù)和表情數(shù)據(jù)，訓(xùn)練算法，讓它們建立多個(gè)可以去描述的靜態(tài) 3D 模型。這些信息，同樣也包含了民族差異和環(huán)境差異。有了這些計(jì)算模型，算法就可以更輕松地將掃描到的 3D 點(diǎn)陣面譜和實(shí)際的面部表情聯(lián)系起來，最終實(shí)現(xiàn)幾乎實(shí)時(shí)地將它反映在虛擬形象臉上。

看似簡單的技術(shù)，其實(shí)從提出概念到最終解決問題，其實(shí)已經(jīng)花去了十來年的時(shí)間。長時(shí)間以來，面部識別生成虛擬表情的技術(shù)的主要用戶是視覺特效公司，用來簡化他們的制作流程。然而隨著技術(shù)的進(jìn)一步發(fā)展，我們已經(jīng)看到了諸如 Facerig 這樣，它得到的更為廣泛的應(yīng)用。隨著蘋果推出 Animoji，我們可以想見這種技術(shù)的認(rèn)知度將會(huì)更高。

從發(fā)布會(huì)上的演示中，我們就能夠看到面部表情捕捉的有趣之處。不僅僅是 Animoji，還有 AR 技術(shù)的應(yīng)用也為 iPhone 帶來了新的玩法。蘋果高管在主題演講中演示了能夠貼合人臉部的虛擬面具，沒有 iPhone X 的原深感攝像頭和過去的技術(shù)積累，那是做不到的。

未來的前景

Animoji 將來能夠被我們用來做什么呢？喜歡玩兒的朋友們肯定已經(jīng)有了自己的計(jì)劃。它可以用虛擬形象還原我們的表情，并且還能錄下我們的聲音，通過 iMessage 發(fā)送出去。朋友們聽著我們的聲音，看到的確實(shí)是搞笑的卡通人物，那感覺肯定非常有趣。

如今的蘋果非常重視社交平臺和體驗(yàn)的打造，了解人們對自拍和即時(shí)通信的需求，而 Animoji 在傳統(tǒng)的社交溝通體驗(yàn)之上，增加了新的趣味。更重要的是，這些技術(shù)潛力無限。

據(jù)了解，面部表情模仿僅僅是個(gè)開始，現(xiàn)在業(yè)界希望能擴(kuò)展這個(gè)技術(shù)，實(shí)現(xiàn)基于一張照片打造出真實(shí)度極高的虛擬形象，甚至達(dá)到能讓人誤以為是真人在說話和做出表情的程度。

如果蘋果也在朝著這個(gè)方向發(fā)展，這并不是什么讓人奇怪的事情。取代指紋識別后，面部識別系統(tǒng)毫無疑問將會(huì)是未來很長一段時(shí)間的主流配置。隨著手機(jī)性能的不斷增強(qiáng)，采用面部識別能夠做的事，能夠創(chuàng)造出的虛擬實(shí)體也就越來越復(fù)雜多樣。Animoji只是開了一個(gè)頭，誰知道以后在此之上它會(huì)發(fā)展出什么更加黑科技的東西呢？