<mark id="oztn4"></mark>
0
| 本文作者： 田苗 | 2017-11-29 10:58 |
今天，電影已成為我們?nèi)粘Ｉ願(yuàn)蕵返囊徊糠帧臒o聲到有聲，從黑白到彩色，從樸實(shí)的實(shí)景到炫目的特效，無疑，今天的電影畫面越來越好看，這背后自然離不開技術(shù)的發(fā)展。
11 月 16 日，ICEVE 2017 北京國際先進(jìn)影像大會(huì)在北京電影學(xué)院召開，除了“影像作品”本身，這場大會(huì)更加關(guān)注與影像作品密不可分的前沿技術(shù)。微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究院童欣，同時(shí)也是未來影響高精尖創(chuàng)新中心的科技委員會(huì)委員也參加了這次活動(dòng)。
1999 年，童欣獲得清華大學(xué)博士學(xué)位，同年加入微軟亞洲研究院，主要從事計(jì)算機(jī)圖形學(xué)方面的研究，至今在該領(lǐng)域的研究已經(jīng)有 18 年時(shí)間。那么，計(jì)算機(jī)圖形學(xué)在十幾年的時(shí)間里，發(fā)生了什么變化？對(duì)影像作品產(chǎn)生了哪些影響？同時(shí)，當(dāng)前火熱的 AR/VR 又對(duì)圖形學(xué)提出了哪些新的要求？
現(xiàn)場，雷鋒網(wǎng)對(duì)童欣博士進(jìn)行了專訪，采訪內(nèi)容雷鋒網(wǎng)整理如下。
微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究院童欣
Q 1：您能介紹下近幾年的一些研究方向嗎？
童欣：我們?cè)谖④泚喼扪芯吭簩儆诰W(wǎng)絡(luò)圖形組（Internet Graphics）。研究的方向主要集中在內(nèi)容生成和交互方面。
內(nèi)容生成是指如何幫助用戶快速高效的生成高質(zhì)量的可視內(nèi)容，核心包括三維內(nèi)容，展示方式是圖像、視頻，圍繞這些做一系列的工作，如材質(zhì)建模、形狀建模、動(dòng)畫生成等。
另一方面研究集中在人機(jī)交互、AR 和 VR 方面，VR/AR 中自然地人機(jī)交互，比如，識(shí)別和捕捉對(duì)方人臉的動(dòng)作，幫助用戶生成 Avatar，手勢的自動(dòng)生成，通過人體運(yùn)動(dòng)手段進(jìn)行捕捉、重建，有了這些就可以方便用戶做識(shí)別和交互。
另外，是針對(duì)三維打印，軟體機(jī)器人方面的研究，這是圖形學(xué)的另外一個(gè)重要的應(yīng)用。生成虛擬的內(nèi)容后，現(xiàn)在隨著 3D 打印技術(shù)的進(jìn)步，人們希望通過圖形學(xué)的手段把一些虛擬的東西，通過制造返回到真實(shí)的世界里，這就涉及到機(jī)器人相關(guān)、3D打印相關(guān)技術(shù)的前沿性研究。
Q 2：研究成果有哪些？如何跟微軟其他產(chǎn)品部門合作？
童欣：我們圖形組自成立以來，和微軟產(chǎn)品組一直有密切的合作。像以前 Xbox 和 Direct3D 中的渲染技術(shù)、建模技術(shù)、紋理映射技術(shù)很多都來自我們組的研究成果。圖形系統(tǒng)方面，比如這代 Xbox 游戲主機(jī)可以兼容上一代所有的游戲 ，這里面所涉及的圖形系統(tǒng)相關(guān)的技術(shù)都來自我們組。
跟產(chǎn)品部門的合作主要通過兩種方式進(jìn)行，一是把我們最新的研究方向和研究成果展示給他們看，希望這些技術(shù)對(duì)產(chǎn)品的研發(fā)有一些啟發(fā)，能給他們帶來新的應(yīng)用和場景；另一方面，他們也會(huì)把他們?cè)诋a(chǎn)品開發(fā)中遇到的一些技術(shù)問題，反饋給我們，我們會(huì)根據(jù)這些問題做些特定的技術(shù)研究，幫助產(chǎn)品組把產(chǎn)品做的更好。
Q 3：您平時(shí)關(guān)注電影特效嗎？現(xiàn)在的電影畫面有什么大的變化？
童欣：一部新的動(dòng)畫電影出來了，除了欣賞精彩的故事，我也會(huì)看看電影中所包含的技術(shù)的相關(guān)分析文章。另外像 SIGGRAPH 這樣的行業(yè)會(huì)議上，做了新電影的人，都會(huì)到會(huì)上做很多專題的報(bào)告，分享他們解決了哪些技術(shù)問題，應(yīng)用了哪些新的技術(shù)。
跟十幾年前相比，CG在電影制作中已經(jīng)無處不在了，在十幾年前的電影中如果有個(gè)CG，就是大制作，現(xiàn)在你很難找到?jīng)]有 CG 的電影了，電視劇特效做的也非常普通了。
這些特效，有些會(huì)呈現(xiàn)出奇幻的效果，還有一些可能你根本看不出來，會(huì)以為是實(shí)景。通過一些圖形學(xué)的技術(shù)，把虛擬和真實(shí)結(jié)合在一起，這些東西從觀影角度已經(jīng)看不出來了。
同時(shí)，特效可以減少拍攝的成本，有些很真實(shí)的場景，拍攝難度很大，像馴服一只老虎，現(xiàn)在用計(jì)算機(jī)技術(shù)，可以讓老虎看起來跟真實(shí)的一樣。
Q 4：您從業(yè)的十幾年中，計(jì)算機(jī)圖形學(xué)學(xué)科有什么變化嗎？
童欣：計(jì)算機(jī)圖形學(xué)是個(gè)變化很快的學(xué)科，是和應(yīng)用結(jié)合較緊密的學(xué)科，同時(shí)也是比較開放的學(xué)科。在圖形學(xué)里，十年前就在討論的核心技術(shù)問題，今天也在討論，但同時(shí)應(yīng)用和關(guān)注的熱點(diǎn)一直都在擴(kuò)展，發(fā)生變化。
對(duì)于研究圖形學(xué)的人來說，任何跟可視相關(guān)的內(nèi)容，我們都會(huì)視為研究方向的一部分，但隨著一些方向慢慢成熟，又會(huì)從圖形學(xué)中分離出去。可視化技術(shù)、計(jì)算機(jī)輔助制造，虛擬現(xiàn)實(shí)，這些都是圖形學(xué)催生出來又逐漸分化出去的。而圖形學(xué)自己又在尋找新的發(fā)展方向。
Q 5:：VR/AR 對(duì)圖形學(xué)提出哪些新的要求？
童欣：VR/AR 對(duì)圖形的渲染速度，圖形的質(zhì)量有很高的要求。設(shè)備從一個(gè)像電影這樣專門場所放映，到隨著 VR 設(shè)備普及，恨不得人手一個(gè)。這意味著應(yīng)用場景更大，我們對(duì)內(nèi)容制作的成本、時(shí)間、效率有更多的要求。不光是質(zhì)量上，速度和效率上也會(huì)有很多的挑戰(zhàn)。另一方面，當(dāng)我們?cè)?VR/AR 環(huán)境中，提供了不同的體驗(yàn)形式，這對(duì)交互也提出了很多挑戰(zhàn)。
Q 6：您是如何看待現(xiàn)有的手勢識(shí)別技術(shù)的？為什么現(xiàn)在還無法大規(guī)模使用？
童欣：手勢識(shí)別是非常具有挑戰(zhàn)性的問題，即使到目前也沒有人敢說，實(shí)時(shí)三維手勢跟蹤完全解決掉了。即使基于深度攝像頭，一個(gè)非常魯棒的手勢識(shí)別和跟蹤系統(tǒng)，到目前還是一個(gè)挑戰(zhàn)性的問題。大家也沒有非常魯棒的方案，這就是為什么大家在市面上看不到手勢識(shí)別被大規(guī)模使用。
這里面又幾個(gè)問題。從輸入狀態(tài)上說當(dāng)我們有鼠標(biāo)和鍵盤的時(shí)候，我們可以清楚的分清輸入狀態(tài)和非輸入狀態(tài)，比如說鍵盤當(dāng)我們不敲擊它，是非輸入狀態(tài)。對(duì)手勢而言，什么時(shí)候是輸入，什么時(shí)候是非輸入，很難區(qū)分。因?yàn)槲业氖謩輹r(shí)時(shí)在做，假設(shè)我還戴著 AR 眼鏡，我怎么讓設(shè)備知道，我是對(duì)設(shè)備做的手勢，還是對(duì)你做的手勢。手勢沒有一個(gè)狀態(tài)去劃分，從邏輯上講，要把這個(gè)問題先解決掉。
語音的交互也面臨同樣的問題。所以我們看到，大家會(huì)給智能語音音響起個(gè)名字，這個(gè)名字就是為了讓你切換輸入狀態(tài)。當(dāng)我們?nèi)ソ羞@個(gè)音箱的時(shí)候，音箱知道，這句話后面是輸入命令。你平常講話的時(shí)候，它就不會(huì)記錄了，因?yàn)椴皇轻槍?duì)它講的輸入命令。
從效率上講，我們?cè)诳苹秒娪爸锌吹降氖謩葑R(shí)別非常漂亮，但是如果你去問問人機(jī)交互的專家，他們就會(huì)告訴你，如果你讓一個(gè)人做這樣的交互，沒有人能堅(jiān)持十分鐘以上，就是說對(duì)很多場景，這不是一種非常自然的輸入方式。
鼠標(biāo)和鍵盤被發(fā)明出來，一個(gè)方面原因你可以說是因?yàn)椴蛔匀唬枰獙W(xué)習(xí)，一旦你習(xí)得后，它的效率是非常高的。比如說游戲控制器，你只需要通過一個(gè)很小的運(yùn)動(dòng)，就可以在虛擬世界中有很大的運(yùn)動(dòng)，這個(gè)在實(shí)際的手勢中很難做到。
最后，當(dāng)我手握手柄的時(shí)候，手柄不僅是一個(gè)輸入設(shè)備，同時(shí)也是輸出設(shè)備，它可以通過震動(dòng)、力反饋給我一個(gè)輸出的反饋，當(dāng)我手在空氣中揮舞的時(shí)候，我一個(gè)輸出的渠道就消失了。
所以，我們要等到技術(shù)成熟，然后找到手勢識(shí)別和手勢驅(qū)動(dòng)最有效的應(yīng)用場景，解決了里面的命令定義的問題，那么手勢識(shí)別才能得到使用。手部識(shí)別如果只是識(shí)別雙手的位置，這個(gè)技術(shù)是比較成熟的，但你想想如果識(shí)別手部每個(gè)手指的姿態(tài)，這還是比較難的。
Q 7：為什么對(duì)手部的實(shí)時(shí)追蹤這么難？
童欣：人手的姿態(tài)，關(guān)節(jié)自由度是非常高的，雙手可以做各種各樣的手勢，再加上手臂的動(dòng)作，自由度非常高，姿態(tài)空間非常大。
一個(gè)攝像頭的話，遮擋會(huì)非常的厲害，人臉可以認(rèn)為是扁平的東西，手卻不是，手隨便做些姿勢，大拇指可能就看不見了，但我需要知道大拇指在哪 。這是手勢實(shí)時(shí)追蹤面臨的兩個(gè)挑戰(zhàn)，姿態(tài)豐富，同時(shí)遮擋嚴(yán)重，這意味著你需要推測其他手指的狀態(tài)，這也是很難的。這就需要機(jī)器學(xué)習(xí)的技術(shù)。
你可以想想人是怎么做的，不僅通過手勢，還要看你是不是沖著我，我們幾個(gè)人說話，你可能給我做一個(gè)手勢，我怎么知道這個(gè)手勢是對(duì)著我做的呢？
首先，我要有上下文，保持手勢在上下文中是可以被理解的，認(rèn)為這個(gè)手勢是對(duì)我做的；第二，我要看整個(gè)人的狀態(tài)，你沖著我嗎？這個(gè)手勢是不是對(duì)著我做的，對(duì)著我做手勢時(shí)，你可能還有其他相應(yīng)的肢體動(dòng)作來表達(dá)這個(gè)動(dòng)作是不是對(duì)我做的。
我們?nèi)耸怯幸惶走@樣的東西，那么機(jī)器需要從人這邊考慮這樣的場景，需要很多對(duì)上下文場景的識(shí)別，最后來做到正常的識(shí)別。同時(shí)，由于沒有清晰的定義這是輸入狀態(tài)，還是非輸入狀態(tài)，機(jī)器需要自動(dòng)判定，什么時(shí)候是輸入，什么時(shí)候停止輸入。這是非常難的問題。
自然交互，本質(zhì)上來講是非常難的問題，做識(shí)別是第一步，真正做到好用自然，讓大家用起來沒有障礙，還有比較長的路要走。
Q 8：如何看待 VR/AR 對(duì)人機(jī)交互的新需求？
童欣：VR/AR 模擬的是真實(shí)三維環(huán)境中的交互，視野被覆蓋了，看不見鼠標(biāo)和鍵盤。輸入的內(nèi)容，不是文本，不是在二維界面上操作，你要在虛擬的三維環(huán)境中漫游，這些需求要有新的交互手段，不一定是手勢，但需要有新的交互方式。
大家之所以這么沉迷于做 VR/AR，很重要的原因是我們生活的世界是三維的，我們有需求重現(xiàn)三維世界，或者創(chuàng)造一個(gè)虛擬的三維世界，這是來自人的本能的需求。
虛擬的三維，或者在真實(shí)世界中疊加的三維，決定了你必須創(chuàng)造出三維的內(nèi)容，因?yàn)槲业囊曇半S時(shí)在變，我的光照隨時(shí)在變，我和物體隨時(shí)在交互，狀態(tài)隨時(shí)在變，傳統(tǒng)的視頻也好，圖像也好，解決不了這個(gè)問題，只有三維的圖像能解決這樣的問題。這也是為什么三維內(nèi)容的生成，在 VR/AR中變得很關(guān)鍵的原因。
三維內(nèi)容生產(chǎn)本身一直是一個(gè)瓶頸問題，我們很多行業(yè)需要三維內(nèi)容，但只有專業(yè)人員才能把很多行業(yè)的內(nèi)容變成三維內(nèi)容，這個(gè)瓶頸就產(chǎn)生了，這需要技術(shù)的進(jìn)步。
Q 9：對(duì)現(xiàn)在 AR 的發(fā)展是怎么看的？
童欣：AR 可以想的更廣泛一些，我們手機(jī)也好，耳機(jī)也好，都是 AR，當(dāng)你走在街上戴著耳機(jī)聽歌的時(shí)候，這就是 AR。在真實(shí)環(huán)境里，你聽到的是別人虛擬唱的歌曲， AR 一直在，一直有需求，不過是從文字，聽覺，慢慢變成視覺。把原來虛擬世界的信息和真實(shí)世界的信息結(jié)合，本來你的信息是有真實(shí)世界的意義的，把它返回到真實(shí)世界中，用統(tǒng)一的界面呈現(xiàn)給你，這是最關(guān)鍵的。
Q 10：AR 和 AI 是怎樣的關(guān)系？
童欣：AR 和 AI 是密不可分的。在 AR 中一個(gè)關(guān)鍵是內(nèi)容生成。另外 一個(gè)關(guān)鍵是全新的交互方式和體驗(yàn)方式。
所謂交互，既要有輸入，也要有輸出。輸入就意味著，我們 AR 設(shè)備要對(duì)周圍的環(huán)境有感知和認(rèn)知，這個(gè)感知和認(rèn)知就是AI研究中很重要的技術(shù)。
輸出，靠圖形，輸入要靠很多計(jì)算機(jī)視覺的技術(shù)，一起來做，最后結(jié)合起來，才能成就 AR 這件事情。
Q 11：計(jì)算機(jī)圖形學(xué)還有哪些需要解決的難題？
童欣：我們有句跟奧林匹克一樣的口號(hào)“更高、更快、更強(qiáng)”。大家對(duì)三維內(nèi)容的需求永遠(yuǎn)高于我們的計(jì)算能力。
現(xiàn)在，我們的實(shí)時(shí)顯示達(dá)到 30 幀/每秒，那你看看從最早計(jì)算機(jī)上有圖形顯卡，到現(xiàn)在，顯卡的能力翻了不止百倍，甚至上千倍，我們的顯示速率還是 30 幀/每秒，那我們變得是什么？ 是顯示內(nèi)容，真實(shí)感有了巨大的進(jìn)步，但即使這樣跟我們真實(shí)場景的差別，大家還是能看出來的。一個(gè)計(jì)算機(jī)繪制出來的圖像，和一個(gè)真實(shí)照片，我相信大家還是能一眼看出其中的差別。
我們實(shí)時(shí)繪制的場景和一個(gè)照片相比，這里面有巨大的鴻溝。更不用說我們內(nèi)容生成的效率，生成高質(zhì)量的內(nèi)容。
從更高層面講，當(dāng)我們的客戶有一些意圖的時(shí)候，如何快速有效地把客戶模糊的創(chuàng)作意圖轉(zhuǎn)變成為具體的內(nèi)容，這件事本身也是非常難的。
去年，童欣對(duì)媒體曾預(yù)測 AR 發(fā)展的速度會(huì)超過 VR，此次采訪，雷鋒網(wǎng)問到他關(guān)于目前手機(jī) AR 的發(fā)展，他認(rèn)為這是很自然的現(xiàn)象，不管是手機(jī) AR，還是 AR 眼鏡，每種形式都有自己應(yīng)用的場景和需求。最開始大家會(huì)做不同的嘗試，這些嘗試要交給市場和用戶檢驗(yàn)，其中一定會(huì)淘汰一些，最后留下來真正有需求的應(yīng)用。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
