- 相關(guān)推薦
淺析3D音頻技術(shù)拯救VR的寒冬
虛擬現實(shí)技術(shù)，是20世紀發(fā)展起來(lái)的一項全新的實(shí)用技術(shù)。虛擬現實(shí)技術(shù)囊括計算機、電子信息、仿真技術(shù)，其基本實(shí)現方式是計算機模擬虛擬環(huán)境從而給人以環(huán)境沉浸感。隨著(zhù)社會(huì )生產(chǎn)力和科學(xué)技術(shù)的不斷發(fā)展，各行各業(yè)對VR技術(shù)的需求日益旺盛。VR技術(shù)也取得了巨大進(jìn)步，并逐步成為一個(gè)新的科學(xué)技術(shù)領(lǐng)域。下面是小編整理的淺析3D音頻技術(shù)拯救VR的寒冬，一起來(lái)看看吧。
最近人們常說(shuō)：VR的寒冬來(lái)了。最近看到一句非常好的描述：“一度承載著(zhù)創(chuàng )業(yè)者和投資人太多期待與熱情的VR行業(yè)，經(jīng)歷了如過(guò)山車(chē)般的一年�！焙诵募夹g(shù)瓶頸突破之前，VR還將在泡沫收縮過(guò)后進(jìn)行理智思考。而3D音頻，作為VR產(chǎn)業(yè)的關(guān)鍵性技術(shù)節點(diǎn)，值得在今天被關(guān)注。小編在此為大家帶來(lái)3D音頻技術(shù)拯救VR的寒冬的理性分析。
在百度上搜索“VR寒冬”有1,660,000個(gè)結果。
《資本變臉：6個(gè)月，VR從狂歡到慘淡》(極客公園，2016年09月07日)，《吸引了無(wú)數資本和創(chuàng )業(yè)者的VR行業(yè)，似乎已進(jìn)入寒冬》(中國企業(yè)家，2016年08月26日)，《VR創(chuàng )業(yè)公司的寒冬來(lái)了?聽(tīng)聽(tīng)資本大咖怎么說(shuō)!》(網(wǎng)易新聞，2016年05月27日)，《小心被套!VR將迎來(lái)寒冬》(搜狐新聞，2016年05月11日)……
人們猶記得2015年下半年到2016年年初的VR熱：從創(chuàng )業(yè)者到投資人，大家都對VR有著(zhù)無(wú)限的熱情與希望。而從計算機背景出生轉行做VR的人真不在少數：他們正是看準了這塊“熱土”，從大公司走出，一頭鉆進(jìn)VR行業(yè)。
行業(yè)缺少優(yōu)質(zhì)標的，關(guān)鍵性技術(shù)節點(diǎn)遠未突破，VR如同一個(gè)牙牙學(xué)語(yǔ)的嬰兒，尚在襁褓之中，遠未成熟。與其說(shuō)VR凜冬已到，不如說(shuō)之前的泡沫正在合理地被擠破。
這里的“關(guān)鍵性技術(shù)節點(diǎn)”其中之一，就是空間音頻技術(shù)。在今天，人們更愿意叫它3D音頻。
正如著(zhù)名VR制作公司Jaunt的音頻首席工程師亞當·桑默說(shuō)的：“(在VR這件事上面)，聽(tīng)覺(jué)占了五成，視覺(jué)占剩下五成�！�
聽(tīng)覺(jué)決定了人類(lèi)對空間的定位、對物體距離的感知等等。視覺(jué)給出一個(gè)線(xiàn)索，聽(tīng)覺(jué)則去證實(shí)這個(gè)線(xiàn)索是否真實(shí)存在。如果少了視覺(jué)的沉浸感，那么一切畫(huà)面的真實(shí)性就蕩然無(wú)存。不解決聽(tīng)覺(jué)問(wèn)題，虛擬現實(shí)就不能成為虛擬現實(shí)�？梢赃@么說(shuō)，3D音頻決定了我們念叨著(zhù)的VR時(shí)代是否真正到來(lái)。
首先科普一下3D音頻
什么是3D音頻?簡(jiǎn)單來(lái)說(shuō)，3D音頻是對聲音最逼真的模擬技術(shù)，能讓聽(tīng)眾完全還原到與現場(chǎng)相似的聲場(chǎng)。類(lèi)似的叫法還有全景聲方案、Immersive Audio(沉浸式音頻)。你能到完全聽(tīng)到逼真到“現實(shí)”的聲音，而不是“現實(shí)主義”的。
目前世界范圍內最成熟的空間音頻制作公司之一，VisiSonics的創(chuàng )始人之一拉瑪尼·杜瑞斯沃米有一句話(huà)：“當你聽(tīng)到的聲音是極度真實(shí)的時(shí)候，耳機就消失了�！�
人耳對聲音信號有一套自己的分析系統，來(lái)得以對聲音進(jìn)行分析與定位。從空間任意一點(diǎn)傳到人耳(鼓膜前)的信號都可以用一個(gè)濾波系統來(lái)描述，音源+濾波器(傳遞函數)得到的就是聲音到達兩耳鼓膜前的信號。
我們不必關(guān)心聲音是如何傳遞到雙耳的，而只需要知道：音源與到達我們雙耳之前的信號是有差別的;并且我們的左耳和右耳聽(tīng)到的聲音是不一樣的。這可能是源于我們的進(jìn)化，視覺(jué)沒(méi)有辦法在黑夜中定位，而耳朵可以通過(guò)左右耳的聲音不同，進(jìn)行定位與防御。
這個(gè)濾波器(傳遞函數)叫HRTF(head-related transfer function)。如果我們有空間所有方位到雙耳的濾波器組，就能得到一個(gè)濾波矩陣，從而還原來(lái)自整個(gè)空間方位的聲音信號。
HRTF是極具個(gè)人性的。每個(gè)人成長(cháng)中都會(huì )形成一套自己對聽(tīng)力的感知。并且，我們每個(gè)人的頭部大小不一樣、耳間距不一樣，耳朵的輪廓、里面的旋渦狀也不一樣。加上，我們在成長(cháng)當中養成了自己獨特的聽(tīng)力習慣�？梢赃@么說(shuō)，每個(gè)人聽(tīng)到的同樣物體發(fā)出的聲音，其實(shí)都有細微差別。
如何還原人耳真實(shí)聽(tīng)到的聲音?科學(xué)家對此的探索不是今天的新事。在將近一個(gè)世紀之前，1933年，AT&T貝爾實(shí)驗室就把這項技術(shù)帶到了芝加哥世博會(huì )上。這家公司的人聲研究部做了一個(gè)機械化的仿真人頭——他們把這個(gè)假人取名叫“Oscar”。Oscar的耳朵里裝上了兩個(gè)麥克風(fēng)，坐在展示房間中，錄取周?chē)穆曇�。Oscar聽(tīng)到什么，他就能錄到什么。
AT&T貝爾實(shí)驗室提供的解決方案叫做雙耳錄音技術(shù)(Binaural Audio)。
雙耳錄音技術(shù)模擬人類(lèi)真正的頭部的形狀、左右耳的耳間距，可以收錄到近乎于真正的人類(lèi)聽(tīng)到的聲音。這是一種有效的“笨方法”，物理層面上即還原了HRTF。沿著(zhù)這條路徑，德國麥克風(fēng)公司紐曼(Neumann)在1973年到1992年間，連續在雙耳錄音技術(shù)上做出了各種突破——更好的收音設備、把麥克風(fēng)放置于仿真假人耳內鼓膜上等等。
雙耳錄音技術(shù)在這個(gè)世紀中一直處于緩慢的速度發(fā)展，原因在于，沒(méi)有強大的產(chǎn)業(yè)需求。一直等到這一波VR熱潮的來(lái)臨，它才重上舞臺。由于Oculus Rift,索尼Morpheus以及三星Gear帶來(lái)的VR普及，3D音頻技術(shù)迎來(lái)了它的“文藝復興”——于是它又被稱(chēng)作了VR音頻。
3D音頻技術(shù)到底難在哪兒?
VR需要有3D音頻才能產(chǎn)生更真實(shí)的沉浸感。Jaunt的音頻首席工程師Adam Somers在接受THE VERGE采訪(fǎng)時(shí)這樣描述：“在沉浸感這件事上面，聽(tīng)覺(jué)占了五成，視覺(jué)占剩下五成�！�
Jaunt是美國著(zhù)名的VR制作公司，去年得到上海華人文化產(chǎn)業(yè)基金(CMC)與迪斯尼的6500萬(wàn)美金投資。
然而，雙耳錄音技術(shù)本身不能支持收聽(tīng)的時(shí)候轉動(dòng)頭部。玩家在玩VR游戲的時(shí)候，如果有聲音從后面傳來(lái)，人的本能反應是轉頭向后看。這時(shí)候如果聲音繼續在你的前方，那么會(huì )大大降低沉浸感。
另一種還原真實(shí)聲場(chǎng)的技術(shù)也不能支持收聽(tīng)的時(shí)候轉動(dòng)頭部，叫環(huán)繞立體聲(surround audio)。環(huán)繞立體聲用多個(gè)物理?yè)P聲器來(lái)打造一個(gè)360度的聲場(chǎng)，來(lái)自不同方向的聲音通過(guò)不同的音箱/揚聲器來(lái)播放。該項技術(shù)最著(zhù)名的公司是DTS和杜比(Dolby)。
比如一家環(huán)繞立體聲影院，它會(huì )在觀(guān)眾的周?chē)胖煤芏嘁粝?揚聲器。如果畫(huà)面左邊出現了爆炸，那么左邊的音箱會(huì )發(fā)出聲響，而不是右邊。由于播放器的位置固定，聽(tīng)眾只有在固定的點(diǎn)，才能聽(tīng)到模擬得最真實(shí)的聲場(chǎng)。
如何解決這個(gè)問(wèn)題?計算成為了重中之重。
在雙耳錄音技術(shù)取到的聲音之后，還原HRTF，然后進(jìn)行計算，把各個(gè)方向的HRTF還原，才能合成一套隨著(zhù)轉頭、位置移動(dòng)聲場(chǎng)自然發(fā)生變化的空間音頻。
在這三個(gè)環(huán)節中——收音、錄音;計算、渲染(processing,rendering);回放——技術(shù)壁壘最強的地方在于計算環(huán)節。
核心算法是考驗各家空間音頻公司的能力指標。Two Big Ears的公司廣告語(yǔ)說(shuō)明了一切："We do mathematics so you can focus on being awesome."(我們做數學(xué)，你來(lái)好好做酷的事情。)這家位于愛(ài)爾蘭的公司目前在空間音頻技術(shù)上處于領(lǐng)先地位。
有些團隊則為了減輕計算量，用了一些比較笨的辦法。比如3dio，他們創(chuàng )造出收音設備，可以盡可能地在同一時(shí)間錄到各個(gè)方向的HRTF。
通常，三個(gè)指標可以用來(lái)判斷一家公司3D音頻核心算法技術(shù)水平：
1、Localization:指的是聲音的定位。環(huán)繞立體聲對于聲音的平面360度有較好的模擬效果，而對于上下360度則難以模擬。VR音頻的難點(diǎn)也在于做出上下360度的聲音模擬。能做到上下逼真的則技術(shù)更為先進(jìn)。
2、Propagation:聲音在封閉空間中，不是只傳輸一次，而是有無(wú)數次的反射(bounce back)，我們可以用回音來(lái)理解。Propagation用來(lái)描述是否能讓用戶(hù)感覺(jué)到自己的確在一個(gè)真實(shí)的空間中，這種真實(shí)感越強越好。
3、Occlusion:聲音在傳輸過(guò)程中，如果中間有一個(gè)障礙物，這個(gè)障礙物會(huì )對聲音的傳播產(chǎn)生影響。如果一個(gè)VR音頻技術(shù)可以對障礙物對于聲音的影響模擬得很好，則是一個(gè)做得好的VR音頻。
除去以上三點(diǎn)，目前空間音頻最前沿的解決方案是Ambisonic技術(shù)。于是，能不能做Ambisonic也是判斷一家公司技術(shù)高低的指標。
Ambisonic同樣是一種聲場(chǎng)模擬手段，但它更考驗團隊物理、數學(xué)和計算機的綜合能力。如果我們把空間中某一個(gè)接收聲音的位置想象成一個(gè)充著(zhù)氣的氣球，那么空間中各處傳來(lái)的聲波會(huì )對這只氣球表面產(chǎn)生作用力。
Ambisonic利用這個(gè)簡(jiǎn)單道理，在空間中擺放一堆揚聲器，來(lái)模擬對應現實(shí)情況下各處聲波對這只氣球的作用力，然后計算，還原HRTF。
通過(guò)Ambisonic得到的音頻數據，是最全面的數據，它可以降解到任何其他音頻格式。打個(gè)比方，Ambisonic如果是圖像中的jpg,則杜比7.0、杜比5.1等等音頻格式相當于像素。
如何評價(jià)3D音頻技術(shù)的行業(yè)現狀?
3D音頻技術(shù)勢必會(huì )改變所有的應用場(chǎng)景。整個(gè)空間音頻產(chǎn)業(yè)有兩個(gè)機會(huì )：
第一個(gè)機會(huì )是做音頻引擎(audio engine)，其核心在于HRTF函數、Propagation等技術(shù)，即如何在游戲里盡可能逼真地還原出立體聲來(lái)。目前簡(jiǎn)單的做法是，在VR游戲中放置不同的虛擬音箱，并配合Oculus Audio SDK(實(shí)現了HRTF以及其他效果，包括reflection等)，就可以實(shí)現空間音頻。
而不簡(jiǎn)單的做法有很多，需要團隊具有強大的計算能力，成立于2013年愛(ài)丁堡的Two Big Ears是其中翹楚。他們所做的plug-in可能是目前行業(yè)中技術(shù)最好的plug-in之一。
第二個(gè)機會(huì )是實(shí)現3D音頻在現實(shí)生活中的運用，即怎么配合全景視頻錄制帶多個(gè)角度的VR音頻。這樣用戶(hù)觀(guān)看全景視頻的時(shí)候如果轉頭，聲音會(huì )進(jìn)行動(dòng)態(tài)調整。就應用場(chǎng)景來(lái)說(shuō)，對于虛擬演唱會(huì )，3D音頻技術(shù)尤其重要。
從目前整個(gè)全球市場(chǎng)來(lái)考量，3D音頻由于其自身技術(shù)難度，還沒(méi)有出現提供完美解決方案的公司與團隊，大牌音頻公司DTS所做的技術(shù)已經(jīng)比較接近，但最終版本仍沒(méi)有公之于眾，并且面臨著(zhù)價(jià)格極高的可能性。
最被關(guān)注的七家3D音頻技術(shù)團隊
1、VisiSonics
VisiSonic起步最早，團隊來(lái)自美國馬里蘭大學(xué)的實(shí)驗室，2015年10月與Oculus達成合作。Oculus購買(mǎi)了他們的技術(shù)，叫做RealSpace3D,用于Oculus Audio SDK。他們設計出了一個(gè)3D音頻視頻同步錄制的設備，由一個(gè)柱型加頂部球型裝置組成，球型裝置上有64個(gè)麥克風(fēng)。硬件層面上，技術(shù)拔尖并保持世界領(lǐng)先地位。
2、TwoBigEars
位于蘇格蘭愛(ài)丁堡的團隊，最近剛剛被臉譜網(wǎng)收購。他們的核心技術(shù)是做3D音頻引擎，名字叫做3Dception。就plug-in層面上來(lái)講，這支團隊是目前世界范圍內技術(shù)最好的團隊。在被臉譜網(wǎng)收購前，據傳HTCVive音頻的計算渲染用的就是這支團隊。
3、3diosound
這家公司是目前市面上可見(jiàn)的空間音頻收音錄制領(lǐng)域最好的公司。他們出品了有八個(gè)耳朵的收音裝置。
4、ThriveAudio
這家公司與Tilt Brush一同被Google收購，屬于Google VR戰略布局的一部分。團隊來(lái)自愛(ài)爾蘭的都柏林圣三一學(xué)院。他們聲稱(chēng)已經(jīng)申請了兩個(gè)專(zhuān)利。
5、MintMuse
一支之前在美國圣地亞哥、最近剛剛搬遷到上海的團隊。主創(chuàng )團隊來(lái)自高通。他們主攻渲染質(zhì)量、算法優(yōu)化、時(shí)延等領(lǐng)域，設計制作空間音頻后期制作、coding以及軟件插件工具，目前不涉及硬件生產(chǎn)。這支團隊面向的解決人群是錄音師，他們正在開(kāi)發(fā)一款專(zhuān)業(yè)VR全景聲調音軟件，讓調音師可以在編輯全景聲過(guò)程中實(shí)時(shí)監聽(tīng)成品效果，簡(jiǎn)化整個(gè)工作流。
6、Waves
這是一家位于以色列的空間音頻技術(shù)公司，之前做專(zhuān)業(yè)studio的工具，比如插件與音效，是很多著(zhù)名studio的合作伙伴，如Abbey Road。
7、Impulsonic
一支孵化于美國北卡羅來(lái)納大學(xué)計算機系的團隊。主要針對VR游戲與應用的3D音頻開(kāi)發(fā)，產(chǎn)品叫Phonon。成立于2012年。創(chuàng )始人阿尼什·錢(qián)達克博士說(shuō)創(chuàng )立之初他的想法就非常簡(jiǎn)單：“幫助游戲設計師與開(kāi)發(fā)者更容易做出高質(zhì)量的空間音頻�！贝蟛糠质杖雭�(lái)自于Phonon的license收入。他們去年接受美國國家科學(xué)基金的投資，研究同時(shí)應用于一些政府項目。
大部分做VR游戲的工作室還沒(méi)有開(kāi)始大規模使用3D音頻技術(shù)——原因主要是“窮”。既然“寒冬”來(lái)了，那么也就更窮了。事實(shí)上，這些沒(méi)有好內容的游戲工作室還用著(zhù)環(huán)繞立體聲技術(shù);只有少數極客風(fēng)格的工作室開(kāi)始應用一些空間音頻技術(shù)。3D音頻技術(shù)仍舊是一件挺前沿的事兒。
然而，3D音頻對于整個(gè)VR產(chǎn)業(yè)來(lái)講，是基礎的技術(shù)性板塊。
擁有核心技術(shù)，才可能在應用層面上等待下一個(gè)突破點(diǎn)。做無(wú)人機的大疆(DJI)就是一個(gè)例子，早在無(wú)人機變成商業(yè)模式之前，大疆的主創(chuàng )團隊已經(jīng)在飛行控制這一個(gè)技術(shù)點(diǎn)上做了長(cháng)時(shí)間的研究與努力。
如果VR終有一天值得每一個(gè)用戶(hù)去花時(shí)間使用，那么它勢必在技術(shù)方方面面上已經(jīng)成熟到可以“沉浸式體驗”的時(shí)候。
拯救VR，先從3D音頻開(kāi)始。
拓展：VR簡(jiǎn)介
所謂虛擬現實(shí)，顧名思義，就是虛擬和現實(shí)相互結合。從理論上來(lái)講，虛擬現實(shí)技術(shù)（VR）是一種可以創(chuàng )建和體驗虛擬世界的計算機仿真系統，它利用計算機生成一種模擬環(huán)境，使用戶(hù)沉浸到該環(huán)境中。虛擬現實(shí)技術(shù)就是利用現實(shí)生活中的數據，通過(guò)計算機技術(shù)產(chǎn)生的電子信號，將其與各種輸出設備結合使其轉化為能夠讓人們感受到的現象，這些現象可以是現實(shí)中真真切切的物體，也可以是我們肉眼所看不到的物質(zhì)，通過(guò)三維模型表現出來(lái)。因為這些現象不是我們直接所能看到的，而是通過(guò)計算機技術(shù)模擬出來(lái)的現實(shí)中的世界，故稱(chēng)為虛擬現實(shí)。
虛擬現實(shí)技術(shù)受到了越來(lái)越多人的認可，用戶(hù)可以在虛擬現實(shí)世界體驗到最真實(shí)的感受，其模擬環(huán)境的真實(shí)性與現實(shí)世界難辨真假，讓人有種身臨其境的感覺(jué)；同時(shí)，虛擬現實(shí)具有一切人類(lèi)所擁有的感知功能，比如聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)、味覺(jué)、嗅覺(jué)等感知系統；最后，它具有超強的仿真系統，真正實(shí)現了人機交互，使人在操作過(guò)程中，可以隨意操作并且得到環(huán)境最真實(shí)的反饋。正是虛擬現實(shí)技術(shù)的存在性、多感知性、交互性等特征使它受到了許多人的喜愛(ài)。
【淺析3D音頻技術(shù)拯救VR的寒冬】相關(guān)文章：
淺談VR技術(shù)終結游戲對人類(lèi)的欺騙06-02
未來(lái)的人機交互技術(shù)介紹VR、AR、MR09-01
影視制作中3D技術(shù)的應用09-27
VR電競該何去何從08-04
展望VR電影的現在與未來(lái)09-27
淺析挖掘機維修與保養技術(shù)10-19