基于全景圖的虛擬現實(shí)系統研究

摘要  全景圖(Panoramic Image)是近來(lái)出現在Internet上的另一種新的交互式的虛擬場(chǎng)景表示方式,它基于圖像繪制IBR（Image-Based Render）的方式再現了三維場(chǎng)景,可用瀏覽器實(shí)現虛擬場(chǎng)景的漫游,同時(shí)也詳細介紹了這種全景圖瀏覽器的實(shí)現原理。本文在總結已有技術(shù)的基礎上，提出一個(gè)基于全景圖的虛擬現實(shí)系統模型，并改進(jìn)算法實(shí)現了高效的拼接。關(guān)鍵詞  全景圖; 基于圖像繪制IBR; 虛擬現實(shí); 圖像拼接 1  概述全景圖是基于圖形繪制IBR（Image-Based Render）的關(guān)鍵技術(shù)�，F有的IBR技術(shù)大概可以分為四類(lèi)：基于全景圖（Panoramic Image）的方法，基于圖像深度信息的方法，基于光場(chǎng)（Light Field）信息和基于 Morphing的方法�，F階段，相對成熟的技術(shù)是第一種基于全景圖的方法 ,而且它實(shí)現方便處理量易于在Internet實(shí)現。目前，業(yè)界對全景圖的基本制作方法是：在固定的視點(diǎn)用照相機或者攝像機按照一定的方式（通常是按照均勻角度繞軸旋轉360 度）采集圖像，采集之后的圖像輸入計算機進(jìn)行圖像拼接、整合等處理，生成無(wú)縫全景圖像，最后再用計算機經(jīng)過(guò)投影展示出來(lái)，并且提供局部的有限的漫游功能。雖然全景視圖有其自身的局限性，比如視點(diǎn)單一，只能在場(chǎng)景內部實(shí)現漫游等，但是由于該技術(shù)具有極強的可操作性，而且技術(shù)也相對成熟，已經(jīng)成為應用最為普遍的IBR技術(shù)之一。目前全景視圖主要應用在：虛擬環(huán)境、游戲設計、電影特技效果、虛擬博物館等等。在商用領(lǐng)域比較著(zhù)名的有Apple的QuickTime VR、IPIX Viewer、Live Picture、IBM的Hot Media等系統。2  全景圖的制作流程全景圖制作流程包括全景模型選擇，圖像采集，圖像拼接，圖像縫合以及全景圖展示瀏覽五個(gè)步驟 ，如圖1。（1）全景模型選擇：根據全景圖投影展示方式的不同，主要可以分為3種模式：立方體模式、圓柱模式、球面模式。這三種模式就是分別把已經(jīng)拼接好的全景圖投影到立方體/ 圓柱體/球體的內表面。此外還有其他展示模式，如采用正多面體去逼近球面的方法。（2）圖像采集：一般有兩種方法，用全景拍攝器材進(jìn)行拍攝或者通過(guò)普通相機拍攝再進(jìn)行圖像拼接。前一種方式比較容易采集圖像，但是這種方法往往意味著(zhù)購買(mǎi)昂貴的攝影器材，因此影響了其通用性。而后一種方式，用普通相機在固定點(diǎn)拍攝圖片然后拼接生成全景圖的研究就顯得比較活躍了，而全景圖生成的核心技術(shù)——圖像拼接算法正是研究的重點(diǎn)。（3）圖像拼接與縫合：現有的全景圖像拼接生成算法主要可以分為三類(lèi)：基于特征的方法、基于流的方法和基于相位相關(guān)的方法。在得到拼接好的圖像后，還需要對圖像重疊部分進(jìn)行處理，以實(shí)現圖像的無(wú)縫拼接。目前經(jīng)常采用的一種簡(jiǎn)單的圖像縫合技術(shù)就是線(xiàn)性插值法（Linear Interpolation）。（4）全景圖展示：得到360度的全景圖像后，還要把該圖像投影到所選擇模型的內表面展示，并提供簡(jiǎn)單的瀏覽功能。

（5）運動(dòng)物體生成和全景圖生成一樣，同樣可以用以上3種方法生成。在用照相機拍攝物體時(shí)，如果對物體的水平方向和垂直方向各拍攝一圈，就可以對物體進(jìn)行二維的交互控制。鏈接是指：①把得到的全景圖按一定方式組織起來(lái)，供交互式顯示用；② 把運動(dòng)物體嵌入到全景圖中去，成為“熱點(diǎn)”，使用戶(hù)可以對它進(jìn)行交互式控制。

                            圖１　全景圖制作流程3  全景圖像拼接技術(shù)的研究3.1全景圖生成的經(jīng)典算法自全景圖的概念提出到目前，有很多學(xué)者都對全景圖的生成算法做過(guò)深入的研究，其中McMillan和Szeliski等人的工作尤其突出。 McMillan和Bishop提出了全景函數模型，該算法根據攝像機繞軸旋轉360度所拍攝的圖像序列求解每個(gè)相機的參數，由此進(jìn)行全景圖拼接，但是該算法不太適合于照相機，因為它要求兩幅圖像之間要有超過(guò)2/3 的重疊，這樣對一個(gè)場(chǎng)景如用照相機去采集圖像就需要拍攝大量的圖片，而這顯然增大了圖像采集的難度，也增加了計算量和誤差量。而且McMillan試圖通過(guò)柱面極幾何約束實(shí)現匹配點(diǎn)自動(dòng)匹配，但是極幾何約束核心基礎矩陣對誤差過(guò)分敏感，也因此導致匹配結果無(wú)法實(shí)用。Szeliski和Shum[3]在他們的一系列的文章中提出了用8參數的二維（2D）投影模型求解投影矩陣M。該模型的數學(xué)表達如下所示：                                        (1)                                                          （2）3.2全景圖像拼接算法歸類(lèi)及其比較    現有的全景圖像拼接生成算法主要可以分為三類(lèi)：基于相位的方法、基于流的方法和基于特征的方法。   （1）基于相位的方法：該方法利用傅立葉變換、小波變換等等先對圖像進(jìn)行變換，再利用變換后的圖像的某些特征進(jìn)行匹配。但是如果存在空間上的局部變化，就會(huì )導致該方法產(chǎn)生較大誤差。     （2）基于流的方法：也叫做基于面積的方法。該方法是通過(guò)比較兩幅圖像亮度（或顏色）差異，并使之最小化來(lái)尋找最佳匹配點(diǎn)的。上文描述的兩種經(jīng)典算法就是屬于該方法，采用這種方法的還有：Duffin [4]和Barrett在Szeliski研究的基礎上提出的一種恢復6個(gè)參數模型的算法�；�于面積方法的缺點(diǎn)就是它的計算量明顯偏大。   （3）基于特征的方法：該方法的主要思想就是從一幅圖像中提取一定的特征，如：點(diǎn)、線(xiàn)、邊緣等等，并用此特征為匹配模板，在第二幅圖像中搜索。該方法可以提高計算速度，但是提取合適的圖像特征比較困難。[5]    如何提取合適的圖像特征，很多學(xué)者在這個(gè)方面做了探討，其中 Kim[6]等人利用抽取物體輪廓作為特征，而鐘力[7]等人利用重疊圖像兩列象素的亮度（或顏色）比或者亮度（或顏色）作為特征模板，張鵬[8]等人利用象素灰度值信息提取某一矩形區域作為特征模板進(jìn)行匹配。需要注意的另一個(gè)問(wèn)題就是采集的圖像中重疊部分并不是單純的平面位移變換，還存在伸縮變形等，所以這也增大了特征提取的難度。4  算法的選擇與改進(jìn)    以上三種算法都有其自身的特點(diǎn)，當然也有各自的局限性，應該根據全景模型的不同和圖像采集方式的差異選擇合適的算法。下面根據全景圖生成過(guò)程詳細描述對算法的選擇和改進(jìn)。4.1 全景模型選擇本文提出的方法中采用圓柱模式，這種模式相對簡(jiǎn)單，同時(shí)又不影響全景圖像瀏覽的真實(shí)性。由于立方體模式過(guò)于簡(jiǎn)單，該模式在展示全景圖時(shí)存在明顯的邊界痕跡，降低了全景圖像真實(shí)性；球面模式雖然相對擴大了全景圖瀏覽的視野，可是也相應增加了算法復雜度和圖像采集的難度。4.2 圖像采集為了提高圖像拼接算法的復雜度處理能力以及能夠自適應抖動(dòng)、光照差、扭曲等。本文對圖像采集方式未做過(guò)多限制：不用三角架固定相機，繞攝影者中心360度旋轉相機拍攝圖像，每次拍攝相機旋轉的角度為θ，不固定相機的焦距，這樣做的目的是進(jìn)一步提高算法自適應校準圖像拼接能力。4.3 圖像拼接 首先，抽取合適的圖像特征來(lái)定位拼接，為了盡可能多的保留圖像的特征，利用數字圖像處理中的Laplace算子邊緣檢測算法，再加上二值化處理和平滑濾波3*3模板的噪音消除抽取出圖像的特征圖。  

圖2   特征提取后圖象的二值化圖圖象經(jīng)過(guò)變換之后，得到了具有重疊相似區域的兩幅圖象，對于相似區域的尋找，一般的算法都是根據人體視覺(jué)特征定義1個(gè)模板矢量(Pattern Vector)，對兩幅圖象分別運算相似距離，根據相似距離來(lái)尋找圖象的相似部分。本文提出了一種新的重疊區域的搜尋方法，它基于差值圖象的極值點(diǎn)搜尋，可以方便地提取兩幅圖象之間的相似部分，不需要頻域上的任何運算。設有兩個(gè)矩形區域A和B，已知B中包含一個(gè)區域A2，A與A2是相同的模塊，求B中A2 的位置。典型的算法是從Ｂ的左下角起，把每一塊與A大小相同的區域C與A相比較，得出評價(jià)函數，其值最小的區域就是A2。評價(jià)函數一般定義為:對于A(yíng)和C中每一對對應點(diǎn)p和q，                                (1)考慮到兩幅圖象的亮度不一樣，即使是同一模塊，由于亮度不同，評價(jià)函數的值也很大，把評價(jià)函數定義為：                                 (2)4.4 圖像縫合圖像縫合分兩個(gè)步驟。拼接處會(huì )有明顯的一條縫�？捎妙伾珨M合的方法來(lái)調和相鄰圖象的亮度,生成無(wú)縫的合成圖象。以合成圖象的拼接線(xiàn)為中心,兩邊各取10個(gè)象素點(diǎn)的距離,此區域為矯正區。第一步是圖像經(jīng)過(guò)矩陣投影生成新的圖像需要用到雙性插值。第二步是兩幅圖像重疊區域之間的線(xiàn)性插值。4.5柱面投影柱面投影變換及其反變換算法的核心是投影變換公式,為此建立坐標系,如圖4所示。原始圖象I、投影柱面圖象J和柱面K,原點(diǎn)為觀(guān)察點(diǎn)Ｏ(投影中心)。設柱面半徑為ｒ,投影寬度角為θ,圖象寬度為Ｗ,高度為Ｈ。能很容易得到柱面圖象的寬度為r×sin(θ/2),高度仍為Ｈ。對圖象I上的任意一點(diǎn)Ｐ,假設它在圖象上的坐標為(ｘ,ｙ),P在柱面圖象J上的對應點(diǎn)Q,假設Q在J上的坐標是(ｘ’,ｙ’)。[5]圖3　柱面投影變換這里θ角由每張圖象所占的角度唯一確定。一個(gè)全景的角度是360º那么每張圖象對應的角度就顯而易見(jiàn)了一般的θ角約為30 - 40º。最后，根據兩幅圖像的平移量，柱面投影，最后拼接全景圖（見(jiàn)圖4和圖）。5  實(shí)驗結果基于全景圖的虛擬實(shí)景生成系統的實(shí)現在是一臺windows NT操作系統下的pc工作站，P3-1G，128M內存，顯卡(硬件支持OpenGL加速)，使用Microsoft visual c++6.0和OpenGL編程。圖4 圖象拼接前的情況圖5 圖象拼接后的全景圖6  結論及展望隨著(zhù)基于圖象繪制技術(shù)發(fā)展，全景圖現已廣泛應用在軍事、教育、科研、商業(yè)、影視、娛樂(lè )、工程訓練等，并隨著(zhù)JAVA和Internet的發(fā)展成為一種快捷、實(shí)用、效果很好的虛擬現實(shí)漫游系統。本文對基于全景圖的虛擬現實(shí)模型進(jìn)行了比較深入的研究，在根據前人對全景圖的研究資料中，本文提出了一種基于全景圖的虛擬現實(shí)系統模型的構想，并給出了較為實(shí)用的解決方案，克服了抖動(dòng)、光照差、扭曲等對全景圖的影響，對圖象拼接算法作了比較和改進(jìn)嘗試，對圓柱面投影作了較深入的探討，實(shí)用價(jià)值高效率。未來(lái)基于全景圖的虛擬現實(shí)各種技術(shù)發(fā)展將前景廣闊。參考文獻[1]  Cai Yong, Liu Xue hui, Wu Eng hua. Image-based rendering: A technology for virtual reality system. Journal of Software, 1997, 8 (10): 721- 728 ( in Chinese)(蔡　勇, 劉學(xué)慧, 吳恩華. 基于圖像繪制的虛擬現實(shí)系統環(huán)境.軟件學(xué)報, 1997, 8 (10) : 721- 728)[2]  Chen S E. Quick time VR ——An image-based approach to virtual environment navigation. In: P roc S IGGRA PH 95, New York, 1995. 29- 38[3]  Szeliski R, Shum H-Y. Creating full view panoramic image mosaics and texture-mapped models. In: Proc SIGGRA PH‘97,Los Angeles, California, 1997. 251- 258 [4]  Kirk Duffin, William Barrett. Globally Optimal Image Mosaics[C].In: Proceedings Graphics Interface’98,19982:217~222[5]  Brown L G. A survey of image registration techniques. ACM Computing Surveys, 1992, 24 (4): 325- 376[6] Min-A Kim, Sung-Soo Kim, Hwan-Gue Cho.Image Mosaicing Technique Using Feature-Based Graph Matching Algorithm[7]  鐘力，張茂軍，孫立峰等.360 度柱面全景圖象生成算法及其實(shí)現[J]. 小型微型計算機系統，1999:20(12):899~903[8]  張鵬，周東翔，郝建新等.IBR技術(shù)中柱面全景圖鑲嵌的快速算法[J].計算機工程，1999;25(12):17~18 

【基于全景圖的虛擬現實(shí)系統研究】相關(guān)文章：

基于虛擬現實(shí)技術(shù)的船舶輔鍋爐控制系統研究03-02

基于虛擬現實(shí)技術(shù)的景物仿真03-08

基于虛擬現實(shí)技術(shù)的物理實(shí)驗模擬03-07

基于A(yíng)sterisk多種接入方式的VoIP系統研究03-07

基于供給鏈的供給商綜合評價(jià)系統研究03-24

基于A(yíng)dHoc網(wǎng)絡(luò )的船舶通信終端顯示系統研究12-07

基于工作流的信息管理系統研究03-18

基于虛擬現實(shí)技術(shù)的自行車(chē)漫游系統的研究與實(shí)現03-18

基于WebGIS的高速公路緊急救援系統研究03-07