手語(yǔ)研究的方向與現狀

摘要：介紹國內外手語(yǔ)研究的主要方向及研究現狀，手語(yǔ)識別的各種方法、手語(yǔ)合成的組成部分、手語(yǔ)網(wǎng)絡(luò )通信的實(shí)現技術(shù)以及手的運動(dòng)約束問(wèn)題。

手語(yǔ)是聾啞人使用的語(yǔ)言。它是由手形動(dòng)作輔之以表情姿勢而構成的比較穩定的表達系統，是一種靠動(dòng)作/視覺(jué)進(jìn)行交際的特殊語(yǔ)言。

人類(lèi)交互往往聲情并茂，除了采用自然語(yǔ)言（口語(yǔ)、書(shū)面語(yǔ)言）外，人體語(yǔ)言（表情、體勢、手勢）也是人類(lèi)交互的基本方式之一。與人類(lèi)交互相比，人機交互就呆板得多，因而研究人體語(yǔ)言理解，即人體語(yǔ)言的感知，及人體語(yǔ)言與自然語(yǔ)言的信息融合對于提高計算機的人類(lèi)語(yǔ)言理解水平和加強人機接口的可實(shí)用性的極有意義的。手語(yǔ)是人體語(yǔ)言的一個(gè)非常重要的組成部分，它是包含信息量最多的一種人體語(yǔ)言，它與語(yǔ)言及書(shū)面語(yǔ)等自然語(yǔ)言的表達能力相同，因而人機交互方面，手語(yǔ)完全可以作為一種手段，而且具有很強的視覺(jué)效果，它生動(dòng)、形象、直觀(guān)。

手語(yǔ)的研究不僅有助于改善和提高聾啞人的生活學(xué)習和工作條件，為他們供更好的服務(wù)。同時(shí)也可以應用于計算機輔助啞語(yǔ)教學(xué)、電視節目雙語(yǔ)播放、虛擬人的研究、電影制作中的特技處理、動(dòng)畫(huà)的制作、醫療研究、游戲娛樂(lè )等諸多方面。另外，手語(yǔ)的研究涉及到教學(xué)、計算機圖形學(xué)、機器人運動(dòng)學(xué)、醫學(xué)等多學(xué)科。因此，手語(yǔ)的研究是一個(gè)非常有意義的課題。這里將結合國內外手語(yǔ)研究的相關(guān)方向，對手語(yǔ)的識別、手語(yǔ)的合成、手語(yǔ)的網(wǎng)絡(luò )通信、手的運動(dòng)約束這幾方面作一下綜述。

1 手語(yǔ)的識別

手語(yǔ)的識別不但具有深遠的研究意義，而且具有廣闊的實(shí)際應用前景，至少表現在以下幾個(gè)方面：（1）能夠使得聾啞人，尤其是使得文件程度比較低的聾啞人，使用手語(yǔ)和正常人交流；（2）從認知科學(xué)的角度，研究人的視覺(jué)語(yǔ)言理解的機制，提高計算機對人類(lèi)語(yǔ)言的理解水平；（3）利用手勢控制VR中的智能化；（4）機器人的示范學(xué)習；（5）虛擬現實(shí)系統中的多模式接口等。

從手語(yǔ)輸入設備來(lái)看，手語(yǔ)識別系統主要分為基于數據手套的識別和基于視覺(jué)（圖像）的手語(yǔ)識別系統�；�于數據手套的手語(yǔ)識別系統，是利用數據手套和位置跟蹤測量手勢在空間運動(dòng)的軌跡和時(shí)序信息。這種方法的優(yōu)點(diǎn)是系統的識別率高。缺點(diǎn)是打手語(yǔ)的人要穿戴復雜的數據手套和位置跟蹤器，并且輸入設備比較昂貴。利用數據手套等典型傳感設備的方法，臺灣大學(xué)的Liang等人利用單個(gè)VPL數據手套作為手語(yǔ)輸入設備，可識別臺灣手語(yǔ)課本中的250個(gè)基本詞條，識別率為90.5%。CMU的Christopher Lee和Xu在1995年完成了一個(gè)操縱機器人的手勢控制系統。Kadous用Power Gloves作為手語(yǔ)輸入設備，識別有95個(gè)孤立詞構成的詞匯集，正確率為80%�；�于視覺(jué)的手勢識別是利用攝像機采集手勢信息，并進(jìn)行識別。該方法的優(yōu)點(diǎn)是輸入設備比較便宜，但識別率比較底，實(shí)時(shí)性較差，特別是很難用于大詞匯量的手語(yǔ)錄的識別。在基于視覺(jué)的方法方面，具有代表性的研究成果包括：1991年富士通實(shí)驗室完成了對46個(gè)手語(yǔ)符號的識別工作。Davis和Shah將戴上指間具有高亮標記的視覺(jué)手套的手勢作為系統的輸入，可識別7種手勢。Starner等在對美國手語(yǔ)中帶有詞性的40個(gè)詞匯隨機組成短句子識別率達到99.2%。Grobel和Assam從視頻錄像中是取特征，采用HMM技術(shù)識別262個(gè)孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結合用于美國手語(yǔ)識別，交互采用一個(gè)位置跟蹤器及三個(gè)互相垂直的攝像機作為手勢輸入設備，完成了53個(gè)孤立詞的識別，識別率為89.9%。

從識別技術(shù)來(lái)看，以往手語(yǔ)識別系統主要采用基于人工神經(jīng)網(wǎng)絡(luò )（ANN）及基于隱Markov模型（HMM）等方法。神經(jīng)網(wǎng)絡(luò )方法具有分類(lèi)特性及抗干擾性，然而由于其處理時(shí)間序列的能力不強，目前廣泛用于靜態(tài)手勢的識別。著(zhù)名的Fels的GloveTalk系統采用神經(jīng)網(wǎng)絡(luò )方法作為識別技術(shù)。對于分析區間內的手語(yǔ)信號，通常采取HMM方法進(jìn)行模型化。HMM是眾周知并廣泛使用的統計方法，一般拓撲結構下的HMM具有非常強的描述手語(yǔ)信號的時(shí)空變化能力，在動(dòng)態(tài)手勢識別領(lǐng)域一直占有主導地址，如卡內基·梅隆大學(xué)的美國手語(yǔ)識別系統及臺灣大學(xué)的臺灣手語(yǔ)識別系統等均采用HMM作為系統的識別技術(shù)。另外，Grobel與Assam利用HMM識別由戴有色手套的用戶(hù)通過(guò)攝像機輸入的262個(gè)孤立手語(yǔ)詞，正確率為91.3%。然而正是由于HMM拓撲結構的一般性，導致這種模型在分析手語(yǔ)信號時(shí)過(guò)于復雜，使得HMM訓練和識別計算量過(guò)大。尤其是在連續的HMM中，由于需要計算大量的狀態(tài)概率密度，需要估計的參數個(gè)數較多，使得訓練及識別的速度相對較慢。因而以往手語(yǔ)識別系統所采用的HMM一般為離散HMM。

在我國，哈爾濱工業(yè)大學(xué)的吳江琴、高文等給出了ANN與HMM的混合方法作為手語(yǔ)的訓練識別方法，以增加識別方法的分類(lèi)特性和減少模型的估計參數的個(gè)數。將ANN-HMM混合方法應用于有18個(gè)傳感器的CyberGlove型號數據手套的中國手語(yǔ)識別系統中，孤立詞識別率為90%，簡(jiǎn)單語(yǔ)句級識別率為92%。接下來(lái)高文等又選取Cyberglove型號數據手套作為手語(yǔ)輸入設備，并采用了DGMM（dynamicGaussianmixturemodel）作為系統的識別技術(shù)，即利用一個(gè)隨時(shí)間變化的具有M個(gè)分量的混合GaussianN-元混合密度來(lái)模型化手語(yǔ)信號，可識別中國手語(yǔ)字典中274個(gè)詞條，識別率為98.2%。與基于HMM的識別系統比較，這種模型的識別精度與HMM模型的識別精度相當，其訓練和識別速度比HMM的訓練與識別速度有明顯的改善。他們?yōu)榱诉M(jìn)一步提高識別速度，識別模塊中選取了多層識別器，可識別中國手語(yǔ)字典中的274個(gè)詞條，識別率為97.4%。與基于單個(gè)DGMM的識別系統比較，這種模型的識別精度與單個(gè)DGMM模型的識別精度基本相同，但其識別速度比單個(gè)DGMM的識別速度有明顯的提高。2000年在國際上他們首次實(shí)現了5000詞以上的連續中國手語(yǔ)識別系統。另外，清華大學(xué)祝遠新、徐光等給出了一種基于視覺(jué)的動(dòng)態(tài)孤立手勢識別技術(shù)，借助于圖像運動(dòng)的變階參數模型和魯棒回歸分析，提出一種基于運動(dòng)分割的圖像運動(dòng)估計方法�；�于圖像運動(dòng)參數，構造了兩種表現變化模型分別作為手勢的表現特征，利用最大最小優(yōu)化算法來(lái)創(chuàng )建手勢參考模板，并利用基于模板的分類(lèi)技術(shù)進(jìn)行識別。對12種手勢的識別率超過(guò)90%。在進(jìn)一步研究中，他們又給出了有關(guān)連續動(dòng)態(tài)手勢的識別，融合手勢運動(dòng)信息和皮膚顏色信息，進(jìn)行復雜背景下的手勢分割；通過(guò)結合手勢的時(shí)序信息、運動(dòng)表現及形狀表現，提出動(dòng)態(tài)手勢的時(shí)空表現模型，并提出基于顏色、運行以及形狀等多模式信息的分層融合策略抽取時(shí)空表觀(guān)模型的參數。最后，提出動(dòng)態(tài)時(shí)空規整算法用于手勢識別。對12種手勢，平均識別率高達97%。

盡管已經(jīng)實(shí)現了一些手語(yǔ)識別系統，但中國手語(yǔ)識別仍然面臨許多挑占性課題，如手勢不變特征的提取、手勢之間的過(guò)度模型、手語(yǔ)識別的最小識別基于、自動(dòng)分割識別基元、詞匯量可擴展的

【手語(yǔ)研究的方向與現狀】相關(guān)文章：

鋼渣作混凝土集料的研究現狀及發(fā)展方向12-04

兒童肥胖研究現狀03-18

假日列車(chē)開(kāi)行現狀及發(fā)展方向03-19

拉拔試驗研究的現狀與發(fā)展03-21

體育舞蹈的研究現狀的論文12-01

食品添加劑行業(yè)現狀與發(fā)展方向02-25

我國服裝廣告傳播現狀研究03-21

塑料管應用現狀研究12-06

我國生活德育的研究現狀與展望11-24