漢語(yǔ)分詞在中文軟件中的廣泛應用

摘要
中文軟件需要具有對中文文本的輸入、顯示、編輯、輸出等基本功能，而且隨著(zhù)計算機技術(shù)的發(fā)展，對于計算機的文本處理能力提出了更高的要求，諸如智能拼音語(yǔ)句輸入、手寫(xiě)和語(yǔ)音自動(dòng)識別輸入；文章的校對；簡(jiǎn)體和繁體中文的自動(dòng)轉換；信息檢索和信息摘錄；文本分類(lèi)和自動(dòng)文摘；語(yǔ)音合成；自然語(yǔ)言的理解和自動(dòng)翻譯；自然語(yǔ)言接口等。 而所有這些中文處理功能都要建立在對漢語(yǔ)文本的分詞處理這一基本功能之上。因而，漢語(yǔ)分詞是中文信息處理的基礎，在中文信息處理系統中具有廣泛的應用前景。 一、 為什么需要漢語(yǔ)分詞我們知道，漢語(yǔ)的中文信息處理就是要“用計算機對漢語(yǔ)的音、形、義進(jìn)行處理�！� [1]， 我們還知道，“詞是最小的能夠獨立活動(dòng)的有意義的語(yǔ)言成分�！盵2] 然而，漢語(yǔ)文本中詞與詞之間卻沒(méi)有明確的分隔標記，而是連續的漢字串。顯而易見(jiàn)，自動(dòng)識別詞邊界，將漢字串切分為正確的詞串的漢語(yǔ)分詞問(wèn)題無(wú)疑是實(shí)現中文信息處理的各項任務(wù)的首要問(wèn)題。 以拼音輸入中的同音詞自動(dòng)辨識為例，據我們統計，漢語(yǔ)單字同音現象是非常嚴重的。以6763個(gè)漢字為例，沒(méi)有同音字的漢字只有16個(gè)。其他漢字都有同音字。其中最多的有116個(gè)同音字。而漢語(yǔ)詞的同音現象則有很大的改善。以52505的詞表為例，其中35942個(gè)詞語(yǔ)沒(méi)有同音詞。因此，大多數同音字可以依靠詞來(lái)確定。例如：”yi”對應的同音字“以，一，易，已，意”, 分別可以在“以為，一定，容易，已經(jīng)，意義”中來(lái)確定。對于詞語(yǔ)（包括單字詞）的同音現象，則需要運用詞語(yǔ)之間的合理搭配以及詞語(yǔ)在句子中的合法運用來(lái)確定。比如“一枝可愛(ài)的玫瑰花”，”Zhi”的同音字有：“只，之，直，支，枝．．．．．”等。但是這里“枝”是和“花”的合理搭配。也就是說(shuō)”一 枝 可愛(ài)的玫瑰花”是合理的搭配。由此不難看出，分詞對于同音詞自動(dòng)辨識的作用。而同音詞的自動(dòng)辨識也是語(yǔ)音自動(dòng)識別所要解決的重要問(wèn)題。 除了同音詞的自動(dòng)辨識，漢語(yǔ)的多音字自動(dòng)辨識仍然需要分詞的幫助。例如：“校、行、重、樂(lè )、率”等都是多音字。無(wú)論是拼音自動(dòng)標注還是語(yǔ)音合成都需要識別出正確的拼音。而多音字的辨識可以利用詞以及句子中前后詞語(yǔ)境，即上下文來(lái)實(shí)現。如以上幾個(gè)多音字都可以在以下幾組詞中得以定音：學(xué)校（xiao）/ 校（jiao）對、行(hang)列/行(xing)進(jìn)、重(zhong)量/重(chong)新、快樂(lè )(le)/音樂(lè )(yue)、率(shuai)領(lǐng)/效率(lv)。 漢字的簡(jiǎn)體/繁體轉換、信息檢索和信息摘錄、自然語(yǔ)言理解、文本分類(lèi)、機器翻譯、文本校對等中文信息處理系統同樣都首先需要分詞作為其最基本的模塊。 二、 漢語(yǔ)分詞所面臨的關(guān)鍵問(wèn)題及分詞算法漢語(yǔ)分詞是由計算機自動(dòng)識別文本中的詞邊界的過(guò)程。從計算機處理過(guò)程上看，分詞系統的輸入是連續的字符串（C1C2C3……Cn），輸出是漢語(yǔ)的詞串（W1W2W3……Wm）, 這里，Wi　可以是單字詞也可以是多字詞。 那么，在這個(gè)過(guò)程中，我們所要解決的關(guān)鍵問(wèn)題是什么，我們又有什么樣的解決方案哪？

關(guān)鍵問(wèn)題
通用詞表和切分規范 漢語(yǔ)的語(yǔ)素和單字詞，合成詞和短語(yǔ)之間沒(méi)有清晰的界限。語(yǔ)言學(xué)界雖然對于詞在概念上有一個(gè)十分清晰的定義，即，“詞是最小的能夠獨立活動(dòng)的有意義的語(yǔ)言成分�！钡珡囊恍┰~典的編撰中，我們仍然可看出一些上述界限難以區分的問(wèn)題。比如：“聽(tīng)見(jiàn)”“看見(jiàn)”在很多詞典中都有收錄，但是有類(lèi)似結構的“聞見(jiàn)”卻沒(méi)有收錄。在建立分詞系統詞表時(shí)，仍然對于收詞的標準難以把握，例如：“雞蛋”是詞，那么“鴨蛋、鵪鶉蛋”是否也作為詞收入詞表？至今為止，分詞系統仍然沒(méi)有一個(gè)統一的具有權威性的分詞詞表作為分詞依據。這不能不說(shuō)是分詞系統所面臨的首要問(wèn)題。除了分詞詞表，還有一個(gè)概念值得我們注意，即“分詞單位”。從計算機進(jìn)行分詞的過(guò)程來(lái)看，其輸出的詞串我們稱(chēng)之為“切分單位”或“分詞單位”�！缎畔⑻幚碛矛F代漢語(yǔ)分詞規范》中對于“分詞單位”也有一個(gè)定義：“漢語(yǔ)信息處理使用的、具有確定的語(yǔ)義或語(yǔ)法功能的基本單位。包括本規范的規則限定的詞和詞組�！保�3］由此可見(jiàn)，信息處理中分詞單位的定義比傳統意義上的詞更寬泛些。這也就避開(kāi)了理論上對于詞的界定難以把握的困擾。分詞系統可以面向解決實(shí)際問(wèn)題的需求和真實(shí)語(yǔ)料中使用的頻繁程度來(lái)規定“分詞單位”。分詞單位可以是同詞表中詞完全一致，也可以是包含未登錄詞識別以及一些詞法分析的切分單位， 例如，一些人名、地名、機構名、外國人譯名，應予以識別和切分。一些動(dòng)詞和形容詞重疊結構，如“高高大大”、“甜甜蜜蜜”等；一些附加詞，如后綴，“親和性”、“熱敏性”等；都可以作為分詞單位予以識別和切分。因此，對于一個(gè)分詞系統而言，制定一個(gè)一致性的分詞單位切分規范無(wú)疑也是一個(gè)重要的問(wèn)題。 歧義切分字段 分詞系統要處理的第二個(gè)關(guān)鍵問(wèn)題是文本中歧義切分字段的判別。漢語(yǔ)中歧義切分字段最基本有以下兩種類(lèi)型：
交集型歧義字段，據統計，這種歧義字段占全部歧義字段的８５％以上。［4］所以這也是分詞系統所要重點(diǎn)解決的問(wèn)題。在字段ABC中，這里，A,B,C分別代表有一個(gè)或多個(gè)漢字組成的字串。A,AB,BC,C分別都是詞表中的詞，則稱(chēng)該字段為交集型歧義字段。如：“中國/人”，“中/國人”兩種切分結果。 組合型歧義在字段ABC中， A,B,AB 分別都是詞表中的詞，則稱(chēng)該字段為交集型歧義字段。如：他/具有/非凡/的/才能/。/ 只有/他/才/能/舉起/這/個(gè)/重物/。/
未登錄詞識別 我們知道，詞表中不能囊括所有的詞。一方面是因為語(yǔ)言在不斷的發(fā)展和變化，新詞會(huì )不斷的出現。另一方面是因為詞的衍生現象非常普遍，沒(méi)有必要把所有的衍生詞都收入辭典中。 特別是人名、地名等專(zhuān)有名詞，在文本中有非常高的使用頻度和比例。而且由于未錄詞引入的分詞錯誤往往比單純的詞表切分歧義還要嚴重。這就要求分詞系統具有一定的未登錄詞識別能力，從而提高分詞的正確性。 除了人名、地名的識別，我們認為，分詞系統還需要有一定的詞法分析能力，從而解決衍生詞和復合詞等詞匯平面上的問(wèn)題，為進(jìn)一步的中文信息處理提供堅實(shí)的基礎。
分詞算法 以上我們大致了解了分詞系統所面臨的關(guān)鍵問(wèn)題，那么，分詞系統怎樣解決這些問(wèn)題的哪？下面我對我們曾經(jīng)試驗過(guò)的幾種分詞算法，也是目前比較被廣泛使用的方法加以簡(jiǎn)單介紹：
基于詞表的分詞-最大匹配（MM） 這是一種有著(zhù)廣泛應用的機械分詞方法，該方法依據一個(gè)分詞詞表和一個(gè)基本的切分評估原則，即“長(cháng)詞優(yōu)先”原則，來(lái)進(jìn)行分詞。這種評估原則雖然在大多數情況下是合理的，但也會(huì )引發(fā)一些切分錯誤。根據我們小規模測試的結果，其正確率為95.422%，速度為65,000字/分鐘。 這種切分方法，需要最少的語(yǔ)言資源（僅需一個(gè)詞表，不需要任何詞法、句法、語(yǔ)義知識），程序實(shí)現簡(jiǎn)單，開(kāi)發(fā)周期短，是一個(gè)簡(jiǎn)單實(shí)用的方法。 基于統計的分詞 這種方法首先切分出與詞表匹配的所有可能的詞，這種切分方法稱(chēng)為“全切分”，運用統計語(yǔ)言模型和決策算法決定最優(yōu)的切分結果。 這種方法的優(yōu)點(diǎn)是可以發(fā)現所有的切分歧義，但是解決歧義的方法很大程度上取決于統計語(yǔ)言模型的精度和決策算法。需要大量的標注語(yǔ)料，并且分詞速度也因搜索空間的增大而有所緩慢。根據我們小規模測試的結果，其正確率為96.252%。分詞速度為：40,000字/分鐘。 基于規則和基于統計相結合 這種方法首先運用最大匹配作為一種初步切分， 再對切分的邊界處進(jìn)行歧義探測，發(fā)現歧義。再運用統計和規則結合的方法來(lái)判別正確的切分，運用不同的規則解決人名、地名、機構名識別，運用詞法結構規則來(lái)生成復合詞和衍生詞。 目前這種方法可以解決漢語(yǔ)中最常見(jiàn)的歧義類(lèi)型：?jiǎn)巫纸患�型歧義。并對人名、地名、機構名、后綴、動(dòng)詞/形容詞重疊、衍生詞等詞法結構進(jìn)行識別的處理，基本解決了分詞所面臨的最關(guān)鍵的問(wèn)題。而且由于優(yōu)秀的辭典結構和算法設計，分詞速度非�？�。根據我們小規模測試的結果，其正確率為97.948%。分詞速度為：200,000字/分鐘。但是,目前這個(gè)分詞系統對于組合歧義的處理還沒(méi)有涉及。 這一分詞系統我們稱(chēng)之為：WB2000, 它作為Office2000中文版中的一個(gè)基本模塊被許多中文功能所運用。

三、 漢語(yǔ)分詞系統WB2000以及在中文Office2000中的應用舉例這里，我們就WB2000在Office2000中文版中的具體應用實(shí)例進(jìn)行簡(jiǎn)單介紹，從這些具體的應用實(shí)例中，我們可以對中文分詞的廣泛應用有進(jìn)一步深入的了解。

WB2000的分詞功能 以上已經(jīng)從分詞算法上初步了解了WB2000, 從分詞功能的角度看，它具備以下幾個(gè)功能： 1）交叉型歧義識別
2）詞法分析：前后綴、重疊等
3）專(zhuān)有名詞識別：人名、地名、機構名
4）其它：數量和時(shí)間類(lèi)詞組識別 此外，從程序設計的角度看，它還具備以下的特點(diǎn)：
詞表的可擴充性， 分詞用詞表可以支持批量追加適合于各種應用的詞匯。 功能的可組合型， 可以根據不同應用的需要，通過(guò)以上分詞功能的不同組合，來(lái)調整不同的“分詞單位”。 接口的可共享型， 分詞系統的統一接口設計，使得不同的應用可以共享同一分詞系統。
以上幾個(gè)的特點(diǎn)，是基于分詞系統是所有語(yǔ)言信息處理系統的基礎，也就是說(shuō)，是所有語(yǔ)言信息處理系統所不可或缺的模塊這一認識來(lái)設計的。我們認為這一設計思想應該是開(kāi)發(fā)通用的、實(shí)用的分詞系統所必須掌握的原則。 Office2000中的應用舉例 Office2000 中有諸多功能運用到分詞系統，這里只挑選幾個(gè)典型的應用例子加以說(shuō)明。
文本自動(dòng)校對 分詞是文本校對中的一個(gè)基本模塊，校對系統運用分詞模塊對文本進(jìn)行分詞，運用詞語(yǔ)之間搭配的合理性來(lái)識別可能的錯誤。 例1：
簡(jiǎn)體/繁體自動(dòng)轉換 我們知道，簡(jiǎn)體/繁體之間的轉換，在單字一級，會(huì )有一個(gè)簡(jiǎn)體漢字對應多個(gè)繁體漢字的情況，如：“發(fā)”對應繁體的“發(fā)”和“髮”。那么，簡(jiǎn)體/繁體轉換應該將“發(fā)”轉為“發(fā)”還是“髮”哪？這就引入了如何解決簡(jiǎn)/繁歧義的問(wèn)題。此外，簡(jiǎn)體中文和繁體中文在一些技術(shù)術(shù)語(yǔ)的運用上也有不同。例如，簡(jiǎn)體中文計算機術(shù)語(yǔ)“物理地址”和“邏輯地址”在繁體中文中寫(xiě)作“邏輯位址”和“物理位址”。簡(jiǎn)體/繁體轉換系統也需要解決這種術(shù)語(yǔ)的不同用法問(wèn)題。 我們的簡(jiǎn)體/繁體轉換系統運用分詞模塊切分詞語(yǔ)，根據詞語(yǔ)以及上下文來(lái)決定最可能的轉換結果。 例2：
迅速發(fā)展的計算機技術(shù)。
迅速發(fā)展的電腦技術(shù)。 她有一頭黑亮的頭發(fā)。
她有一頭黑亮的頭髮。
聰明選詞 MSWord2000中，當用戶(hù)雙擊鼠標左鍵是，如果是英文文本，英文單詞會(huì )被高亮選中，如果是中文文本，中文詞語(yǔ)則也會(huì )高亮選中，用戶(hù)可以對選中的詞語(yǔ)做進(jìn)一步的編輯行為。這一功能同樣是運用分詞系統來(lái)實(shí)現的。 例3：當用戶(hù)在“計算機”文本段內任意位置雙擊鼠標左鍵時(shí)，“計算機”將作為詞被選中。
拼音指南 MSWord2000中提供了對于文本自動(dòng)標音的功能，我們知道，漢語(yǔ)存在一字多音的問(wèn)題，如何決定多音字的正確拼音哪？這里，我們仍然利用分詞系統作為基礎模塊根據上下文來(lái)判別其正確的拼音。 例4：
四、結語(yǔ)漢語(yǔ)分詞是中文信息處理系統的基礎，有著(zhù)極其廣泛的實(shí)際應用。從基本的輸入系統，如智能語(yǔ)句輸入法、語(yǔ)音輸入、手寫(xiě)輸入；到文字處理，如文本校對、簡(jiǎn)體／繁體轉換、拼音標注；以及語(yǔ)音合成，文本檢索，文本分類(lèi)，自然語(yǔ)言接口，自動(dòng)文摘等等，無(wú)處不滲透著(zhù)分詞系統的應用。但是對于分詞中所涉及的一些關(guān)鍵問(wèn)題，我們仍然沒(méi)有很好的解決方案。因此，中文信息處理技術(shù)的進(jìn)步和中文信息處理系統的廣泛應用，有待于對分詞中的關(guān)鍵問(wèn)題進(jìn)行進(jìn)一步的深入研究和探索，如，制定和頒布國家通用的分詞詞表，研究歧義切分字段類(lèi)型，增強歧義判別的能力，提高專(zhuān)有名詞的識別率，研究漢語(yǔ)的構詞規則和詞法規則等等。從系統設計方面，應考慮開(kāi)發(fā)通用的多功能的漢語(yǔ)分詞系統，如：支持多種不同應用的多詞典結構、自適應不同應用的切分結果、帶結構化和屬性信息的切分結果等。從分詞的在中文信息處理系統中的應用方面，可以說(shuō)，我們已經(jīng)跨出了一大步，但是我們仍在致力于拓展其新的應用，如：自動(dòng)文摘、漢語(yǔ)文本索引和檢索、漢語(yǔ)語(yǔ)音合成、漢語(yǔ)自然語(yǔ)言接口等。 我們認為，漢語(yǔ)分詞系統作為中文信息處理系統的基石，有著(zhù)極其廣泛的應用前景。通過(guò)對分詞技術(shù)的深入研究，開(kāi)發(fā)出高質(zhì)量，多功能的分詞系統，必將促進(jìn)中文信息處理系統的廣泛應用，換言之，也就提高了中文軟件對于中文的處理能力，這也將使得計算機用戶(hù)的日常工作的效率得以提高。 參考文獻[1]《漢語(yǔ)信息處理詞匯01部分；基本術(shù)語(yǔ)（GB12200.1-90）》，中國標準出版社，1991
[2] 朱德熙《語(yǔ)法講義》，商務(wù)印書(shū)館，1982
[3] GB/T13715-92《信息處理用現代漢語(yǔ)分詞規范》,中國標準出版社，1993。
[4] 梁南元《書(shū)面漢語(yǔ)自動(dòng)分詞系統-CDWS》，《中文信息學(xué)報》1（2），1987。 論文出處(作者):
現代漢語(yǔ)文本的詞語(yǔ)切分技術(shù)
人工智能論文下載(專(zhuān)業(yè)論文)

【漢語(yǔ)分詞在中文軟件中的廣泛應用】相關(guān)文章：

漢語(yǔ)中的數字文化06-01

試論對外漢語(yǔ)教學(xué)中的漢語(yǔ)課教學(xué)03-09

探析翻譯教學(xué)中的“中文西化”現象03-19

有機化學(xué)在生活中的廣泛應用論文（精選8篇）03-16

軟件無(wú)形性在軟件工程教育中的影響的論文12-08

淺談對外漢語(yǔ)教學(xué)中漢語(yǔ)顏色詞的構成分析03-22

隱喻理論在漢語(yǔ)花喻中的研究03-18

談對外漢語(yǔ)教學(xué)中的游戲教學(xué)03-18

世界與地方：漢語(yǔ)思想語(yǔ)境中“政治”的本性03-06