- 相關(guān)推薦
網(wǎng)絡(luò )搜索引擎性能分析模型與系統ASP+SQL
畢業(yè)論文
目 錄
摘要 1
前言 3
1 搜索引擎概述 4
1.1 模糊搜索技術(shù) 4
1.2 多個(gè)關(guān)鍵字查詢(xún) 4
1.3 爬行網(wǎng)頁(yè) 6
1.3.1 頁(yè)面的選擇 6
1.3.2 爬行策略 6
2 開(kāi)發(fā)工具的簡(jiǎn)介 8
2.1 開(kāi)發(fā)環(huán)境介紹 8
2.1.1 ASP概述 8
2.1.2 ASP運行環(huán)境 8
2.2 VISUAL INTERDEV概述 8
2.3 VISUAL INTERDEV的集成開(kāi)發(fā)環(huán)境 9
3 ASP網(wǎng)絡(luò )數據庫開(kāi)發(fā)簡(jiǎn)介 11
3.1 建立ODBC數據源 11
3.2 SQL簡(jiǎn)介 11
3.3 ADO概述 11
3.3.1 ADO的對象 12
3.3.2 ADO的操作流程 12
3.4 創(chuàng )建ODBC DSN文件 13
3.5 連接數據庫 15
4 系統總體規劃 17
4.1 系統需求分析 17
4.2 系統功能模塊圖設計 18
4.3 搜索引擎系統設計結構圖 19
4.4 數據流圖 20
4.5 系統數據庫設計 21
5 系統具體實(shí)現 24
5.1 主要系統文件組成 24
5.2 網(wǎng)站搜索模塊 24
5.2.1 模塊的具體實(shí)現 24
5.2.2 搜索模塊存在的問(wèn)題 30
5.3 分類(lèi)目錄模塊 30
5.4 網(wǎng)站登錄模塊 34
5.5 網(wǎng)站修改模塊 37
5.6 管理員登錄模塊 39
5.7 網(wǎng)站管理模塊 40
5.8 網(wǎng)站審核模塊 42
5.9 分類(lèi)管理模塊 42
5.10 退出系統模塊 44
結束語(yǔ) 46
參考文獻 47
致謝 48
附錄 49
網(wǎng)絡(luò )搜索引擎性能分析系統模型及設計
摘要：搜索引擎是絕大多數網(wǎng)站都提供的功能，搜索引擎分為站內文件搜索引擎和網(wǎng)站搜索引擎兩大類(lèi)，站內文件搜索引擎是指對1個(gè)固定的站內的文件進(jìn)行搜索，搜索的結果是含有關(guān)鍵字的站內文件；網(wǎng)站搜索引擎是指對登記過(guò)的網(wǎng)站進(jìn)行搜索，搜索的結果是含有關(guān)鍵字的所有網(wǎng)站。
我利用ASP技術(shù)，采用Visual InterDev開(kāi)發(fā)工具開(kāi)發(fā)1個(gè)搜索引擎模型。本論文主要介紹了本課題的開(kāi)發(fā)背景，所要完成的功能和開(kāi)發(fā)的過(guò)程等，重點(diǎn)說(shuō)明了系統設計的重點(diǎn)、設計思想、難點(diǎn)技術(shù)和解決方案等，并給出了在開(kāi)發(fā)過(guò)程中的1些經(jīng)驗體會(huì )。
關(guān)鍵字：搜索引擎;關(guān)鍵字;ASP;Visual InterDev
Net Search Engine performance analysis system model and design
Abstract：Search engine is a function provided by most of networks. It includes Localhost File Search Engine and Net Search Engine. Localhost File Search Engine refers to search on files fixed in the local machine and its results are some files withkeywords. Net Search Engine searchs on registered networks whose results are all the networks with keywords.
I make use of ASP and adopt Visual InterDev to research a model for Search engine. This article mainly introduces development backgrounds, functions to be finished and processes of research about this subject and so on. It stresses on key points and thoughts of designing, difficult technology and schemes about this system. In addition, it shows some experience in the process of research and development.
Key words: Search engine;Key words;ASP;Visual InterDev
前 言
在互聯(lián)網(wǎng)發(fā)展初期，網(wǎng)站相對較少，信息查找比較容易。然而伴隨互聯(lián)網(wǎng)爆炸性的發(fā)展，普通網(wǎng)絡(luò )用戶(hù)想找到所需的資料簡(jiǎn)直如同大海撈針，這時(shí)為滿(mǎn)足大眾信息檢索需求的專(zhuān)業(yè)搜索網(wǎng)站便應運而生了。
現代意義上的搜索引擎的祖先，是1990年由蒙特利爾大學(xué)學(xué)生Alan Emtage發(fā)明的Archie。雖然當時(shí)World Wide Web還未出現，但網(wǎng)絡(luò )中文件傳輸還是相當頻繁的，而且由于大量的文件散布在各個(gè)分散的FTP主機中，查詢(xún)起來(lái)非常不便，因此Alan Emtage想到了開(kāi)發(fā)1個(gè)可以以文件名查找文件的系統，于是便有了Archie。Archie工作原理與現在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動(dòng)搜索網(wǎng)上的文件，然后對有關(guān)信息進(jìn)行索引，供使用者以1定的表達式查詢(xún)。由于A(yíng)rchie深受用戶(hù)歡迎，受其啟發(fā)，美國內華達System Computing Services大學(xué)于1993年開(kāi)發(fā)了另1個(gè)與之非常相似的搜索工具，不過(guò)此時(shí)的搜索工具除了索引文件外，已能檢索網(wǎng)頁(yè)。
隨著(zhù)互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現的網(wǎng)頁(yè)變得越來(lái)越困難，因此，在Matthew Gray的Wanderer基礎上，1些編程者將傳統的“蜘蛛”程序工作原理作了些改進(jìn)。其設想是，既然所有網(wǎng)頁(yè)都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤1個(gè)網(wǎng)站的鏈接開(kāi)始，就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，1些基于此原理的搜索引擎開(kāi)始紛紛涌現，其中以JumpStation、The World Wide Web Worm（Goto的前身，也就是今天Overture），和Repository-Based Software Engineering (RBSE) spider最負盛名。
最早現代意義上的搜索引擎出現于1994年7月。當時(shí)Michael Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創(chuàng )建了大家現在熟知的Lycos。同年4月，斯坦福（Stanford）大學(xué)的兩名博士生，David Filo和美籍華人楊致遠（Gerry Yang）共同創(chuàng )辦了超級目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。從此搜索引擎進(jìn)入了高速發(fā)展時(shí)期。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達數百家，其檢索的信息量也與從前不可同日而語(yǔ)。比如最近風(fēng)頭正勁的Google，其數據庫中存放的網(wǎng)頁(yè)已達30億之巨！
然而我國的搜索引擎技術(shù)與國外先進(jìn)技術(shù)相比仍然相差較大，較有名的引擎寥寥可數，如百度等。中國擁有巨大的市場(chǎng)潛力，若能充分挖掘，將產(chǎn)生巨大的經(jīng)濟效益，所以應該積極發(fā)展搜索引擎技術(shù)，故我選此作為畢業(yè)設計課題，使自己能盡早了解其原理和技術(shù)，為以后向這方面發(fā)展打下基礎。
1 搜索引擎概述
目前，關(guān)于搜索引擎的說(shuō)法很多，國內還沒(méi)有1個(gè)明確的定義。1般而言，我們可以從廣義和狹義上去理解。從狹義的角度來(lái)說(shuō)，搜索引擎由信息收集軟件、索引數據庫和查詢(xún)接口3部分組成。信息收集軟件從1個(gè)已知的文檔集中讀取信息，并檢查這些文檔的鏈接指針，找出新的信息空間，然后取回這些新空間中的文檔，將它們加入到索引數據庫。查詢(xún)接口通過(guò)索引數據庫為用戶(hù)的查詢(xún)請求提供服務(wù)。即搜索引擎指的是基于某種技術(shù)在整個(gè)網(wǎng)上自動(dòng)執行網(wǎng)頁(yè)全文搜索的網(wǎng)上指南工具。
從廣義的角度上講，搜索引擎是因特網(wǎng)上的1類(lèi)網(wǎng)站，這類(lèi)網(wǎng)站與1般的網(wǎng)站不同的是它是提供查詢(xún)、搜索的網(wǎng)站，或稱(chēng)查詢(xún)站點(diǎn)、導航站點(diǎn)，即因特網(wǎng)上具有檢索功能的網(wǎng)頁(yè)。從這點(diǎn)上說(shuō)，搜索引擎分為兩種，1種是分類(lèi)目錄型的檢索，它將因特網(wǎng)上的信息資源，如網(wǎng)址、描述主題、字順或時(shí)間順序匯總整理，形成圖書(shū)館目錄1樣的分類(lèi)樹(shù)型結構目錄，用戶(hù)通過(guò)逐級瀏覽這些目錄來(lái)找尋自己需要的網(wǎng)址或相關(guān)內容;另1種是基于關(guān)鍵詞的檢索，這種方式用戶(hù)可以用邏輯組合方式輸入各種關(guān)鍵詞(Keyword)，搜索引擎計算機根據這些關(guān)鍵詞尋找用戶(hù)所需資源的地址，然后根據1定的順序(如字母排列、時(shí)間、相關(guān)級別等)反饋給用戶(hù)包含此關(guān)鍵字詞信息的所有網(wǎng)址和指向這些網(wǎng)址的鏈接�，F在的發(fā)展趨勢是以基于關(guān)鍵字的檢索為主、分類(lèi)目錄型檢索為輔�；陉P(guān)鍵字檢索的功能強大、維護成本低廉，但實(shí)現技術(shù)比較復雜，本論文以這種搜索引擎為討論對象。
然而在中國，中文搜索引擎存在著(zhù)許多問(wèn)題。首先中文搜索引擎的分類(lèi)體系尚不完善。由于我國搜索引擎發(fā)展起步晚速度又快，目前在這方面尚未出現統1的分類(lèi)標準，也沒(méi)有實(shí)施和規定規范的網(wǎng)絡(luò )術(shù)語(yǔ)，以致于各搜索引擎在分類(lèi)和命名時(shí)無(wú)據可依。具體表現在：1是中文搜索引擎很多。他們之間沒(méi)有1個(gè)統1的嚴格的分類(lèi)標準，導致類(lèi)目體系不1，且層次不合理，類(lèi)目設置不科學(xué)，類(lèi)目之間邏輯差，類(lèi)目設置隨意，無(wú)分類(lèi)代碼，分類(lèi)體系變動(dòng)大；2是我國網(wǎng)站許多術(shù)語(yǔ)并不規范，類(lèi)名也不統1，結果造成了混亂，讓用戶(hù)無(wú)所適從。再次，國內的網(wǎng)站所采用的收集資料的技術(shù)比較落后。這主要是由于它們絕大多數采用目錄式搜索引擎，即通過(guò)人工發(fā)現信息并依靠編目員的知識進(jìn)行分類(lèi)，從而使搜索引擎收集的范圍小、信息少，獲得的信息資料不齊全、不完整。這些問(wèn)題的實(shí)質(zhì)是搜索引擎缺乏知識理解能力和自然語(yǔ)言的處理能力。
要實(shí)現1個(gè)搜索引擎系統，用到的技術(shù)很多，其中最主要的兩項關(guān)鍵技術(shù)是數據庫中模糊搜索的實(shí)現和多個(gè)關(guān)鍵字查詢(xún)。
1.1 模糊搜索技術(shù)
所謂“模糊搜索”就是根據1個(gè)關(guān)鍵字，搜索到相關(guān)的資料，這里的“相關(guān)”是指資料中有類(lèi)似這個(gè)關(guān)鍵字的字符串。例如：“ASP”這個(gè)關(guān)鍵字，只要數據庫資料中包含“ASP”
這個(gè)關(guān)鍵字的都要把它們找出來(lái)。模糊搜索的實(shí)現其實(shí)很簡(jiǎn)單，只要使用1個(gè)SQL語(yǔ)句就可以了，下面看看SQL語(yǔ)句的寫(xiě)法。
在SQL語(yǔ)句中，包含如下幾個(gè)關(guān)鍵字：LIKE、NOT LIKE、BETWEEN。LIKE關(guān)鍵字是搜索與搜索條件相匹配的數據。而NOT LIKE與LIKE正好相反，是查找與搜索條件不匹配的數據。BETWEEN關(guān)鍵字是查找在1定范圍內的數據，它總是與AND關(guān)鍵字1起使用。如果事先知道查找范圍的起點(diǎn)和終點(diǎn)，可以采用BETWEEN關(guān)鍵字。在編程實(shí)現搜索引擎時(shí)，1般最常用的就是LIKE關(guān)鍵字。
用個(gè)例子來(lái)說(shuō)明。首先建立1個(gè)數據表example，表中有兩個(gè)字段：ID字段和CONTENT字段，CONTENT字段中包含1些文本信息。編者在這里使用SQL語(yǔ)句查詢(xún)CONTENT字段中是否包含“example”關(guān)鍵字，如果包含，將顯示包含關(guān)鍵字的所有ID值；如果不包含將給出提示。
【網(wǎng)絡(luò )搜索引擎性能分析模型與系統ASP+SQL】相關(guān)文章：
網(wǎng)絡(luò )購物系統的設計與實(shí)現ASP+SQL10-21
基于WEB的網(wǎng)絡(luò )考試系統ASP+SQL10-05
搜索引擎檢索子系統的設計與實(shí)現ASP+SQL10-28
基于A(yíng)SP的網(wǎng)絡(luò )辦公系統設計與實(shí)現ASP+SQL08-16
小型企業(yè)網(wǎng)絡(luò )辦公系統ASP+SQL05-15
網(wǎng)絡(luò )新聞發(fā)布系統的設計與實(shí)現ASP+SQL10-13
基于on-off模型設計與OPNET仿真的P-ALOHA系統性能分析06-19
網(wǎng)絡(luò )視頻系統性能測試及優(yōu)化07-15