程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> PHP基礎知識 >> PHP開發搜索引擎技術全解析

PHP開發搜索引擎技術全解析

編輯:PHP基礎知識
 

談到網頁搜索引擎時,很多人都會想到雅虎。的確,雅虎開創了一個互聯網絡的搜索時代。然而,雅虎目前用於搜索網頁的技術卻並非該公司原先自己開發的。2000年8月,雅虎采用了Google這家由斯坦福大學學生創建的公司的技術。理由非常簡單,Google的搜索引擎比雅虎先前使用的技術能更快、更准確搜索到所需要的信息。

讓我們自己來設計、開發一個強勁、高效的搜索引擎和數據庫恐怕短時間內在技術、資金等方面是不可能的,不過,既然雅虎都在使用別人的技術,那麼我們是不是也可以使用別人現成的搜索引擎網站呢?

剖析編程思路

我們可以這樣設想:模擬一個查詢,向某個搜索引擎網站發出相應格式的搜索命令,然後傳回搜索結果,對結果的HTML代碼進行分析,剝離多余的字符和代碼,最後按所需要的格式顯示在我們自己的網站頁面裡。

這樣,問題的關鍵就在於,我們要選定一個搜索信息准確(這樣我們的搜索才會更有意義啊)、速度快(因為我們分析搜索結果並顯示需要額外的時間),搜索結果簡潔(便於進行HTML源代碼分析和剝離)的搜索網站,由於新一代搜索引擎Google的各種優良特性,這裡我們選擇它為例,來看看用PHP怎樣實現後台對Google搜索、前台個性化顯示這一過程。

我們先來看看Google的查詢命令的構成。進入Google網站,在查詢欄中輸入“abcd”,點擊查詢按鈕,我們可以發現浏覽器的地址欄變成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr= ",可見,Google是通過表單的get方式來傳遞查詢參數並遞交查詢命令的。我們可以使用PHP中的file()函數來模擬這個查詢過程。

了解File( ) 函數

語法: array file(string filename);

返回值為數組,將文件全部讀入數組變量中。這裡的文件可以是本地的,也可以是遠程的,遠程文件必須指明所使用的協議。例如: result=file(“http://www.google.com/search?q=a ... mp;hl=zh-CN&lr= ”),該語句將模擬我們在Google上查詢單詞“abcd”的過程,並將搜索結果以每行為元素,傳回到數組變量 result中。因為這裡讀取的文件是遠程的,所以協議名“http://”不能缺少。

如果要讓用戶輸入搜索字符進行任意搜索,我們可以做一個輸入文本框和提交按鈕,並將上文中的被搜索字符“abcd”用變量替換:

echo '
'; file://沒有參數的form,默認提交方式為get,提交到本身
echo '; file://構造一個文本輸入框
echo '; file://構造一個提交查詢按鈕
echo '
';

if (isset( keywords)) file://提交後PHP會生成變量 kwywords,即要求下面的程序在提交後運行
{
urlencode( keywords); file://對用戶輸入內容進行URL編碼
result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");
file://對查詢語句進行變量替換,將查詢結果保存在數組變量 result中
result_string=join(" ", result); file://將數組$result合並成字符串,各數組元素之間用空格粘和
... file://進一步處理
}
?﹥
 

上面的這段程序已經能按用戶輸入內容進行查詢,並將返回的結果合成一個字符串變量$result_string。請注意要使用urlencode()函數將用戶輸入內容進行URL編碼,才可以正常地對輸入的漢字、空格以及其他特殊字符進行查詢,這樣做也是盡可能逼真地模擬Google的查詢命令,保證搜索結果的正確性。

對Google的分析

為了便於理解,現在假設我們所真正需要的東西是:搜索結果的標題。網址和簡介等,這是一個簡潔而典型的需求。這樣,我們所要做的便是:去除Google搜索結果的台頭和腳注,包括一個Google的標志、再次搜索的輸入框和搜索結果說明等,並且在剩余的搜索結果各項條目中剝離原來的HTML格式標記,替換成我們想要的格式。

要做到這一點,我們必須仔細地分析Google搜索結果的HTML源碼,找到其中的規律。不難發現,在Google的搜索結果的正文總是包含在源碼的第一個

標記和倒數第二個

標記之間,並且倒數第二個

標記後緊跟table字符,而且這個組合“

以下所有程序均依次接續在上文程序的“進一步處理”處。

 result_string = strstr( result_string, " ");
file://取 result_string從第一個開始後的字符串,以去除Google台頭
position= strpos( result_string," table符號的位置
result_string= substr( result_string,0, position);//截取第一個table符號之前的字符串,以去除腳注
 

應用與實現

現在我們已經得到有用的HTML源碼主干了,剩下的問題是如何自主地顯示這些內容。我們再分析一下這些搜索結果條目,發現每個條目之間也是很有規律的用分隔,也就是各成一個段落,按這個特點我們用explode()函數把每個條目切開:

語法:explode(string separator, string string);

返回一個數組,按separator切開後的各個小字串被保存在數組中。

於是:


result_array=explode(" ", result_string); file://用字串" "把結果切開
 

我們就得到一個數組 result_array,其中每個元素都是一個搜索結果條目。我們所要做的僅僅是研究每個條目及其HTML顯示格式代碼,然後按要求替換就行了。下面用循環來處理 result_array中的每個條目。

for( i=0; i {
... file://處理每個條目
}
 

對於每個條目,我們也很容易找到一些特點:每個條目都由標題、摘要、簡介、類別、網址等組成,每個部分都換行,即包含標記,於是再次分割:(以下處理程序放在上文的循環中)


every_item=explode(" ", result_array[ i]);
 

這樣我們得到一個數組 every_item,其中 every_item[0]就是標題, every_item[1]和 every_item[2]兩行為摘要, every_item[3]和 every_item[4]等等的頭部如果包含“簡介:”、“< font size=-1 color=#6f6f6f>類別:< /font>”字符,則是簡介或類別(因為有的結果條目沒有該項),如果頭部包含“< font color=green>”則肯定就是網址啦,這種對比判斷我們常使用正則表達式(略),如果要替換也很方便,比如包含標題的$every_item[0],其本身是有鏈接的,我們希望修改這個鏈接屬性,讓它在新窗口打開鏈接:  

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved