用C#2.0實現網絡蜘蛛(WebSpider)(9)

UrlFilter類的實現代碼

//　用於將url重新組合後再加到鍵樹中
//　如http://www.comprg.com.cn和http://www.comprg.com.cn/是一樣的
//　因此，它們的hashcode也要求一樣
class　UrlFilter
{
public　static　KeyTree　urlHashCode　=　new　KeyTree();
private　static　object　syncUrlHashCode　=　new　object();
private　static　string　processUrl(string　url)　//　重新組合Url
{
try
{
Uri　uri　=　new　Uri(url);
string　s　=　uri.PathAndQuery;
if(s.Equals("/"))
s　=　"";
return　uri.Host　+　s;
}
catch(Exception　e)
{
throw　e;
}
}
private　static　bool　exists(string　url)　//　判斷url是否存在
{
try
{
lock　(syncUrlHashCode)
{
url　=　processUrl(url);
return　urlHashCode.exists((uint)url.GetHashCode());
}
}
catch　(Exception　e)
{
throw　e;
}
}
public　static　bool　isOK(string　url)
{
return　!exists(url);
}
//　加處理完的Url加到鍵樹中
public　static　void　addUrl(string　url)
{
try
{
lock　(syncUrlHashCode)
{
url　=　processUrl(url);
urlHashCode.add((uint)url.GetHashCode());
}
}
catch　(Exception　e)
{
throw　e;
}
}
}