程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 更多編程語言 >> 更多關於編程 >> Python smallseg分詞用法實例分析

Python smallseg分詞用法實例分析

編輯:更多關於編程

       本文實例講述了Python smallseg分詞用法。分享給大家供大家參考。具體分析如下:

      ?

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 #encoding=utf-8 #import psyco #psyco.full() words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ] from smallseg import SEG seg = SEG() print('Load dict...') seg.set(words) print("Dict is OK.") def cuttest(text): wlist = seg.cut(text) wlist.reverse() tmp = " ".join(wlist) print(tmp) print("================================") if __name__=="__main__": cuttest("這是一個伸手不見五指的黑夜。我叫孫悟空,我愛北京,我愛Python和C++。") cuttest("我不喜歡日本和服。") cuttest("雷猴回歸人間。") cuttest("工信處女干事每月經過下屬科室都要親口交代24口交換機等技術性器件的安裝工作") cuttest("我需要廉租房") cuttest("永和服裝飾品有限公司") cuttest("我愛北京天安門") cuttest("abc") cuttest("隱馬爾可夫") cuttest("雷猴是個好網站") cuttest("“Microsoft”一詞由“MICROcomputer(微型計算機)”和“SOFTware(軟件)”兩部分組成") cuttest("草泥馬和欺實馬是今年的流行詞匯") cuttest("伊籐洋華堂總府店") cuttest("中國科學院計算技術研究所") cuttest("羅密歐與朱麗葉") cuttest("我購買了道具和服裝")

      smallseg分詞,在python3.3上運行稍微有些問題。py代碼xrange在3.*中已經改名字為range了。另外,3.*中也沒有decode函數了。

      修改了上面的兩個地方,代碼就可移植性了。效果還可以。

      希望本文所述對大家的Python程序設計有所幫助。

    1. 上一頁:
    2. 下一頁:
    Copyright © 程式師世界 All Rights Reserved