python tokenize-python中的tokenize有什麼作用

python中的tokenize有什麼作用

Python 編程中的tokenize模塊，希望簡明回答下有什麼作用
這個代碼的作用：
import tokenize
reader=open('Yield.py').next
print "reader\t",reader
tokens=tokenize.generate_tokens(reader)
print "tokens\t",tokens
print tokens.next()
print tokens.next()
print tokens.next()

最佳回答：

生成一個迭代器
迭代器是擁有next方法的一種對象，它可以遍歷數據。

參考：http://www.cnblogs.com/finallyliuyu/archive/2010/04/09/1708584.html