词法分析主要完成的工作有：
1.过滤源程序中的空白字符和注释。
2.识别各种常量，并且把字符形式的表示转化为编译器的内部标识(如：int a = 6,在编译器看来，这些都是以字符形式表示的)
3.识别标识符(ID)和关键字(keyword)
4.识别源程序中的各种符号(如："+", "-", "(", "]"等)
java(gjc)词法分析器优点：
1.所有的源文件一次读入到内存缓冲区buf[]中，对随后的操作有一定的简化作用，
并使得词法分析速度有一定的提高。
2.词法分析的出错点报告精确到具体的行和列：line, col。觉得没有必要精确到列。
3.通过scanChar()来预读一个字符，然后根据预读的字符来推测该token可能的类型
然后调用相应的函数来处理。抽象程度更高，值得学习。