词法分析程序的功能

1.完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。 
2.从左至右地对源程序进行扫描，按照语言的词法规则识别各类单词，并产生相应单词的属性字。