词法分析器（Lexical analyzer），又称扫描器，是编译器前端的关键组件，负责将源代码字符序列转换为单词（Token）序列。其工作原理基于有限状态自动机和正则表达式，遵循最长匹配与规则优先原则，可滤除空格、注释等无关字符。
该组件采用确定有限自动机（DFA）或非确定有限自动机（NFA）实现状态迁移，通过预处理程序管理缓冲区并处理宏替换、文件包含等操作。生成的Token包含类别、属性及位置信息，供语法分析器调用以降低复杂度。
Lex作为经典词法分析器生成程序，最早在UNIX系统中被标准化，常与yacc语法分析器协同工作。其开源实现flex（Fast Lexical Analyzer Generator）基于正则表达式规则生成C代码，成为编译工具链的常用组件。
想要了解更多“词法分析器”的信息，请点击：词法分析器百科
