c语言 词法分析器实验报告及源代码

词法分析器是编译器设计的一个重要组成部分，它的任务是从源代码中识别出有意义的词汇单元，也就是所谓的“单词”或“标记”。在C语言的上下文中，这些单词包括关键字（如`if`，`else`等）、标识符（自定义的变量或函数名）、常量（数字或字符串）、运算符（`+`，`-`等）以及各种分隔符（如逗号，分号等）。本实验报告中，学生使用C++编写了一个词法分析器，能够处理C语言源代码或文本文件，并将识别出的单词及其类别以二元组形式输出到文件。 实验的目标是让学生深入理解C语言的结构，掌握编译器的工作原理，特别是词法分析阶段。实验内容包括从`.txt`、`.c`或`.cpp`文件中提取字符串，然后对这些字符串进行词法分析，识别并分类单词。实验要求实现的功能包括： 1. 从指定类型的文件中读取字符串。 2. 分离出字符串中的独立单词。 3. 对每个单词进行分类，判断其属于关键字、分隔符、标识符还是常数。 4. 将单词与其类别以二元组形式存储到新的文件中。 为了实现这一目标，实验中定义了若干关键函数： 1. `GetText()`：这个函数负责从文件中读取整个文本内容并返回一个字符串。 2. `GetWord(string str, int i, int& j)`：这个函数从给定的字符串`str`的指定位置`i`开始，查找并返回一个单词，同时更新`j`为单词的结束位置。 3. `DeleteNull(string str, int i)`：删除连续的空格和换行，返回第一个有效字符的位置。 4. `IsBoundary(string str, int i)`：判断字符`str[i]`是否为分隔符。 5. `IsOperation(string str, int i)`：判断字符`str[i]`是否为运算符。 6. `OutFile(vector<pair<string, string>> v)`：将二元组数组`v`写入文件。 7. `analyst(vector<string> vec)`：对输入的字符串数组`vec`进行词法分析，返回一个包含二元组的数组。 8. `IsKey(string str)`：检查字符串`str`是否为C语言的关键字。 程序的流程大致如下： 1. 从输入文件中读取所有内容到一个字符串变量`filestr`。 2. 使用`GetWord`等函数，按C语言的规则将`filestr`分割成单词。 3. 对每个单词，使用`IsBoundary`、`IsOperation`、`IsKey`等函数判断其类型。 4. 将每个单词及其类别组合成二元组，并存储到一个容器`vec`中。 5. 调用`OutFile`将`vec`的内容写入到一个新的文件中。 实验源代码中包含了必要的头文件，以及用于存储文件名的全局变量`file_name`。通过这些函数的实现，可以构建一个完整的词法分析器，用于分析C语言源代码，识别并分类其中的单词。这个实验不仅加深了学生对C语言的理解，还让他们实践了编译原理中的词法分析概念，为将来可能的编译器设计工作打下基础。