UNIX文件处理实用工具全解析

### UNIX 文件处理实用工具全解析 在 UNIX 系统中，有许多实用工具可用于文件的过滤、排序、比较、查找和归档等操作。这些工具功能强大，能帮助用户高效地管理和处理文件。下面将详细介绍这些实用工具的使用方法和特点。 #### 1. 文件过滤与去重 在处理文件时，我们常常需要过滤掉重复的行，`uniq` 工具就能很好地完成这个任务。`uniq` 可以将文件中相邻的重复行合并为一行。其基本命令格式为： ```bash uniq -c -number [ inputfile [ outputfile ] ] ``` - `-c` 选项：在每行前显示该行出现的次数。 - `-number`：指定忽略每行的前 `number` 个字段。 例如，有一个名为 `animals` 的文件，内容如下： ``` cat snake monkey snake dolphin elephant dolphin elephant goat elephant pig pig pig pig monkey pig ``` 使用 `uniq` 命令过滤重复行： ```bash $ uniq animals cat snake monkey snake dolphin elephant goat elephant pig pig monkey pig ``` 使用 `-c` 选项显示每行出现的次数： ```bash $ uniq -c animals 1 cat snake 1 monkey snake 2 dolphin elephant 1 goat elephant 2 pig pig 1 monkey pig ``` 使用 `-1` 选项忽略每行的第一个字段： ```bash $ uniq -1 animals cat snake dolphin elephant pig pig ``` #### 2. 文件排序 `sort` 工具可以根据指定的排序标准对文件中的行进行排序。默认情况下，`sort` 按升序排序，使用 `-r` 选项可指定降序排序。其基本命令格式为： ```bash sort -tc -r { sortField-bfMn }* { fileName }* ``` - `-t`：指定字段分隔符。 - `-r`：降序排序。 - `-f`：忽略字段的大小写。 - `-M`：按月份顺序排序。 - `-n`：按数字顺序排序。 - `-b`：忽略行首的空格。 例如，有一个名为 `sortfile` 的文件，内容如下： ``` jan Start chapter 3 10th Jan Start chapter 1 30th Jan Start chapter 5 23rd Jan End chapter 3 23rd Mar Start chapter 7 27 may End chapter 7 17th Apr End Chapter 5 1 Feb End chapter 1 14 ``` 使用默认排序规则进行升序排序： ```bash $ sort sortfile Feb End chapter 1 14 Jan End chapter 3 23rd Jan Start chapter 5 23rd may End chapter 7 17th Apr End Chapter 5 1 Jan Start chapter 1 30th Mar Start chapter 7 27 jan Start chapter 3 10th ``` 使用 `-r` 选项进行降序排序： ```bash $ sort -r sortfile jan Start chapter 3 10th Mar Start chapter 7 27 Jan Start chapter 1 30th Apr End Chapter 5 1 may End chapter 7 17th Jan Start chapter 5 23rd Jan End chapter 3 23rd Feb End chapter 1 14 ``` 如果要按特定字段排序，可使用 `+` 前缀指定起始字段编号，使用 `-` 前缀指定非包含的结束字段编号。例如，按第一个字段排序： ```bash $ sort +0 -1 sortfile Feb End chapter 1 14 Jan End chapter 3 23rd Jan Start chapter 5 23rd may End chapter 7 17th Apr End Chapter 5 1 Jan Start chapter 1 30th Mar Start chapter 7 27 jan Start chapter 3 10th ``` 为了避免行首空格的影响，并按月份顺序排序，可使用 `-bM` 选项： ```bash $ sort +0 -1 -bM sortfile Jan End chapter 3 23rd Jan Start chapter 5 23rd Jan Start chapter 1 30th jan Start chapter 3 10th Feb End chapter 1 14 Mar Start chapter 7 27 Apr End Chapter 5 1 may End chapter 7 17th ``` 若要同时按月份和日期排序，可指定多个排序字段： ```bash $ sort +0 -1 -bM +4 –n sortfile jan Start chapter 3 10th Jan End chapter 3 23rd Jan Start chapter 5 23th Jan Start chapter 1 30th Feb End chapter 1 14 Mar Start chapter 7 27 Apr End Chapter 5 1 may End chapter 7 17th ``` 当字段分隔符不是空格时，可使用 `-t` 选项指定其他分隔符。例如，有一个名为 `sortfile2` 的文件，字段分隔符为冒号： ```bash $ cat sortfile2 jan:Start chapter 3:10th Jan:Start chapter 1:30th Jan:Start chapter 5:23rd Jan:End chapter 3:23rd Mar:Start chapter 7:27 may:End chapter 7:17th Apr:End Chapter 5:1 Feb:End chapter 1:14 $ sort -t: +0 -1 -bM +2 -n sortfile2 jan:Start chapter 3:10th Jan:End chapter 3:23rd Jan:Start chapter 5:23rd Jan:Start chapter 1:30th Feb:End chapter 1:14 Mar:Start chapter 7:27 Apr:End Chapter 5:1 may:End chapter 7:17th ``` #### 3. 文件比较 在 UNIX 系统中，有两个实用工具可用于比较两个文件的内容：`cmp` 和 `diff`。 ##### 3.1 `cmp` 工具 `cmp` 工具用于确定两个文件是否相同。如果两个文件完全相同，`cmp` 返回退出码 0 且不显示任何内容；否则，返回退出码 1 并显示第一个不匹配字节的偏移量和行号。其基本命令格式为： ```bash cmp -ls fileName1 fileName2 [offset1] [offset2] ``` - `-l`：显示所有不匹配字节的偏移量和值。 - `-s`：抑制所有输出。 例如，有三个