Linux 运维达人必备：文本处理六剑客 (grep/sed/awk/tail/more/less) 超级速查手册

       本手册专为Linux系统管理员和运维工程师设计，涵盖六个最核心的文本处理工具：grep、sed、awk、tail、more和less。这些工具被称为"文本处理六剑客"，是日常运维工作中的利器。

一、命令概览

二、grep：文本搜索工具

1.作用

   基于正则表达式匹配文本行

grep [选项] "模式" [文件...]

2.命令选项

3.典型示例

# 匹配 IP 地址   -o: 只输出匹配的部分(而不是整行)
#grep -E 等同于  egrep
grep -E -o "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" access.log

# 递归统计代码中函数调用次数
grep -r "parse_data(" ./src | wc -l

# 监控日志实时高亮关键词
tail -f app.log | grep --color=auto -E "ERROR|WARNING"

# 匹配邮箱地址
grep -E "[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}" users.txt

三、sed：流编辑器

1.作用

  执行文本替换/删除/插入操作

sed [选项] '指令' [文件...]

2.命令选项

3.典型示例

# 批量替换文件内容（备份原文件）  -i.bak 备份原文件
sed -i.bak 's/old_domain/new_domain/g' *.conf

# 删除空白行
sed '/^$/d' file.txt

#sed -n: 使用静默模式，不自动打印每一行

#截取指定行日志并输出到46.log文件
sed -n '85700,86000p' systemlog.log > 46.log

#截取指定时间段日志
sed -n '/2024-11-01 14:13 /,/2024-11-01 14:18/p' nohup.out >1101.log


#用于分析特定时间范围内的访问日志，统计并显示这段时间内访问最频繁的10个IP地址
sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' /data/logs/access-2024-07-04.log  | awk '{print $1}'  | sort | uniq -c | sort -nr -k1 | head -n 10

# awk '{print $1}' 默认以空格分割，输出第一列
# sort 对提取的ip进行排序
# uniq -c  统计每个唯一IP出现的次数
# sort -nr -k1    -n: 按数值排序 -r: 降序排列 -k1: 按第一列(出现次数)排序
# head -n 10 显示访问最频繁的10个IP

#统计一分钟之内调用接口次数
sed -n "/`date -d "1 minute ago" +"%Y-%m-%dT%H:%M:%S"`/,/`date +"%Y-%m-%dT%H:%M:%S"`/p" /data/logs/access-2024-06-07.log |grep '/api/cscpDepts'| awk -F '|' '{ print $5 }'  | sort | uniq -c | sort -nr -k1 | head -n 5

四、awk：字段处理器

1.作用

   按列处理结构化文本

awk '模式 {动作}' [文件...]

2.命令选项

3.典型示例

# 条件过滤 输出每行第三列值大于100的 第一列和第三列
awk '$3 > 100 {print $1, $3}' sales.txt

# 数值计算
#计算CSV文件中第四列的总和
awk '{sum+=$4} END {print "Total:", sum}' data.csv

# 字符串操作
#只替换每行第2列中首次出现的"old"为"new"，gsub会替换所有匹配项
awk '{sub(/old/,"new",$2); print}' items.txt

# 关联数组统计
#统计网站访问者IP频率 遍历数组并打印每个IP及其出现次数
awk '{ip_count[$1]++} END {for(ip in ip_count) print ip, ip_count[$1]}' access.log

五、tail：文件尾部查看

1.作用

   查看文件末尾内容

tail [选项] [文件]

2.命令选项

3.典型示例

# 监控最新日志并高亮错误
tail -f app.log | grep --color=auto -E "ERROR|CRITICAL"

# 查看最近修改的配置文件
tail -n 15 /etc/nginx/nginx.conf

# 多文件追踪（显示文件名）
tail -f service1.log service2.log

六、more：基础分页查看器

1.作用

   分页显示文件（仅向前导航）

more [选项] [文件]

2.选项

局限性：
❌ 不支持向后翻页
❌ 不支持复杂搜索高亮

七、less：高级分页查看器

1.作用

   支持双向导航的分页工具（推荐替代 more）

2.选项

3.典型示例

# 查看文件并显示行号
less -N server.conf

# 打开后直接跳转到匹配行
less +/ERROR app.log

# 查看压缩文件
less access.log.gz  # 自动解压显示

# 多文件编辑
less file1.log file2.log