Linux日志文件筛选去重

### Linux 中抓取和分析日志文件的方法 #### 使用 `cat` 和管道命令 可以通过 `cat` 命令读取日志文件的内容，并结合其他工具进一步筛选数据。例如，要获取日志文件开头的前五行或结尾的后五行，可分别使用以下命令： ```bash cat error.log | head -n 5 # 获取日志开头的前五条记录[^2] cat error.log | tail -n 5 # 获取日志末尾的最后五条记录[^2] ``` #### 利用 `grep` 提取特定模式的日志 对于复杂的查询需求，可以借助 `grep` 工具配合正则表达式完成。比如提取日志文件中的 IP 地址列表，可以用如下方法实现： ```bash grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" nohup.out # 输出所有匹配到的IP地址[^4] ``` 为了去除重复项，还可以附加 `sort` 和 `uniq` 命令进行处理： ```bash grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" nohup.out | sort | uniq # 对IP地址去重[^4] ``` #### 结合多条件过滤日志内容 当需要基于多个关键词检索时，可通过级联方式构建更精确的搜索逻辑。下面的例子展示了如何定位包含某些字段的日志行并统计其总数： ```bash cat catalina.2021-11-09.out | grep bind | grep supplier | grep -c null # 统计符合条件的日志数目[^2] ``` #### 自定义 Shell 脚本增强自动化能力 针对复杂场景下的批量操作或者定时任务执行，编写专门的 shell 脚本来满足业务需求是一种高效手段。例如，从 info 类型的日志里挑选出带有错误标记的相关信息存入单独文档供后续审查之用： ```bash DATE=$(date +"%Y-%m-%d" --date="-24 hour") bill_path="/data/bill/info" bill_txt_path="~/bill_daily_log/${DATE}.txt" if [ ! -f "$bill_txt_path" ]; then mkdir -p ~/bill_daily_log/ fi awk '/error/{print $0;getline;print}' "${bill_path}" >>"${bill_txt_path}" ``` 上述脚本片段实现了按天分离异常报告的功能[^3]。 --- ####