linux 在shell脚本截取log文件内容

最新推荐文章于 2023-03-02 10:37:22 发布

原创最新推荐文章于 2023-03-02 10:37:22 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

本文探讨了在后台应用运行过程中，如何有效地清理log文件以释放空间，同时确保应用能够继续写入。建议使用`tail`命令结合文件大小来截取最后的log，将内容覆盖回原始log文件，以保持文件ID不变。同时提到，如果需要避免修改应用代码，可以通过临时文件来实现这一目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

应用在后台跑，log需要保存下来，但是很多时候只需要最后出现的log，所以清除log，释放空间就变得很重要

清除log很简单，但是要保证log文件还可以继续保存log就有问题了。

如果用sed去保存的话，会改变文件id，导致应用不能继续写这个文件，你可以在应用里面判断文件描述符是否失效，要重新fclose，fopen

如果只想在脚本执行，不想改应用代码，那样就要保证文件id不变，可以把截取好的log保存到一个临时文件

截取log，可以根据文件大小来判断

log_szie=$(du -b $log_file | awk '{print $1}')

tail -c $(expr $log_size / 2) $log_file > $temp_log_file

利用cat命令把log文件内容覆盖

cat $tmp_log_file > $log_file

判断条件可以自己加

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

o0o0BEN0o

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

shell 脚本完成对日志文件的提取

专注于计算机研发知识和资讯分享

10-30

1万+

前言问题提取x xx接口的的请求报文正文解决方案使用shell脚本使用awk 去掉报文中的换行符，以便进行grep，进而使用sed进行替换操作，最后输出到指定文本。如果是压缩文件gz,可以使用zmore 和zgrep 来代替more以及grep 确定日志文件的范围：日期，以及文件清单，

Shell脚本 | 抓取log文件

aihuanshang9340的博客

02-22

1568

在安卓应用的测试过程中，遇到 Crash 或者 ANR 后，想必大家都会通过 adb logcat 命令来抓取日志定位问题。如果直接使用 logcat 命令的话，默认抓取出的 log 文件包含安卓运行时产生的所有日志，给快速定位问题增加了时间成本。这个问题可以通过一个简单的 Shell 脚本来解决，依然只有区区 20 行左右的代码。脚本的编写思路是这样的： 1、通过 date 命令获...

1 条评论您还未登录，请先登录后发表或查看评论

Linux shell 解析日志文件

zhangminglong_的博客

03-02

252

Linux 解析日志文件的shell脚本，记录一下，用来记忆里面各种提取字符串关键字以及加减乘除的使用方法

linux命令日志抓取,Linux SHELL 抓取错误日志脚本

weixin_29157361的博客

05-01

1777

背景任何程序运行起来免不了产生很多日志，其中错误日志需要最为关心的。在某些时候会将错误日志和正常日志分开，但我们的系统却没有这么做。更麻烦的是，每个小时存储一个日志文件，所以每次为了查找当天是否有错误信息需要打开N个文件，而且不能用grep因为需要把整个堆栈抓取下来。SHELL本人对shell完全是初学，磕磕碰碰写了个脚本。主要逻辑是判断ERROR的日志级别的那一行开始记录，直到碰到下一个INFO...

bash shell sed 获取第一行_shell脚本练习--利用case语句编写脚本

weixin_29179311的博客

01-27

839

概述shell是一个命令解释器，是一个程序/bin/bash,解释linux的命令,而shell脚本是一系列的命令组成的文件，想要熟练掌握shell脚本，唯有不断练习，接触各种各样的需求并用shell来实现才可以。需求利用case语句编写脚本，满足下列要求1.执行create时根据userfile和passfile建立用户2.执行delete时根据userfile删除用户1、脚本内容：# vim ...

使用shell做日志信息提取

sogobaidu的博客

03-18

1341

前两天使用python写的，当时说要使用shell写下，研究了awk不行，改了个思路使用grep也可以完全。语法很简单，就是grep两次，一次存在，一次不存在，然后将行数据重定向到文件中。实现的内容：数据库迁移时，日志中的报错信息，有一部分是可以接受的正常的报错，有一些报错是不可以接受的，需要提取出来。 #!/bin/bash :<<EOF comment:db2 transfer log analyse. author:liuqp1 EOF #逐行读取日志，并检查是否有error

shell log切割

xiaowoniuwzx的博客

04-10

253

apache log切割脚本 #!/bin/bash logfile="/var/log/httpd/access_log" pid=/run/httpd/httpd.pid cp KaTeX parse error: Expected group after '_' at position 30: …og/httpd/access_̲(date -d “yesterday” +"%Y-%m-%d...

liunx下tomcat不能在shell实时输出日志

yjjddd85的博客

03-25

420

在Linux下成功启动Tomcat之后，你会发现shell中没有任何输出。所有的输出都以日志文件的形式被保存在Tomcat的安装路径的logs目录下。在shell中，执行以下命令，就可以实时看到Tomcat的控制台输出了： tail -f catalina.out 关于tail命令的解释： tail 的作用是查看文件 tail -n filename 查看文件中末尾的n行不加参数...

Linux中的split命令，文件切割

蓝精灵的专栏

09-19

806

Linux中的文件，特别是日志文件，特别大了不好打开，可以用split命令来切割成小文件 split命令有两种方式： 1，指定行数来切割 split -l 300 log.txt newfile 每个文件300行 2，指定文件大小来切割 split -b 500m log.txt newfile 每个文件大小500m，生成的新文件的文件名是newfile后面加上按照aa，ab，ac……来排序的比如log.txt文件有1.4G，那么会切割出3个文件，文件名分别是newfileaa，n

log 日志处理（linux shell 脚本方式 or Python）

duapple的博客

01-12

2933

log 日志处理我需要从log日志中取出部分数据，数据为Device ID内容，该数据所在的行有Device ID字符串行标记。 #获取所有含 “Device ID”字符串的行 cat log*.txt | grep "Device ID: " > tmp1.txt 这样就拿到了所有目标数据的行。但是有的行不含目标数据，但是含有Device ID标记。因此需要删除这些行。 #删除含 “Device ID”字符串但是没有正确数据的行 sed -i '/Cannot get device ID.

查看某个很大log中根据时间截取的一小段部分log

DongLxu的博客

07-01

760

例如：一个200M的log文件打开是不太可能下载下来再打开（70%情况下，根本打不开）；此种情况下，可以使用Linux 命令将这个大log中的部分给存储为新的文件，我们查看该文件即可： info.log 太大，例如我想看该log中时间段位于 2020-07-01 09:00 到 2020-07-01 10:00的log，即可使用命令将该时间段导出到文件info_10.log，命令如下： sed -n ‘/2020-07-01 09:00:/,/2020-07-01 10:00:/p’ info.log

定时自动清理日志文件shell脚本配置

u013068184的博客

12-25

5262

每隔一段时间服务器磁盘空间总会被应用输出日志打满，故而需要配置自动清理日志文件脚本，配合crond定时任务实现自动化执行。执行创建文件命令touch shell.sh，并编辑输入以下脚本： #!/bin/bash # 日志文件存放路径 logPath=/data/logs # 截取根目录磁盘的占用率 disk=$(df -h|grep "/$"|awk '{print int($5)}') if [ $disk -gt 85 ]; then for i in `/usr/bin/ls -thr $

Linux shell获取文件第一行或最后一行

热门推荐

数据源的港湾

07-12

2万+

Linux shell获取文件的最后一行，方法有： Linux shell获取文件的最后一行，方法有：其中tail -n 1用于当文件较大时使用。

肝！Shell 脚本编程最佳实践

小詹学python的博客

10-02

357

作者：Myths链接：https://blog.mythsman.com/2017/07/23/1/前言由于工作需要，最近重新开始拾掇shell脚本。虽然绝大部分命令自己平时也经常使用，...

shell脚本读取文件内容方法总结

qq_28977553的博客

03-01

1万+

shell脚本读取文件内容方法总结

利用shell截取指定时间戳日志到另一个文件

weixin_34395205的博客

07-12

2134

1，利用shell截取一段时间内的log日志可以使用sed命令对log文件进行抽取操作:命令如下：#sed -n '/1531324800/,$p' /data/log/mosquitto/mosquitto.log >> log.log"1531324800"：这个是起始时间戳，可以通过在线工具来转换时间, 地址：https://tool.lu/timestamp/"$p":可以...

用shell命令分割大日志文件

阿非编程之道

01-23

508

有的日志文件没有限制大小，结果打不开，其实在Linux中很简单就能解决： $ wc -l log.txt //计算一个文件的总行数； 208363 log.txt$ split -l 30000 log.txt newlog 按照行数来分割文件。本例是3万行生成一个文件。 ...

linux 脚本获取以某字符结尾的文件名

小菜鸟望大神多多指教

01-10

4561

以系统当前时间为文件名获取当前文件夹下以“csv”结尾的文件名如果相同，则继续如不同，则将文件夹下的文件mv为系统命名的文件名 #!/bin/bash //获取系统前一小时的时间 currentime=`date -d -1hour +%Y%m%d_%H` echo $currentime filename=${currentime}".csv" echo $filename //...

定时采集日志信息到hdfs

qq_38250124的博客

03-23

784

1 #! /bin/bash #set java env #直接export 是为了防止ssh远程登录无法找到也可 #source /etc/profile export JAVA_HOME=/opt/jdk-9.0.4 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME

.sh批处理保存terminal中输出的log信息

qq_35250841的博客

04-24

1212

在ternimal下运行批处理程序（.sh）时想把屏幕中打印的信息保存下来方便与后期调试修改。只需要在你的批处理后面加 >test.log 2>&1 &，如下 ./name.sh >test.log 2>&1 屏幕打印的信息就被保存在了test.log中。此时屏幕还在显示运行中输出并且把输出的内容保存在test.log中。如果不想让屏幕显示程序运...