Log analytics
- 1. 日志分析方法 日志在 SEO 中的作用 Cygwin 的安装 Linux 下日志分析基本命令 grep 过滤 方法 AWK 的基本用法 A&G 组 合过滤 全站日志分析 AWK 脚本 频 道细节 日志分析 日志分析 SEO 扩 展
- 2. 日志在 SEO 中的作 用 监控蜘蛛的抓取数量 监控状态码的异常 监控重复的抓取率 监控蜘蛛的载入耗时 持续监控 , 持续改善 . 提高有效抓取 , 推动收录 . 日志数据间接指导 , 提升效果 , 微调微调 .
- 3. Cygwin 安装 下载 http://cygwin.com/setup.exe 安装教程 http://wenku.baidu.com/view/45a0ea21ccbff121dd36 830e.html 检查 awk 及 grep 版本 确保安装正确 awk –V grep –V
- 4. Linux 下日志分析基本命令 常用 Linux 命令锦 集 文件操作： rm go.tar /* 删除 go.tar 文件 */ find mt.cgi /* 查找文件名为 mt.cgi 的文件 */ 详情请看以下链接 http://www.vpser.net/build/linux-vps-ssh-command.html 日志分析常用命令 • ls // 列出当前目录所有文件 • cd // 打开目录 • cd .. // 返回上级目录 • cd /e/log // 打开具体路径 • mkdir // 建立目录 • mkdir log // 建立 log 目录
- 5. grep 过滤 方法 命令详 解 grep ‘Baiduspider+’ log.log >baidu.log 输出文件名 baidu.log 匹配日志包含 要过滤的日志文件 重定向命令 > 输出 Baiduspider+ 所有的行 组 合过滤 输出文件名 spider.txt egrep "Baiduspider+|Googlebot" example.log >spider.txt 匹配日志包含 要过滤的日志文件 重定向命令 > 输出 Baiduspider+ 及 Googlebot 所有的行 并用 管道 链接 |
- 6. AWK 的基本用法 AWK 是以特定分隔符来定义 字段区位 如图： 220.181.7.61 是字段区位第一位 用 $1 表示 awk 在 linux 下一般以空格为分隔符 - 即空格分割后也为一个字段区位，如图为 $3 $4 $11 基本用法 awk '{print $1}' log.log >s1.log '{print $1}' 打印所有字段区位 1 的行 ‘{print $1,$6,$7}’ 打印 1 6 7 字段区位
- 7. AWK 的基本用法 - 区位匹配过滤 awk 脚本是由模式和操作组 成的 如 $ awk '/root/' test ，或 $ awk '$3 < 100' test 匹配操作符 (~) 用来在记录 或者域内匹配正则 表达 式 如 $ awk '$1 ~/^root/' test 将显示 test 文件第一列中以 root 开头的行。 EXP: awk ‘($13 ~ /302/)’log.log // 如果 13 位是状态码，那么就过滤 13 位所有 302 的行 同样的方法可以获得 404 500 503 的状态码行数 . 利用管道可以获 得更多的参数 awk ‘($13 ~ /302/)’log.log | awk '{print $2,$5,$6,$10,$12}' >xxx.txt 先过滤 302 所有的行 然后利用管道 | 去执行下一个命令输出跟多的参数至 xxx.txt
- 8. A&G 组 合过滤 获 得百度蜘蛛返回 404 的行 1. 先过滤 百度蜘蛛 grep ‘Baiduspider’ log.log 2. 匹配所有 404 的行 . awk ‘($13 ~ /302/)’ 3. 获 得更多的参考参数 awk '{print $2,$5,$6,$10,$12}‘ 4. 输 出文件 >Baiduspider404.log 组 合命令 - 利用管道 | 连 接 grep ‘Baiduspider’ log.log | awk ‘($13 ~ /302/)’ | awk '{print$2,$5,$6,$10,$12}‘ >Baiduspider404.log Exp 获 取百度蜘蛛 500 grep ‘Baiduspider’ log.log | awk ‘($13 ~ /500/)’ | awk '{print$2,$5,$6,$10,$12}‘ >Baiduspider404.log 获 取谷歌蜘蛛 302 grep ‘Googlebot’ log.log | awk ‘($13 ~ /302/)’ | awk '{print$2,$5,$6,$10,$12}‘ >Googlebot404.log 获 取百度和谷歌蜘蛛 500 egrep ‘Baiduspider|Googlebot’ log.log | awk ‘($13 ~ /500/)’ | awk '{print$2,$5,$6,$10,$12}‘ >BG404.log
- 9. 全站日志分析 AWK 脚本 Spider.awk 区位修改 把 spider.awk 放到日志目录下 找出 URL 及状态码位置 URL 动态的情况 修改区位 全站日志分析 awk –f spider.awk xx.log >xx.txt Cygwin 里执行命令 awk -f spider.awk ex120607.log >0607.txt 获得结果填表入库
- 10. 频 道细节 日志分析 过滤频道特诊 URL 如目录 $ grep '/news/' ex120607.log | awk -f spider.awk grep ‘/news/’ // 正则匹配 news 目录 管道 | // 给 spider.awk 分析 awk –f spider.awk // 执行拆分 grep ‘xxoo’ xxx.log |awk –f spider.awk 利用好 grep 正则匹配，也可用 awk 的正则区位匹配 来获取目录或则特征 URL 的抓取情况 获得数据结果填入 excel 对比数据 , 持续监控并改善 .
- 11. 日志分析 SEO 扩 展 某个蜘蛛的载入耗时 grep Baiduspider log.log | awk '{sum+=$NF} END {print " 平均下载耗时 =", sum/NR}' 数据与报表监控 日期 , 状态码 , 重复抓取 ,SEO 项目记录