hive 慢sql 查询

hive 慢sql 查询

1. 查找 hive 执行日志存储路径（一般是 hive-audit.log ）

   比如：/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log

2. 解析日志 获取 执行时间 执行 OperationId 执行人 UserName=root 执行sql 数据分隔符为 \001 并写入 hivesql.txt

   tail  -1000f  /var/log/Bigdata/audit/hive/hiveserver/hive-audit.log |grep  OperationId= |awk -F"|"  '{print $1,$4}'  |awk -F "\t" -v OFS="\001" '{print $1,$2,$6}' >> /home/yx_test/hiveSql/hivesql.txt
   

   解析结果如下
   2024-04-03 08:37:57,851   OperationId=e0c496d6-6979-4e44-a9a3-1ec3ac2a6767UserName=rootstmt={sql语句}
   

3. 上传相关解析日志到hive

   hadoop  fs -put /home/yx_test/hiveSql/hivesql*.txt  hive/warehouse/yx_test/ods_format_datas1/tb=hivesql/
   1.刷新hive元数据
   MSCK REPAIR TABLE yx_test.ods_format_datas1
   2.然后再次解析日志 
    获取： 执行id  执行结束时间  执行开始时间 执行时长 执行人 写入表 执行sql语句
    SELECT k2.id,max_ds,min_ds,df_ds,username,insert_tb,sql from  (
   SELECT id,max_ds,min_ds,df_ds  from  (
   SELECT 
    id -- 执行id
    ,