XW-5的博客

Hive中提供了越来越多的分析函数，用于完成负责的统计分析。今天先看几个基础的，SUM、AVG、MIN、MAX。用于实现分组内所有和连续累积的统计。数据准备： CREATE EXTERNAL TABLE lxw1234 ( cookieid string, createtime string, --day pv INT ) ROW FORMAT ...

本文中介绍前几个序列函数，NTILE,ROW_NUMBER,RANK,DENSE_RANK注意： 序列函数不支持WINDOW子句。数据准备：    CREATE EXTERNAL TABLE lxw1234 (    cookieid string,    createtime string, --day    pv INT    ) ROW FORMAT DELIMITED...

LAG,LEAD,FIRST_VALUE,LAST_VALUE 注意： 这几个函数不支持WINDOW子句数据准备：CREATE EXTERNAL TABLE lxw1234 (cookieid string,createtime string,  --页面访问时间url STRING       --被访问页面) ROW FORMAT DELIMITED FIELDS TE...

GROUPING SETS,GROUPING__ID,CUBE,ROLLUP这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。数据准备：CREATE EXTERNAL TABLE lxw1234 (month STRING,day STRING, cookieid STRING ) ROW FORMAT DELI...

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过...