极光笔记 | 极光clickhouse千亿级数据分析实践之路

引言

极光开发者服务为移动app开发者提供各种丰富可靠高效的开发者产品服务，面对不同产品服务的业务数据分析统计诉求，如何在千亿级的海量数据中实现多维分析和ad-hoc即席查询，为开发者提供高效、精准的数据分析查询服务成为极光面临的问题。

极光大数据服务团队通过对ClickHouse的深入探索实践表明，ClickHouse比较完美解决了查询瓶颈，单表十亿级别数据量级查询，95%可以在毫秒级别（ms）完成计算返回结果。

极光开发者服务数据分析需求

极光开发者服务包括推送、统计、认证、魔链、IM、短信等产品服务，随着业务发展，每天有上百万个app使用，为14亿级月活终端用户提供各类移动应用服务，每天产生千亿级记录，而且每个产品服务依据自身业务特点，对数据分析有不同要求，涵盖基础用户统计分析、推送统计分析、认证消耗分析、页面流分析、留存分析、终端分析、事件分析、用户行为路径分析、用户画像分析等业务分析模块，涉及的数据指标多达500+，这对数据分析和BI指标统计提出了挑战。极光服务中典型的数据分析需求有如下几类：

极光推送产品的「消息实时统计」，开发者希望以小时为维度实时查看消息下发、送达和点击等数据，以判断消息下发进度。

极光推送产品的「消息转化漏斗」，开发者希望从APP应用维度和单条消息维度，分别查看推送消息的转化数据，同时希望可以支持平台、通道和消息类型等维度筛选。

极光推送产品的「消息折损分析」，开发者希望从APP应用维度和单条消息维度，分别查看消息折损的原因和类别，能够查看在不同消息发送阶段的折损数量。

极光运营增长产品的「精准人群计算与人群预测」，运营人员自定义条件规则圈选目标人群，人群需要例行计算出人群包用与运营触达服务。同时还希望使用极光AI服务预测潜在沉默人群、潜在高价值人群用于提前干预运营。

极光运营增长产品的「运营计划实时监控」，运营人员希望创建完成运营计划后，可以实时查看运营计划的用户消息触达、用户目标达成率等数据，以便于随时优化和干预运营计划，确保运营目标的达成。