wlk_328909605的博客

数据采集阶段通过自定义source，将产生的日志从服务器上缓存到kafka中，并记录自定义的Offset。部分数据：{"bussinessRst":"0000","channelCode":"0705","chargefee":"10000","clientIp":"222.214.151.245","gateway_id"

业务概况通过实时的分析用户的流量数据，获取用户动态的充值的订单量、充值全过程的平均时长、以及某段时间充值的成功率等。首先解析数据格式，从标签体系库中截取出需要的字段值，使用SparkStreaming的对抽取出来的属性加以处理。1）统计每个市的充值失败的次数，并以地图的方式显示数据的分布情况。2）以市为维度，统计订单量排名前5的市，并统计每个市的订单的成功率。3）实时统计全省的每分钟的充值...