RealTimeLogAnalyze:一个大数据实时流处理日志分析系统 Demo

1. 主要内容 这是一个大数据实时流处理分析系统 Demo，实现对用户日志的实时分析，采用 Flume + kafka + SparkStreaming + Hbase + SSM + Echarts 的架构。 主要内容包括： 编写 python 脚本，模拟源源不断产生网站的用户行为日志。 使用 Flume 收集产生的日志，并发送到 Kafka。 使用 Spark Streaming 消费 Kafka 的用户日志。 Spark Streaming 将数据清洗过滤非法数据，然后分析日志中课程点击量和搜索引擎访问量。 将 Spark Streaming 处理的结果写入 HBase 中。 前端使用 Spring MVC、 Spring、 MyBatis 整合作为数据展示平台。 使用 Ajax 异步传输数据到 jsp 页面，并使用 Echarts 框架展示数据。 项目使用 IDEA 作为开发工具。