【课程大纲】
01.Storm项目实战课程大纲
02.CDH5搭建之CM5安装部署
03.CDH5搭建和CM界面化集群管理
04.Hadoop、HBase、Zookeeper集群管理和角色分配
05.Kafka基础知识和集群搭建
06.Kafka基本操作和最优设置
07.Kafka Java API 简单开发测试
08.storm-kafka 详解和实战案例
09.S图表框架HighCharts介绍
10.HBase快速入门
11.基于HBase的Dao基类和实现类开发一
12.基于HBase的Dao基类和实现类开发二
13.项目1-地区销售额-需求分析和架构设计
14.项目1-地区销售额-Spout融合Kafka Consumer及线程安全测试
15.项目1-地区销售额-Bolt业务逻辑处理一
16.项目1-地区销售额-优化Bolt支持重启及结果数据核查
17.项目1-地区销售额-HighCharts图表开发一及Web端架构设计
18.项目1-地区销售额-HTTP长链接实现实时推送
19.项目1-地区销售额-HighCharts图表开发二及jquery运用
20.项目1-地区销售额-Web端完善和细节优化
21.项目1-地区销售额-项目发布及总结
22.项目1-地区销售额-项目需求分析和分区Trident Spout开发
23.项目1-地区销售额-Trident代码开发一
24.项目1-地区销售额-Trident代码开发二
25.项目1-地区销售额-基于HBase存储的State运用
26.项目2-省份销售排行-双纵轴HighCharts图表开发一
27.项目2-省份销售排行-双纵轴HighCharts图表开发二
28.项目2-省份销售排行-双纵轴HighCharts图表开发三
29.项目2-省份销售排行-前台和图表交互开发和Top N实现
30.项目2-省份销售排行-Top N展示优化和项目开发思路总结
31.项目2-效果展示及项目3需求分析梳理
32.项目3-非跳出UV-Storm topology开发一
33.项目3-非跳出UV-Storm topology开发二
34.项目3-非跳出UV-Web端Servlet开发
35.项目3-非跳出UV-Web端Highcharts图表开发
36.项目3-非跳出UV-项目效果调试
37.项目3-非跳出UV-项目整体运行
38.项目3-非跳出UV-升级图表增加柱图一
39.项目3-非跳出UV-升级图表增加柱图二
40.JStorm介绍
41.会员问题收集和解答
【项目2-省份销售排行】是基于Storm的实时数据分析系统的第二个关键部分，主要涉及双纵轴HighCharts图表的开发。HighCharts是一个强大的JavaScript图表库，它允许开发者创建各种类型的图表，如柱状图、折线图、饼图等，以直观地展示数据。在本项目中，双纵轴图表用于同时展示不同维度的销售数据，例如，一个纵轴可能表示销售额，另一个纵轴可能表示销售数量，使得数据分析更为立体和全面。
在这一阶段的开发中，我们可能会遇到以下几个核心知识点：
1. **Storm Topology设计**：Storm拓扑结构是实时数据处理的核心，定义了数据流的处理路径。在这个项目中，可能需要设计一个能够从Kafka消费实时销售数据，经过处理后生成省份销售排行的拓扑结构。
2. **Kafka与Storm集成**：Storm-kafka是Storm用于连接和消费Kafka数据的组件。理解如何配置和使用storm-kafka，确保数据能够正确地从Kafka流到Storm的Spout，是项目实施的关键步骤。
3. **双纵轴图表开发**：HighCharts的双纵轴功能需要正确配置和定制，以适应项目需求。这包括设置两个轴的数据源、单位、刻度、标签以及颜色等，以实现数据的可视化。
4. **JavaScript和jQuery**：在Web端，HighCharts图表的动态更新和交互功能通常通过JavaScript和jQuery实现。需要熟悉这两门语言，以便处理用户的交互请求，如刷新图表、选择时间范围、切换显示指标等。
5. **实时推送技术**：项目1中提到了HTTP长链接实现实时推送，此处可能也会用到类似的技术，以实现在数据更新时自动刷新图表，提供即时的用户体验。
6. **数据聚合和Top N算法**：为了展示省份销售排行，可能需要实现高效的Top N算法，能够在数据流中快速找出销售排名前N的省份。
7. **Web端架构设计**：包括Servlet的开发和前端页面的优化，确保用户界面友好且性能高效，能够及时响应后台数据的变化。
8. **状态管理（State）**：如果项目中使用了Trident，那么State管理就很重要。Trident允许在处理数据流时持久化中间状态，这在处理累计数据或实时排行时非常有用。
9. **HBase存储**：在项目1中，提到了HBase的使用，可能在这个项目中也用来存储销售数据的中间状态或者结果，以便后续查询和分析。
10. **故障恢复与容错机制**：Storm的容错特性使得在处理大数据流时能够保证数据不丢失。理解并应用这些机制，如acker机制和bolts的restart策略，对于确保系统的高可用性至关重要。
11. **性能优化**：在开发过程中，还需要关注性能优化，包括减少延迟、提高吞吐量，以及合理设置Kafka和Storm的配置参数，确保系统的高效运行。
这个项目涵盖了分布式实时数据处理、数据可视化、前端开发和性能优化等多个方面的技术，是对Storm在电商实时数据分析领域应用的深入实践。通过这个项目，开发者不仅能掌握Storm的基础操作，还能提升在复杂业务场景下的解决方案设计能力。
