2024年云南省职业院校技能大赛赛程规章（大数据赛项）

        大家期待已久的职业院校技能大赛在各个省份已经陆续出新文件了，近日云南省的赛程规章也是出来了，我相信不仅是对云南，对其他省份也很有参考价值，小编为大家精简整理了一下文件的内容。

        一、竞赛目标

        为适应大数据产业对高素质技术技能型人才的职业需求，赛项以大数据应用开发为核心内容和工作基础，重点考查参赛选手基于Hadoop、Spark、Flink平台环境下，充分利用Spark Core、Spark SQL、Flume、Kafka、Flink、Hive、HBase、Redis、Maxwell、ClickHouse、MySQL等相关技术的特点，基于Scala、Java、JavaScript等开发语言，综合软件开发相关技术，解决实际问题的能力，激发学生对大数据相关知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据产业的发展储备及输送新鲜血液。

通过举办本赛项，可以搭建校企合作的平台，提升大数据专业及其他相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。

        二、竞赛内容

        赛项以大数据应用开发为核心内容和工作基础，重点考查参赛选手基于Hadoop、Spark、Flink平台环境下，充分利用Spark Core、Spark SQL、Flume、Kafka、Flink、Hive、HBase、Redis、Maxwell、ClickHouse、MySQL等技术的特点，综合软件开发相关技术，解决实际问题的能力，具体包括：

        1.掌握Hadoop平台、基于Spark的离线分析平台、基于Flink的实时分析平台，在容器环境下，按照项目需求安装相关技术组件并按照需求进行合理配置；

        2.掌握基于Spark的离线数据采集方式方法，完成指定数据的抽取并写入Hive分区表中。掌握基于Flume、Maxwell的实时数据采集，将数据写入Kafka中；

        3.综合利用Flink、Kafka、Hive、Redis、HBase、ClickHouse等技术，使用Java开发语言，完成某电商系统的实时数据处理，包括使用Flink处理Kafka中的数据、实时数据仓库、将数据备份至HBase中、建立Hive外表、将数据处理结果存入Redis、ClickHouse中等操作；

        4.综合利用Spark、Hive、MySQL、HBase、ClickHouse等相关技术，使用Scala开发语言，完成某电商系统的离线数据处理，包括Hive数据仓库、使用Spark处理离线数据、数据合并、去重、排序、数据类型转换、将数据处理结果存入MySQL、HBase、ClickHouse中等操作；

        5.综合运用HTML、CSS、JavaScript等开发语言，Vue.js前端技术，结合ECharts数据可视化组件，利用后端数据接口完成数据可视化；

        6.根据竞赛过程，完成综合分析报告的编写；

        7.竞赛时间6小时，竞赛连续进行。

        三、竞赛方式

1、比赛以师生联赛方式进行，不得跨校组队，同一学校的报名参赛队伍不超过2支。

2、每个参赛队由1名领队、4名选手（1名教师、3名学生）组成，参赛选手和教师报名获得确认后不得随意更换。

3、竞赛时间6小时。