db_wyt_2080-CSDN博客

原创使用Scala编写了一个使用Spark框架实现词频统计的应用程序

在大数据时代，处理海量文本数据是一项常见的任务。而词频统计作为文本处理中的基础功能，对于分析文本内容和提取关键信息具有重要意义。本篇博客将介绍如何使用Scala编写一个简单的Spark应用程序，实现对文本数据的词频统计。通过并行化处理数据并利用Spark框架的强大功能，我们能够高效地进行大规模文本数据的处理和分析。.collect()这段代码利用了Spark框架的强大功能，通过并行化处理数据并使用一系列转换和操作，实现了对文本数据的词频统计。

2023-11-21 08:07:54 691

原创【Java程序设计】Springboot +JPA+thymeleaf+MySQL数据驱动的管理系统（超市商品管理系统）

通过这一学期的学习，让我见识到了Java程序还能实现如此多样的功能，每一次上课的课程内容都能让我眼前一亮。因为上一学期的Java基础没有认真学，基础不牢固，导致这学期的Java高级程序设计课程学的苦涩难懂，但后面通过老师的指导以及同学的帮助，让我逐渐掌握了一些基础，终于让我理解老师上课所讲的内容。虽然还不能理解透彻，但我以后会利用空余时间努力学好这门课程以及这门编程语言。

2023-07-04 23:33:14 417

原创使用Python模拟生成新能源车辆数据，并将得到的数据写入HDFS

使用python编写出一个程序，于每天凌晨3点模拟生成当天的新能源车辆数据，数据中包含有各个字段，分别是车架号、行驶总里程、车速、车辆状态、充电状态、剩余电量SOC、SOC低报警、数据生成时间等。将得到的数据保存到 json文件中，然后在HDFS中部署好需要用到的集群，最终将json文件中的数据写入到HDFS。通过以上的步骤，我们就成功的模拟生成出了新能源车辆数据，并将数据打包到了json文件中，最后我们将打包好的数据写入到事先准备的HDFS中，便完成了此次任务。

2023-06-29 15:46:01 336

原创 [数据可视化] 通过使用雷达图与时间轴对象Timeline组合展示数据

通过运用python中的pyecharts库，可以将我们所获得的数据以图形化的方式展现在我们面前，让我们更方便以及更快速的分析我们获得的数据。本文章所使用的雷达图在显示各维度数据的对比情况的同时，还可以对全部维度的整体情况有一个直观的展示。加以时间轴对象的结合，可以使不同日期下的数据展示在同一个图形上。

2023-06-20 22:49:10 614 1