易楚深-CSDN博客

原创 Spark介绍以及集群搭建

Spark 是一个开源的，由加州大学伯克利分校 AMPLab 于 2009 年开发，2014 年成为 Apache 顶级项目。它以和著称，广泛应用于数据处理、分析、机器学习和流计算等场景。

2025-06-26 15:08:24 882

原创网络爬虫介绍及简易运用

网络爬虫介绍以及网络爬虫简易运用

2025-06-20 10:55:02 1573

数据可视化是数据处理和分析过程中不可或缺的重要环节。它能够将复杂的数据转化为直观易懂的视觉形式，帮助我们快速理解数据、发现规律、有效沟通并支持决策。通过选择合适的可视化类型、运用优秀的可视化工具、遵循最佳实践原则，我们可以创建出高质量的数据可视化作品，让数据在各个领域发挥更大的价值。无论是数据分析师、商业决策者还是普通的数据爱好者，掌握数据可视化的技能都将为我们的工作和学习带来极大的便利和助力。在未来的数据驱动时代，数据可视化的应用前景将更加广阔，让我们一起探索数据可视化的无限可能，用数据讲述精彩的故事。

2024-12-19 10:10:46 1823

原创探索 Hadoop：大数据处理的强大利器

Hadoop 由 Apache 软件基金会开发，它基于 Google 的 MapReduce 和 Google File System（GFS）等技术思想构建。其核心设计理念是将大规模数据集分割成多个小数据块，分布存储在由廉价商用硬件组成的集群节点上，并通过分布式计算框架对这些数据进行并行处理。Hadoop 分布式文件系统（HDFS）：这是 Hadoop 的存储基础，它能够在普通硬件上构建高容错性的分布式文件系统。

2024-12-19 09:45:30 1114

原创 python数据分析可视化

数据分析可视化是指将数据分析的结果以直观、形象的图形、图表等形式展示出来的过程。

2024-10-30 10:20:34 916 1

原创 Python数据分析

使用中括号取单个索引（此时返回的是元素类型），或者中括号里一个列表取多个索引（此时返回的是一个Series类型）。Pandas Series 类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy(Numerical Python) 是 Python。一维与列表完全一致，多维同理。ndarray为多维数组。

2024-06-26 09:19:06 408

原创 neo4j教程-Cypher操作

执行上述命令后，Web UI界面的控制台返回“Added 2 labels, created 2 nodes, set 2 properties, created 1 relationship, completed after 3 ms.”信息，说明我们新增两个标签、创建两个节点、设置两个属性、创建一个关系（注意：标签Person是节点的标签；标签Likes是关系的标签）。上述语法中，DELETE是用于永久删除节点或关系的命令，该命令需要与MATCH命令结合使用，删除满足某个条件的节点；

2024-06-18 10:45:46 2446

原创爬取链家二手房房价数据存入mongodb并进行分析

实验目的1.使用python将爬虫数据存入mongodb；2.使用python读取mongodb数据并进行可视化分析。实验原理MongoDB是文档数据库，采用BSON的结构来存储数据。在文档中可嵌套其他文档类型，使得MongoDB具有很强的数据描述能力。本节案例使用的数据为链家的租房信息，源数据来自于链家网站，所以首先要获取网页数据并解析出本案例所需要的房源信息，然后将解析后的数据存储到MongoDB中，最后基于这些数据进行城市租房信息的查询和聚合分析等。实验环境Python3。

2024-06-16 11:05:00 1371

原创 MongoDB分片部署（windows）

分片架构从图中可以看出，分片集群中主要由三个部分组成，即分片服务器（ Shard ）、路由服务器（ Mongos ）以及配置服务器（ Config Server ）组成。其中，分片服务器有三个，即 Shard1 、路由服务器有两个，即 Mongos1 和 Mongos2；配置服务器有三个，即主、副、副。主要有如下所述三个主要组件：Shard: 用于存储实际的数据块，实际生产环境中一个shard server 角色可由几台机器组个一个 replica set 承担，防止主机单点故障。

2024-04-24 09:26:04 1864 1