DJxy､-CSDN博客

原创【hive】在Hadoop下的一种关系型数据库

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。 1、什么是hive 最初，Hive是由Facebook开发，后来由Apa

2021-07-30 22:11:57 978 1

翻译大数据生态

1、什么是大数据？大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。由IBM提出的大数据的五个特征（5V）：Volume(大量)、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。 2、什么是大数据生态？大数据生态（BigData Ecology）。网络化数据社...

2021-07-22 23:52:13 1600

转载数据仓库（转载）

一数据仓库的概念 1什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2数据仓库能干什么？ 1）年度销售目标的指定，需要根据以往的历史报表进行决策，不能拍脑袋。 2）如何优化业务流程例如：一个电商网站订单的完成包括：浏览、下单、支付、物流，其中物流环节可能和中通、申...

2021-07-22 22:54:17 261

原创 MySQL 处理数据

1、前言 MySQL目前在国内的使用率是比较高的，学习好DDL语言是许多公司需要的能力。我们来学习一下MySQL在查找上的运用。 2、自动售货机数据处理 DDL语句创建数据库 CREATE DATABASE IF NOT EXISTS test; 导入数据 ...

2021-07-21 13:15:57 913 2

原创爬取哔哩哔哩数据

1、前言哔哩哔哩是当代年轻人最喜欢的app之一，最近呢又看到了哔哩哔哩上了热收哈哈哈哈。 2代码首先我们肯定是要获取他的链接找到弹幕存储的位置示例链接： https://www.bilibili.com/video/BV1TX4y1P7BK 我们查看网页的源代码：查阅资料可以知道在弹幕是存储在https://comment.bilibili.com/331677295.xml这个文件里面我们查看一下可以看到这个视频的弹幕都在这了只需要把他提取出来就欧克了那我们...

2021-07-20 22:40:36 2570 1