本文介绍了大数据的基础概念，强调了其特点，如数据量大、种类多样、价值密度低、增长速度快等，并探讨了大数据在物流、电商、旅游等多个领域的应用。接着，文章详细阐述了Hadoop的起源、发展、版本和模块，包括HDFS、YARN、MapReduce，以及Hadoop在大数据生态系统中的重要地位。此外，还提到了Hadoop的安装模式和Web访问端口，帮助初学者理解Hadoop的基本操作。
文章作者邮箱：[email protected] 地址：广东惠州
▲ 本章节目的
⚪ 了解大数据的概念；
⚪ 了解大数据的部门结构；
⚪ 了解hadoop的定义；
⚪ 了解hadoop的发展史；
一、大数据简介
1. 概述
1. 美国调研机构Gartner给出了定义：大数据是一种新的处理模式，针对海量数据能够提供更强的决策力、洞察发现力和流程优化能力。
2. 维基百科给出了定义：大数据是指无法在可承受的时间范围内用常规的软件或者法来对大量的数据进行捕捉、管理和处理。
3. 无论哪个机构对大数据进行定义，实际上都是围绕对海量数据进行快速有效的处理方案。
2. 特点
1. Volumn：数据体量大。很多中小型企业的入门数据量是从TB级别开始，很多大型的企业的入门数据量是从PB级别开始。很多大型的企业，累计数据量已经达到了EB甚至ZB级别。
2. Variety：数据种类样式和来源多：
a. 种类：文本(日志)、图片、音频、视频、flash等。
b. 样式：结构化数据(数据本身有结构并且数据解析之后能够用一张或者几张固定的表来进行存储)；半结构化数据(数据本身有结构但是解析之后无法用一张或者几张固定的表来进行存储，例如json，xml等)；非结构化数据(数据本身没有结构并且解析之后无法用几张固定的表来进行存储)。
c. 来源：日志、爬虫、网页埋点、手动录入、数据库等。
3. V
最低0.47元/天 解锁文章
扫一扫
1054
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
