hive核心基本概念

最新推荐文章于 2025-06-01 20:57:16 发布
原创 最新推荐文章于 2025-06-01 20:57:16 发布 · 1.4w 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive构架 #hive分桶详解 #hive面试

1.什么是hive


基于 Hadoop 的一个数据仓库工具：
hive本身不提供数据存储功能，使用HDFS做数据存储，
hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序
hive也不提供资源调度系统，也是默认由Hadoop当中YARN集群来调度
可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能

2.hive和Hadoop关系

Hive利用HDFS存储数据，利用MapReduce查询数据


3.hive和传统数据库的区别

总结：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析

4.hive数据的存储

1、Hive中所

最低0.47元/天 解锁文章

200万优质内容无限畅学
【大数据Hive系列】Hive简介及核心概念
weixin_54707168的博客
04-07 396
【大数据Hive系列】Hive简介及核心概念
Hive 系列（一）—— Hive 简介及核心概念
黑白影的博客
06-07 795
一、简介 Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。 特点： 简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析； 灵活性高，可以自定义用户函数(UDF)和存储格式； 为超大的数据集设...
Hive中相关核心概念与定义
大黑牛的博客
08-10 561
  1.什么是Hive?              Apache Hive 数据仓库软件便于读,写,和管理大型数据集驻留在分布式存储(Hadoop)使用SQL。             结构可以投影到存储中的数据上。             客户端的连接方式可采用：command line 和 JDBC Driver                   注意：Hive实质就是客户端，不存在主从...
Hive 入门学习
最新发布
weixin_44361163的博客
06-01 1047
Apache Hive是一款分布式SQL计算的工具，其主要功能是：将SQL语句翻译成MapReduce程序运行，处理位于HDFS上的结构化数据。基于MapReduce构建分布式SOL执行引擎，主要需要两个功能组件：元数据管理和SQL解析器。元数据管理：记录数据存储位置，数据结构以及数据描述等。SQL解析器：其功能包括SQL分析，SQL到MapReduce程序的转换，提交MapReduce程序运行并收集执行结果。
Hive-核心概念和架构原理（第一天）
扛着锄头的码农
04-06 347
Hive-核心概念和架构原理（第一天） 一、核心概念 hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据映射成一张表，并提供SQL查询的功能。 HIVE与RMDBS数据库系统的区别 对比项 HIVE RMDBS 查询语言 HQL SQL 数据存储 HDFS 本地磁盘 执行器 MapReduce executor 数据插入 批处理/单条处理 单条处理/批处理...
Hive简介及核心概念（未完）
qq_24095055的博客
08-31 384
文章目录一、简介二、Hive的体系架构2.1 command-line shell & thrift/jdbc2.2 Metastore2.3 HQL的执行流程三、数据类型3.1 基本数据类型 一、简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 特点： 简单、容易上手 (提供了类似 sql 的查询语言 hql)，使得精通 sql
Hive 核心原理（hive-3.1.2）
热门推荐
小王是个弟弟
08-29 1万+
全面分析与传统数据库在设计理念、基本使用等方面的相同点和不同点。hive有这一篇差不多就够了
Hive 基本概念（特点，架构，数据存储，OLTP，OLAP）
weixin_44387652的博客
03-05 2356
Hive 基本概念（特点，架构，数据存储，OLTP，OLAP）1、Hive 简介1.1、什么是 Hive1.2、为什么使用 Hive1.3、Hive 特点1.4、数据处理的两大级别（OLAP、OLTP）2、Hive 和 RDBMS 的对比3、Hive 架构3.1、用户接口3.2、Thrift Server3.3、元数据存储3.4、Driver：编译器（Compiler），优化器（Optimizer），执行器（Executor）3.5、执行流程4、Hive 的数据存储4.1、内部表、外部表、分区表和 Buck
hive int bigint 强类型_11、Hive核心概念与架构
weixin_39837207的博客
11-20 1622
1、 Hive核心概念和架构原理1.1、 Hive概念Hive由FaceBook开发，用于解决海量结构化日志的数据统计。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。1.2、Hive与数据库的区别读时模式：Hive在加载数据到表中的时候不会校验.写时模式：Mysql数据库插入数据到表的时...
【1】Hive基本概念
weixin_43589563的博客
10-30 774
1.Hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能 关键字：结构化日志，数仓工具，提供SQL查询功能 2.Hive本质 hive的本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执行程序运行在Yarn上 3.Hive的优缺点和场景 3.1 优点 （1）操作接口采用类SQ
Hive 核心知识点
weixin_42073629的博客
04-11 269
1请谈一下 Hive 的特点 hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为MapReduce 任务进行运行。 其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析，但是 Hive 不支持实时查询。 2Hive 底层与数据库交互原理？ ...
hive之核心知识点（一）
Ghjkluuu的博客
03-01 701
1，hive关键点： hive是通过mysql语句进行处理数据，首先我们在客户端写sql语句，把写的sql语句的元数据信息加载到mysql中，mysql和hdfs映射的表结构进行交互，最后通过mapreducer进行处理，显示处理过后的信息，底层数据没有变化，只是把处理的数据显示出来，同样可以把处理过后的数据，保存起来，保存到hdfs底层硬件中，这样以来可以看出hive处理大数据的强大之处。 ...
Hive原理及查询优化
qq_30062385的博客
03-19 544
Hive是构建在Hadoop上的数据仓库软件框架，支持使用SQL来读，写和管理大规模数据集合。Hive入门非常简单，功能非常强大，所以非常流行。通常来说，Hive只支持数据查询和加载，但后面的版本也支持了插入，更新和删除以及流式api。Ｈive具有目前Hadoop上最丰富最全的SQL语法，也拥有最慢最稳定的执行。是目前Hadoop上几乎标准的ETL和数据仓库工具。Hive这个特点与其它AdHoc查...
【Hive】Hive内核思考--HiveServer2与MetaStore交互
victorzzzz的专栏
02-02 808
https://imcoder.site/a/detail/HuQSdax;jsessionid=52D29613D30DB508B778A3EC483CD3F7图 访问逻辑： metastore服务可以理解为就是thrifht服务，hiveserver2启动的时候实际上是开启ThriftCliService服务 客户端去连hive服务的时候是通过jdbc连接hive然后连接metasto...
Hive核心概念剖析及示例
tterminator的专栏
06-24 1020
一、Hive文件存储格式和记录格式 Hive中的文件格式和记录格式 Hive存储数据时底层使用的是Hadoop的HDFS文件系统，Hive数据存在的形式为HDFS文件。 我们可以使用Hive load命令和insert ··· directory···select···fromSQL分别把文件中的数据导入到Hive数据表中和把hive表中感兴趣的字段数据转储到指定的数据文件，那么在这些过
Hive的架构和原理
CoderLin很忙的博客
02-27 2436
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL（HQL）查询功能。Hive是将HQL转化为MapReduce程序，Hive处理的数据存储在HDFS上，执行程序运行在Yarn上。由于执行的是MapReduce程序，延迟比较高，因此Hive常用于离线的数据分析。 Hive架构图 Client：用户接口 CLI（command-line interf...
【Hive】
想当运维的程序猿
12-13 2995
建立在Hadoop之上结构化、半结构化数据文件映射成一张数据库表HQL转换成MapReduce。
Hive：大数据分析的核心工具
u011403205的博客
02-14 907
Hive 是一个基于 Hadoop 的数据仓库工具，旨在为大数据分析提供高效、易用的 SQL 查询接口。SQL 兼容：支持 HiveQL，与 SQL 语法高度兼容。分布式计算：基于 Hadoop 生态系统，支持大规模数据处理。数据存储：支持多种数据存储格式（如 ORC、Parquet）。扩展性：通过 UDF（用户自定义函数）和 UDAF（用户自定义聚合函数）扩展功能。Hive 是大数据分析领域的核心工具，通过其 SQL 兼容性、分布式计算能力和高效的数据存储格式，为大数据分析提供了强大的支持。
Hive简介
weixin_45354496的博客
06-20 2110
什么是 Hive Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据 映射 为一张数据库表，并提供HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利 用 HQL 处理和计算 HDFS 上的结构化的数据，适用于离线的批量数据计算。 数据仓库之父比尔·恩门（Bill Inmon）在 1991 年出版的“Building t
Hadoop大数据：Hive入门与核心概念解析
Hive的核心特性在于它将HQL（Hive Query Language）转化为MapReduce任务，实现了对HDFS中的大量数据进行处理的能力。它允许用户定义自定义函数（UDF），支持多种数据存储格式，特别适用于离线数据处理场景。在Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值