【大数据技术基础 | 实验十一】Hive实验：新建Hive表

原创 于 2024-11-15 09:00:00 发布 · 6.2k 阅读 · 47 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hive #hadoop #数据仓库 #分布式

在这里插入图片描述

文章目录

一、实验目的

  1. 学会创建Hive的表；
  2. 显示Hive中的所有表；
  3. 显示Hive中表的列项；
  4. 修改Hive中的表并能够删除Hive中的表。

二、实验要求

  1. 要求实验结束时；
  2. 每位学生均能够完成Hive的DDL操作；
  3. 能够在Hive中新建，显示，修改和删除表等功能。

三、实验原理

Hive没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织Hive中的表，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。

Hive中所有的数据都存储在HDFS中，Hive中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。

Hive中Table和数据库中Table在概念上是类似的，每一个Table在Hive中都有一个相应的目录存储数据。例如，一个表pvs，它在HDFS中的路径为：/wh/pvs，其中，wh是在hive-site.xml中由${hive.metastore.warehouse.dir}指定的数据仓库的目录，所有的Table数据（不包括External Table）都保存在这个目录中。

四、实验环境

  • 云创大数据实验平台：
    在这里插入图片描述
  • Java 版本：jdk1.7.0_79
  • Hadoop 版本：hadoop-2.7.1
  • Hive 版本：hive-1.2.1

五、实验内容和步骤

点击一键搭建，将实验环境搭建完成。具体部署Hive详细步骤参考：【大数据技术基础 | 实验十】Hive实验：部署Hive

（一）启动Hive

我们在master虚拟机上首先进入hive的bin目录下，然后执行hive命令即可启动：

cd /usr/cstor/hive/
bin/hive

在这里插入图片描述

（二）创建表

默认情况下，新建表的存储格式均为Text类型，字段间默认分隔符为键盘上的Tab键。

创建一个有两个字段的pokes表，其中第一列名为foo，数据类型为INT，第二列名为bar，类型为STRING。

hive> CREATE TABLE pokes (foo INT, bar STRING) ;

在这里插入图片描述

创建一个有两个实体列和一个（虚拟）分区字段的invites表。

hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING) ;

在这里插入图片描述

注意：分区字段并不属于invites，当向invites导入数据时，ds字段会用来过滤导入的数据。

（三）显示表

显示所有的表。

hive> SHOW TABLES ;

在这里插入图片描述

显示表（正则查询），同MySQL中操作一样，Hive也支持正则查询，比如显示以.s结尾的表。

hive> SHOW TABLES '.*s';

在这里插入图片描述

（四）显示表列

hive> DESCRIBE invites;

在这里插入图片描述

（五）更改表

修改表events名为3koobecaf (自行创建任意类型events表)：

hive> CREATE TABLE events (foo INT, bar STRING) ;
hive> ALTER TABLE events RENAME TO 3koobecaf;
hive> SHOW TABLES ;

在这里插入图片描述

将pokes表新增一列（列名为new_col，类型为INT）：

hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);
hive> DESCRIBE pokes;

在这里插入图片描述

将invites表新增一列（列名为new_col2，类型为INT），同时增加注释“a comment”：

hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');
hive> DESCRIBE invites;

在这里插入图片描述

替换invites表所有列名（数据不动）：

hive> ALTER TABLE invites REPLACE COLUMNS (foo INT, bar STRING, baz INT COMMENT 'baz replaces new_col2');
hive> DESCRIBE invites;

在这里插入图片描述

（六）删除表（或列）

删除invites表bar和baz两列：

hive> ALTER TABLE invites REPLACE COLUMNS (foo INT COMMENT 'only keep the first column');
hive> DESCRIBE invites;

在这里插入图片描述

删除pokes表：

hive> DROP TABLE pokes;
hive> SHOW TABLES ;

在这里插入图片描述

六、实验结果

实验结果见实验步骤每步的运行结果。

七、实验心得

  通过本次Hive的DDL操作实验，我深刻体验到了Hive在大数据处理中的灵活性和强大功能。在实验中，我成功创建了不同类型的表，如普通表和分区表，并掌握了显示表、显示表列、修改表和删除表等基本的DDL操作。这些操作不仅让我对Hive的数据定义语言有了更深入的理解，也为我今后在大数据处理中提供了实用的技能。

  此外，我还深刻体会到了Hive与Hadoop之间的紧密集成关系。Hive利用Hadoop的分布式存储和计算能力，能够高效地处理大规模数据集。这种集成关系不仅提高了数据处理效率，也为我提供了更多的数据处理和分析手段。

  总的来说，本次Hive的DDL操作实验让我对Hive有了更深入的理解和实践经验。我将把这次实验中学到的知识和技能应用到今后的学习和工作中，不断提高自己的数据处理和分析能力。同时，我也期待在未来的课程中能够学习更多关于大数据处理和分析的知识和技能。

Hive 实验
lijie2049的博客
11-06 1577
//创建数据库并导入数据 1. create database{database_name}; 2.use{database_name}; 3. create table docs(line string); 4. load data inpath '/training/{student_name}/inceptor_data/wordcount' into table docs; //创建结果表 create table wc(word string, totalword int)...
【Hive】Hive 创建表
thatdanielyang的博客
10-16 1万+
学习笔记—Hive创建表 1. Hive语句的特点 HQL 语言大小写不敏感，但内容分大小写（where ,if/ case when，如：数据表内容某人名叫Tom，则条件后不能写tom，HDFS 路径名（NameNode）分大小写） ； HQL 可以写在一行或者多行， 关键字不能被缩写也不能分行，同 SQL； 各子句一般要分行写， 使用缩进提高语句的可读性，为了美化，同SQL； -- 为注释符号 ； Hive 不存储数据，他是表到HDFS文件的映射关系（语句）； 2. DDL 2.1 Hive的数据库DD
Hive创建表
zhaoxiaoba123的博客
09-01 4968
建表语法 字段解释说明 (1)CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出 异常;用户可以用 IFNOTEXISTS 选项来忽略这个异常。 (2)EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际 数据的路径(LOCATION)，Hive 创建内部表时，会将数据移动到数据仓库指向的路径,若创建外部表仅记录数据所在的路径不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据不删除数据。 (3
Hive基础之创建表
xjjdlut的专栏
02-26 530
hive创建表的语法参考如下网址：Create/Drop/Truncate Table 1.创建基础表 在这个网页里详细记录了创建表的每个语法，下面就一一来看这些创建表的语法内容： CREATE TABLE [IF NOT EXISTS] [db_name.]table_name ``[(col_name data_type [COMMENT col_comment], ... [c...
hive基础命令实验
keepon的博客
07-14 852
环境 centos7 Hadoop2.6.5 hive 1.x 一. 从普通文本加载数据到hive仓库 1.使用 命令hive 进入hive命令行； 2.创建数据库 create database if not exists hivetest; 3.切换数据库 use hivetest; 4. 创建表 create table if not exists s...
大数据技术基础实验九：Hive实验——部署Hive
北天的博客
11-01 2958
大数据技术基础实验九，了解有关Hive的知识和学习如何在虚拟机上部署Hive并启动Hive。
【大数据存储】实验六：Hive
m0_70098011的博客
04-04 2964
Hive
Hive实验
赤沙咀菜虚坤的博客
07-13 2万+
像极了 sql 的 hive实验
hive实验
eric_lee的专栏
03-02 702
hadoop fs -ls /user/hive/warehouse show databases; use mydb; show tables; create table test1(id int,name string)partitioned by (dt string); https://cwiki.apache.org/confluence/display/Hiv
MapReduce实验：Hive安装以及简单操作
文字也是一种方式
04-22 2370
2.Hive 2.1.单机环境下Hive安装 下载hive，链接http://apache.cs.utah.edu/hive/，最新版本为hive-0.13.0。 解压tar –zxvf apache-hive-0.13.0.tar.gz，安装在hadoop目录下。 配置环境变量，sudo gedit /etc/profile，如下所示： 同样执行source /etc/profil
hive 创建表语法.docx
05-15
hive 创建表语法使用等
hive实验报告.docx
03-14
完成Hive工具的安装和配置 Hive工具能够正常启动运行 Hive控制台命令能够正常使用 够正常操作数据库，表，数据
hive建表
hzp666的博客
11-03 9977
https://blog.csdn.net/wgyzzzz/article/details/107446435 一、hive建表语法 二、hive外部表 1、准备测试数据、放入虚拟机/data目录下 2、创建外部表 3、装载数据 4、查询test1表 5、查询test1在hdfs上的位置 6、通过desc命令查看表的状态 7、删除表，查看表在hdfs上的状态 8、重新创建外部表test3，通过location关键字指向test1 9、查询test3 三、hive内部表（管理表） 1、创建内部表 2...
大数据实验六Hive
weixin_43808332的博客
05-30 1301
一.Hive定义 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类sql查询功能。Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以很自由的组织hive中的表，只要在创建表示告知hive数据中的列分隔符和行分隔符，它就可以解析数据。hive所有的数据都存储于HDFS中，它的本质是将SQL转换为MapReduce程序完成查询。...
大数据技术基础实验十一：Hive实验——Hive分区
北天的博客
11-06 1245
大数据基础实验十一，学习有关Hive分区的相关知识。
hive操作数据库实验
weixin_45786421的博客
05-27 1405
任务一、hive创建数据库（10分） 创建一个数据库，以你的用户名命名，创建成功后使用use命令切换为该库，并执行set hive.cli.print.current.db=true;截图作为答案（3分） 1）创建数据库命令截图：（2分） create database huangjie; use huangjie; 2）执行命令结果截图：（1分） set hive.cli.print.current.db=true; 在HIVE中创建需要的表，并写出建表语句，表结构如下：（3分）
大数据实训(hive+spark)
qq_39746596的博客
07-15 819
爬虫爬取的网站拉勾网和前程无忧 用scrapy框架 前程无忧 代码如下 spider.py items.py setting.py pipelines.py 拉勾网 spider.py itmes.py setting.py pipelines.py 爬取的数据 将爬取的文件传到linux系统的data目录下 jdk环境 hadoop（完全分布式）环境 hive环境 启动Hadoop集群 flume 的agent文件配置 在flume安装目录下输入命令运行agent文件
Hive建表语句详解--CREATE TABLE
热门推荐
Thomson617的博客
01-09 15万+
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表）1、使用create命令创建一个新表,带分区可以使用describe formatted mytest_deptaddr 查看建表相关的各种配置属性以及默认属性。从下面可以看出，在创建表时有很多属性，比如存储地址，存储格式等属性我们都没有直接配置，而是选择了系统默认的。2、把一张表的某些字段抽取出来，创建成一张新表，使用as注意： 1.as只会复制属性以及属性值到新的表中。
Hive实验报告
Meteor_ilxy的博客
04-08 1828
(Press y|Y for Yes, any other key for No) 表示是否拒绝 root 用户远程登录，在键盘输入 n 和回车，表示允许 root 用户远程登录。((Press y|Y for Yes, any other key for No)表示是否更改 root 用户密码，在键盘输入 y 和回车。6 ）将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为 “/usr/local/src/hive/tmp”目录及其子目录。
林子雨大数据实验报告hive
最新发布
05-07
### 关于林子雨大数据课程的Hive实验报告及相关教学资料 在大数据领域，Hive是一种广泛应用于数据分析的技术工具。它是一个基于Hadoop的数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能[^1]。 对于林子雨老师的大数据课程而言，他所提供的资源通常涵盖了理论讲解与实践操作两部分。以下是关于如何获取或参考林子雨老师的Hive实验报告及教学资料的内容： #### 一、官方资源 林子雨老师在其个人网站以及厦门大学开设的大数据课程页面中，提供了丰富的学习材料。具体可以访问他的官方网站或者通过搜索引擎检索关键词“林子雨 大数据 Hive”。其中可能包括但不限于以下内容： - **实验指导书**：详细描述了每一步的操作流程，适合初学者快速入门。 - **案例分析文档**：结合实际应用场景，深入探讨Hive的应用技巧。 - **视频教程**：配合文字说明，直观展示复杂概念的理解方式。 #### 二、Hive基础介绍 为了更好地理解和完成实验任务，在此简单概述一下Hive的核心知识点及其工作原理： - 数据建模：支持创建内部表(Internal Table)和外部表(External Table)[^1]。 - 查询优化器：自动选择最优执行计划以提高性能效率。 - 集成其他生态系统组件：比如可以通过连接至HBase实现更灵活的数据读写操作。 #### 三、配置环境注意事项 如果打算按照林子雨教授给出的方法来进行本地测试，则需要注意几个关键环节： - 安装好必要的软件包(Hadoop,Hive等)，并确认版本兼容性良好； - 正确设定JAVA_HOME路径，这是因为在运行过程中需要用到JVM(java virtual machine),而这个参数正是用来指定java安装位置的信息[^3]。 下面是一段用于验证hdfs命令是否正常工作的shell脚本例子： ```bash #!/bin/bash hdfs dfs -mkdir /user/hive/warehouse hdfs dfs -ls / ``` 以上代码片段展示了如何新建一个目录供hive存储元数据之用，同时也列举出了查看根目录下所有项目的指令。 #### 四、总结建议 综上所述，要找到林子雨有关Hive方面的实验报告样本并不困难，只需遵循上述途径即可轻松达成目标。同时提醒各位同学，在动手之前一定要仔细阅读相关手册，确保每一个细节都被妥善处理完毕后再继续下一步骤。
评论 48
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Francek Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值