hive-insert

zdkdchao

已于 2022-08-18 18:08:21 修改

阅读量2.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： hive 文章标签： hive 数据仓库

于 2022-06-08 08:43:56 首次发布

本文链接：https://blog.csdn.net/qq_34224565/article/details/125177429

hive 专栏收录该内容

31 篇文章

订阅专栏

notice

hive不像mysql、oracle这些数据库一样在insert的时候可以指定字段，必须在插入的时候插入的是全字段。

少一个也不行，只会按建表语句顺序匹配值。

在select中指定别名也不行。

这样也不行

insert overwrite table my.test_table partition(pt=1) select 2 as col2, 1 as col1

add column之后，在旧分区插入的新字段的数据查不到，显示为null。add column之后的新分区可以。

这是因为你对表结构进行了改变，但是历史分区的数据却没有做改变(新增分区不会出现这个情况)。

为了解决上面的问题，可以采用两种方式：

如果已经执行添加操作，并且没有带cascade，可以尝试下面的方法：
使用replace 恢复表结构，这样历史的分区数据都不会消失

alter table industry_db.product replace columns
(product_name string comment ‘产品名’);

在新增的时候加上cascade关键词

alter table my.test_table add columns(col3 int comment '第三列') cascade

一、直接将文件insert到本地或hdfs上

1.insert到本地，谁的本地？sql提交到的地方的本地，就是metastore或者hs2

INSERT OVERWRITE LOCAL DIRECTORY '路径'
ROW FORMAT DELIMITED FIELDS TERMINATED by ',' 
select * from datas;

2.insert到hdfs，这里分隔符的设置有些迷，比如@@##会变成@

INSERT OVERWRITE DIRECTORY '路径'
ROW FORMAT DELIMITED FIELDS TERMINATED by '@@##'
select * from datas;

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zdkdchao

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hive的insert操作，导出数据到本地、hdfs

liyonghui123的专栏

10-20

2920

insert 语法格式为： 1. 基本的插入语法： insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement; insert into table tablename [partition(partcol1=val1,partclo2=val2)] sele...

Hive-testbench套件使用文档

sdssee的博客

11-05

1388

hive-testbench 是hortonworks的一个开源项目，用于测试和基准测试 Apache Hive 的工具集。它提供了一系列的测试数据集和查询样例，用于评估和比较 Hive 在不同配置和环境下的性能。hive-testbench 的主要目标是模拟真实的大规模数据集和复杂查询场景，以帮助用户评估和优化 Hive 的性能。

参与评论您还未登录，请先登录后发表或查看评论

Hive的insert操作

在路上的学习者

04-06

4万+

insert 语法格式为：基本的插入语法： INSERT OVERWRITE TABLE tablename [PARTITON(partcol1=val1,partclo2=val2)]select_statement FROM from_statement insert overwrite table test_insert select * from test_table;

11.3.2 INSERT插入数据

热门推荐

数据源的港湾

03-17

7万+

Hive 加载数据主要有两种方式，一种是用Load直接加载文件，可以是从本地文件系统，也可以是从HDFS文件系统；Load方式不做任何的转换，只是纯粹的文件复制移动，关于Load加载详情，请见我的另一篇文章： http://blog.csdn.net/post_yuan/article/details/62883565除了Load加载数据，Hive也支持Insert命令，下面就来详细介绍Hive不同

Hive SQL-DML-insert插入数据

喻师傅的学习笔记

05-08

2080

insert

hive insert语句

weixuan_的博客

04-22

361

hive insert语句

apache-hive-2.3.9-bin.tar大数据HIVE.zip

10-08

它支持SELECT、INSERT、UPDATE、DELETE等基本操作，以及JOIN、GROUP BY、HAVING等复杂查询。 4. **编译与执行计划**：Hive将HQL语句转换为MapReduce任务，或者在更现代的Hadoop版本中，转换为Tez或Spark任务。这...

hive-jdbc-1.2.1-standalone

11-15

5. 执行SQL语句，如`SELECT`, `INSERT`, `UPDATE`, `DELETE`等。 6. 处理查询结果，例如通过`ResultSet`对象获取数据。 7. 关闭`Statement`和`Connection`以释放资源。 Hive JDBC适用于各种场景，如ETL（提取、转换...

apache-hive-2.3.4-bin.tar.gz

12-12

HQL支持SELECT、INSERT、UPDATE、DELETE等操作，但不支持事务。 3. **Hive表**：Hive表映射到HDFS上的目录，数据以文件形式存储，支持多种文件格式，如TextFile、ORC、Parquet等。表可以被分区，提高查询效率。 4....

hive-jdbc-uber-2.6.5.0

10-25

这包括数据的SELECT、INSERT、UPDATE、DELETE操作，以及复杂的多表JOIN和聚合函数。 3. **结果集处理**：查询的结果会被返回为ResultSet对象，可以遍历并处理每一行数据。此外，还可以获取查询的元数据，如列名、...

Hive那些事儿之八-大数据踩过的坑——Hive insert

01-07

Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 from db_name.table_name_2 where id = condatition ), temp_table_2 as ( select id,col_3 from db_name.table_name_3 where id = con

【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

sodaloveer的博客

11-15

2万+

使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert (3)

2301_82242990的博客

05-10

983

但是要注意的是hive将数据序列化成文件的时候，文件的编码格式和hive里的一致。比如，hive中存储格式为sequencefile，则序列化的数据文件编码也是二进制格式，如果hive中列分隔符是默认的，则序列化文件也是默认的^A（不可视）的分隔符。注意：使用，insert…select 往表中导入数据时，查询的字段个数必须和目标的字段个数相同，不能多，也不能少,否则会报错。使用insert子句将查询结果插入表中，这是开发中往表里导入数据最常用的方式之一，主要用来项目开发中使用，多表关联计算等操作。

往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解

涤生大数据

05-20

1万+

往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive虽然不会验证用户装载的数据和表的模式是否匹配，但是hive会验证文件的存储格式和hive定义的表结构的存储格式是否一致。比如将文本文件装载到sequencefile表中则报错。 1.往hive表中导入数据 1.lo...

【图文详细】Hive的DML操作中Insert 插入数据

谦卑t

11-26

1万+

语法结构： 1、插入一条数据： INSERT INTO TABLE table_name VALUES(XX,YY,ZZ); 2、利用查询语句将结果导入新表： INSERT OVERWRITE [INTO] TABLE table_name [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM fro...

【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert

2401_84182073的博客

04-17

1578

hive的insert into table values语句

weixin_41318235的博客

08-25

569

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1Hive中的INSERT INTO TABLE VALUES语句详解在大数据处理和分析中，Apache Hive作为一个重要的工具，广泛用于数据仓库操作。对于数据的插入，Hive提供了多种方...

【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into

2301_76379606的博客

05-03

4249

1、hive支持全动态分区，但是在使用前必须设置以下参数：2、字段和目标表动态分区的对应关系是由字段顺序决定，并不是由列名称决定的。3、向动态分区插入数据时，动态分区必须在select列表中，否则会执行失败。

hive -e

04-24

### Hive `-e` 参数的用法 Hive 提供了一个命令行工具，允许用户通过 `hive -e` 执行单条 SQL 查询或者一系列查询语句。此参数主要用于运行简单的 HiveQL 脚本或命令。 #### 语法 ```bash hive -e "SQL_QUERY" ``` 其中 `"SQL_QUERY"` 是要执行的具体 HiveQL 语句。如果需要执行多个查询，则可以将它们连接在一起并用分号 (`;`) 隔开[^1]。 #### 示例以下是几个常见的使用场景： 1. **执行简单查询** 如果只想查看某个表的内容，可以直接写一条 SELECT 语句： ```bash hive -e "SELECT * FROM employees LIMIT 10;" ``` 2. **创建表并加载数据** 可以一次性完成建表和加载数据的操作： ```bash hive -e " CREATE TABLE IF NOT EXISTS employee ( id INT, name STRING, salary DOUBLE ); LOAD DATA INPATH '/data/employee.txt' INTO TABLE employee; " ``` 3. **处理特殊字符** 当 SQL 中包含单引号时，需注意转义问题。例如插入含有单引号的数据时，可采用 PostgreSQL 类似的解决办法[^2]: ```bash hive -e "INSERT INTO table_name VALUES ('<html><script>let a=''a''</script></html>');" ``` 或者使用反斜杠进行转义： ```bash hive -e "INSERT INTO table_name VALUES ('<html><script>let a=\\'a\\'</script></html>');" ``` 4. **导出查询结果到文件** 结合重定向功能，可以将查询结果保存至本地文件： ```bash hive -e "SELECT * FROM sales;" > output.csv ``` 5. **调优配置** 在某些情况下可能需要调整 MapReduce 的行为，比如设置 Reduce 数量来优化性能。可以通过 `SET` 命令实现这一点： ```bash hive -e " SET mapred.reduce.tasks=-1; SELECT COUNT(*) FROM large_table WHERE condition='value'; " ``` ### 注意事项 - 若涉及复杂逻辑建议编写独立 `.hql` 文件并通过 `-f` 参数提交。 - 对于大规模作业应考虑资源分配合理性和集群负载情况[^3]。