python数据导入hive_使用 python 批量插入 hive

1.环境准备.

需要 python3.6 最好是安装anaconda

用anaconda navigator 安装这个 , 当然 , 纯 python环境下也能安装这个包

2. 插入hive 换个思路 , 直接插入到hive的表的仓库中 , 也就是hdfs上存储hive文件的地方

from hdfs.client import Client

import time

t1=time.time()

client = Client("http://192.168.1.102:50070")

s="100,1094,baumax,58"

filepath="/user/hive/warehouse/hadoop.db/kk/t.txt"

t1 = time.time()

client.write(filepath, s,overwrite=False,append=True)

print('OK')

t2=time.time()

print(t2-t1)

这里我使用的是追加 ,append , 我直接定位到了文件 , 可以添加到里面 , 当然 ,

这个HDFS client也是能建文件夹 , 建文件 , 不追加新建文件等等 ,

这只是一种了思路.

最后我去HDFS上看了下 t.txt 确实增加了一行 .

并且在hive的 select * from 表名 ,也能查到新加的

可以这样理解 , hive的表结构存储在mysql中 ,但是表数据存储在hdfs上 , 且定位是文件夹 ,只要把数据放进去

结论: 通过 LOAD DATA INPATH '' INTO TABLE

等同于 手动追加 hive的表文件所在的文件夹

使用注意: 理论上追加的大小是不做限制的 , 读取文件 ,追加就行 .