用python连接hive和presto并进行查询和插入

最新推荐文章于 2024-05-13 09:36:38 发布

Lenskit

最新推荐文章于 2024-05-13 09:36:38 发布

阅读量1w

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python hive presto

本文链接：https://blog.csdn.net/chenKFKevin/article/details/84974148

python 专栏收录该内容

68 篇文章

订阅专栏

安装pyhive，连接presto并用pandas读取：

import pandas as pd
from sqlalchemy.engine import create_engine
from pyhive import hive


# 准备语句
sql = "select * from table"

engine1 = create_engine('presto://ip:port/hive/default')

# 获取数据
df = pd.read_sql(sql, engine1)

连接hive，往hive中插数据：

conn = hive.connect(host='ip', port=port, database='db', username='xxx', auth='NONE')
cursor = conn.cursor()
sql_2 = "Insert into table partition (pt='xxx')" + \
        "(column1, column2, column3, column4, column5) values "


# 此处我是拼接多个，一次性插入
for i in df['sql'].tolist():
    sql_2 += i
cursor.execute(sql_2[:-1])

如果遇到报错，可参考https://github.com/cloudera/impyla/issues/267解决方案。