python执行hivesql_python 调用shell hive sql

最新推荐文章于 2023-11-09 21:05:25 发布

何为自律

最新推荐文章于 2023-11-09 21:05:25 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签： python执行hivesql

本文链接：https://blog.csdn.net/weixin_33521678/article/details/111943486

该博客介绍如何使用Python脚本调用shell命令执行Hive SQL，包括从Hive表中导出数据，替换字段分隔符，以及将处理后的数据加载回Hive表。示例代码展示了如何利用`subprocess`模块执行Hive命令。

def generate_csv_source(data_file):

#判断文件是否存在

if not os.path.exists(data_file):

# 拉取hive表数据

cmd_sql = 'hive -e "set hive.cli.print.header=true; \

select * from dw.full_d_usr_channel_sum_v3 where ds<>\'\' \

and type in (\'super\',\'9k9\',\'taobao\',\'sc\',\'zy\',\'ad\',\'licai\') \

" >%s' % (data_file)

print cmd_sql

subprocess.call(cmd_sql, shell=True)

# 替换其中的字段分隔符/t为,

cmd_sed = 'sed -i "s/\t/,/g" %s' % (data_file)

subprocess.call(cmd_sed, shell=True)

print "文件已生成："+data_file

else:

print "最新文件已存在："+data_file

-- 写人hive 表

def insert_to_table(data_cur, c_path,tab_name, ds,freq_type,c_type):

# data_cur.to_csv('./user_value_auto_compute_result.csv', index=False, header=None, encoding="utf8")

path_result = '%s/%s_%s_%s.csv' % (c_path,tab_name,freq_type,c_type)

print '生成的结果csv文件:',path_result</

最低0.47元/天解锁文章

新学期VIP享超值加赠

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

何为自律

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python查询hive结果保存到mysql的代码优化历程

大数据技术派

08-13

817

目录 1、需要的包 2、我们选择pyhive 3、下面举一个例子 4、代码简化 5、结果很甜 6、Python操作Hive事务表我的博客原文地址：http://www.ikeguang.com/2018/12/21/pyhive-mysql/ 由于hive查询结果是不能直接保存到mysql的，有人会用sqoop，相对还是不方便。当然了，肯定还有一些其它的hive~mysql互导工...

使用Python切换用户执行Hive SQL

光于前裕于后的博客

01-12

1501

在shell中执行hive sql： hive -e "hive sql" 切换用户执行： sudo su - hive -c 'hive -e "hive sql"' 但是当用python调用shell时，发现单双引号不够用了咋办呢？？？使用<<EOF，见下： hive_cmd = 'sudo su - hive -c "hive<<EOF\n' + hive_ddl + '\nEOF"' ...

参与评论您还未登录，请先登录后发表或查看评论

python跑hivesql

侯大师的博客

09-27

737

# -*- coding: utf-8 -*- """ Created on Mon Sep 27 19:00:42 2021 @author: Administrator """ # -*- coding: utf-8 -*- """ Created on Fri Sep 24 18:11:10 2021 @author: Administrator """ import pandas as pd from presto_cli import presto_client import num...

Python执行hive sql

热门推荐

Haiwi-Song

08-19

1万+

该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，其实质转化为shell下命令 hive -e ‘sql语句’ 的方式执行，然后把结果重定向到控制台显示。注：由于该脚本是直接调用shell中的hive命令，所以需要在安装hive的服务器上执行。

python脚本中hivesql字段注释格式化

09-12

Python脚本执行hive SQL命令

三妹的博客

04-15

5903

一、问题背景将 hive SQL写入 Python 脚本，这样就可以将 Python 脚本设为定时任务，不用每次手动执行 hive SQL 语句。二、解决方法 import os def run_sql(): cmd = """ beeline ******** -e " select * from example_db.example_table; " """ ...

执行HIVE通用脚本Python实现

ArYe

10-24

924

离线计算 T+1 hive -e PYTHON2 PYTHON3 脚本 shell beeline

python导入数据到hive_python调用接口数据写入hive

weixin_39654067的博客

12-03

2005

该方法使用场景为：在hadoop集群进行接口调用，并且获取接口返回值进行解析，解析完成数据写入hive表其中存在的问题：测试环境和线上环境的一致性，还有接口调用不能一次性并发太高，自己把握这个量分模块说一下每个模块需要做的：1、调用get接口：请求本地接口进行测试，参数需要encode# -*- coding: utf-8 -*-import urllibimport urllib2# get接口...

【Python大数据笔记_day05_Hive基础操作】

LKL的博客

11-09

1972

Hive基础操作

python使用hive sql

dd0906的博客

08-03

855

python使用hive sql 简单直接；该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，实际为shell下命令 hive -e 'sql语句’ 的方式执行，然后把结果重定向到控制台显示。注：需要在安装了 hive的环境执行 #!/usr/bin/python #--coding:utf-8 -- import subprocess import traceback sql = “”" select * from test; ; “”" cmd = ‘hive -e “”

python连接 hive 执行hsql

baiyangfu的专栏

04-09

3619

记录一下笔记： #!/usr/bin/env python import sys sys.path.append('/home/q/hive-0.10.0/lib/py') from hive_service import ThriftHive from hive_service.ttypes import HiveServerException from thrift import Thr

Python连接SQL与hive

Zstarling的博客

05-06

1671

--ZstarlingSQL连接hive连接补充写入方法write与writelines对比表格Dataframe形式的写入for、with 位置对比 SQL连接 import pymysql def sql(path): conn = pymysql.Connect(host='36.104.34.123', user='用户名', passwd='密码', db='库名') # 获取游标 cursor = conn.cursor() # 1、从数据库中查询 sql

python调用hive脚本_python 中写hive 脚本

weixin_39603265的博客

12-06

557

1、直接执行.sql脚本import numpy as npimport pandas as pdimport lightgbm as lgbfrom pandas import DataFramefrom sklearn.model_selection import train_test_splitfrom io import StringIOimport gcimport sysimport ...

python使用selenium自动访问网站运行hivesql并取数（版本一）

数据挖掘分析工程师孙璇

02-09

847

最近接了一个日报的自动化项目，主要是需要我们自动访问数据库，运行查询语句取数，并根据下载结果生成昨日日报，最终发送给领导们昨日一些主要数据指标。需求方给了我们日报模板和hivesql代码，我们就吭哧吭哧的准备开干，怎么办呢？我之前曾经就自动爬取过知乎的问答列表及单个问答页面数据，用的就是selenium自动化测试模拟鼠标操作网页，也没啥问题（主要是我们的hive服务器为了防...

python命定执行hive程序_python连接 hive 执行hsql

weixin_33837846的博客

01-17

170

记录一下笔记：#!/usr/bin/env pythonimport syssys.path.append('/usr/local/hive-0.10.0/lib/py')from hive_service import ThriftHivefrom hive_service.ttypes import HiveServerExceptionfrom thrift import Thriftfro...

python命定执行hive程序_python文件转换成可执行程序

weixin_39779530的博客

12-16

126

在实际工作中，不是每一个大佬都装了python环境，如果你写的python脚本需要发给其他人，而TA的电脑又木有装python环境，是不是很抓狂w(ﾟДﾟ)w这时你只要把脚本文件转换成可支持程序，就能直接在没有python环境的电脑上畅快运行。不多BB，直接上流程！第一步：检查python脚本额，确保脚本无误，避免做无用功第二步：按照pyinstaller库pip install pyi...

python自动化脚本_python实现Hive sql脚本的自动化填充

weixin_39887926的博客

12-05

266

项目概况简介：工作需要频繁使用 Hive sql 来取数分析，并且 sql 中的结构是类似的；只需替换和填充部分的字段值，分成2种类型；类型1-从excel中获取指定的一列（利用 ByValues 函数实现）；类型2-excel中的两列，并组成字典形式（利用 OtherPar2Dict 函数实现）代码流程：输入-目标 excel (命名为「rule.xlsx」)和固化的 sql 脚本（命名为「sq...

python自动生成hive sql脚本

qq_41448372的博客

04-30

911

# -*- coding: utf-8 -*- # -*- coding: utf-8 -*- import os import csv import xlrd from datetime import datetime, timedelta import copy def convert_xlsx_to_cvs(param_src_file_path, param_obj_file_pat...

python操作hive和hive_sql语句

qq_15821487的博客

05-06

5705

Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，通过类SQL语言对数据进行操作。Hive将sql语句通过解析器转换成MapReduce作业提交到Hadoop集群上，Hadoop监控作业执行过程，并将执行结果返回给用户。　　值得注意的是，Hive并不支持行级数据的更新，主要使用场合为大数据集的批处理作业中。　　下面为Hive中常用的SQL语句，‘[ ]’中的内容根据实际需求来确定要不要写。复制代码 – 创建数据库 create database name; – 常用显示命令 s

如何用python脚本获取hivesql的某个值，并判断值是1则调用a.sh,2则调用b.sh