Hive 源码解读 准备篇 Debug 讲解

最新推荐文章于 2023-02-28 19:57:24 发布
最新推荐文章于 2023-02-28 19:57:24 发布
阅读量600 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SunnyYoona/article/details/128392774
本文介绍了在遇到Hive HQL查询bug时如何进行调试。首先，详细讲述了在Linux环境下编译Hive源码，包括解决编译问题和生成可运行的二进制包。然后，重点讲解了如何在IntelliJ IDEA中设置远程Debug配置，通过在Hive CLI执行查询并设置断点，实现源码级跟踪，特别提到了在CliDriver的run方法中处理用户输入的processLine方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

使用 Hive 执行 HQL 查询时遇到 bug，解决办法无非几种，explain HQL、查看日志、远程 Debug，本文就将详细讲解如何使用 Idea 远程 Debug。

1. Debug 环境准备

下载 Hive 源码包，自行编译一下，建议在 Linux 环境下编译，然后将整个编译好的包全部拷贝到 IDEA 工作目录中并使用 IDEA 打开。本文是以 Hive 2.3.4 版本作为讲解。克隆到本地后切换到 2.3.4 版本：

git checkout release-2.3.4 rel/release-2.3.4

本地需要先编译一下整个工程，因为有些代码是用 Antlr 自动生成的，编译之后，会产生对应的类。可以使用如下语句进行编译：

mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=true

如果编译过程中出现 Failed to read artifact descriptor for org.apache.directory.client.ldap:ldap-client-api:jar:0.1-SNAPSHOT 错误，可以查阅博文

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SPARKSQL3.0-Spark兼容多版本Hive源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
12-01 2491
SPARKSQL3.0-Spark兼容多版本Hive源码分析
Hive 高分笔记
SmartSi
11-20 1413
Hive 高分笔记
hive进阶--调优、源码、debug调试方法
Tongya1998的博客
07-17 1116
hive进阶学习、通过源码更好的了解Hive
本地调试（local debug）Hive源码
coderlaw's study
01-17 2711
本地调试（local debug）本次调试本为了修改HiveServer2 以提供授权校验接口，因此下了Hive源码 准备调试一番。主要测试了CliDriver和HiveServer2.主要流程参考了这篇文文章的实现：http://b865a395.wiz03.com/share/s/2Upqel3Vs45O2q1eTZ1wyr_O0urkGT29lAco2pq2Ol26_NM3 在此篇文章对细节
Hive 本地调试方法
weixin_30340745的博客
10-31 510
关键词：hive, debug 本地调试（local debug） Hive 可分为 exec (hive-exec，主要对应源码里的ql目录) 和 metastore 两部分，其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService。前者对应的就是直接执行hive命令的command line，后者对应就是thrift直连或jdb...
Hive源码调试步骤
建模分析师胡选来
03-02 2001
1. 在centos6.5中下载eclipse: http://mirror.hust.edu.cn/eclipse//technology/epp/downloads/release/luna/SR2/eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 2. 把hive mvn工程变为java工程 mkdir 
Hive源码阅读--导读
寒暄的博客
08-21 2813
总述 Hive的执行流程大致分为两部分，即任务的提交与返回,命令的编译与执行。 前者在CliDriver类中流转，后者主要在Driver与ParseDriver类，核心编译在BaseSemanticAnalyzer和QueryPlan类中。 任务的提交与返回 调用顺序： main --(程序的开始)–> run --(任务的开始，读取用户传参与相关配置，初始化日志)–> executeDriver --(确保传入的语句是一条完整的SQL或命令)–> processLine --(
[网络安全自学篇] 八十四.《Windows黑客编程技术详解》之VS环境配置、基础知识及DLL延迟加载详解（1）
杨秀璋的专栏
06-19 1万+
从这篇文章开始，作者将带着大家来学习《Windows黑客编程技术详解》，其作者是甘迪文老师，推荐大家购买来学习。作者将采用实际编程和图文结合的方式进行分享，并且会进一步补充知识点。第一篇文章主要包括两部分内容，开发环境（VS、编译设置）、基础技术、运行单一实例（互斥对象示例）、DLL延迟加载（skin++换皮肤示例）、资源释放（MFC示例）。希望对您有所帮助~
看完这篇文章,入门hadoop--这么细,你不看看?
qq_24455835的博客
01-08 2416
1.什么是hadoop 1.1 hadoop的简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架； Hadoop以一种可靠、高效、可伸缩的方式进行数据处理；用户可以在不了解分布式底层细节的情况下，开发分布式程序。 关键词解析: Apache基金会:Apache软件基金会（也就是Apache Software Foundation，简称为ASF），是专门为支持开源软件项目而办的一个非盈利性组织。在它所支持的Apache项目与子项目中，所发行的
hive编译遇到的错误
qq_41672628的博客
05-26 899
1 ldap-client-api:pom:0.1-SNAPSHOT 1 Failure to find org.apache.directory.client.ldap:ldap-client-api:pom:0.1-SNAPSHOT in Central Repository: was cached in the local repository, resolution will not be reattempted until the update interval of central has.
编译 hive 3.1.2 出现 Unknown host snapshots.maven.codehaus.org 错误的解决方法
houzhizhen的专栏
08-11 1110
编译 Hive 3.1.2 出现以下错误： [ERROR] Failed to execute goal on project hive-service: Could not resolve dependencies for project org.apache.hive:hive-service:jar:3.1.2: Failed to collect dependencies at org.apache.directory.server:apacheds-server-integ:jar:1.5
Maven提示Failed to read artifact descriptor for xxx错误的解决
mylover520的专栏
02-11 4576
Maven提示Failed to read artifact descriptor for xxx错误的解决
IDEA中Maven报错:Failed to read artifact descriptor for解决方案
一亿年开发经验
02-28 5711
1、 打开项目后，在Intellij 右侧有个Maven projects，点开后，有个Lifecycle，再点开，可以看到clean , validate, compile, ….，双击clean，这里的project是我们的项目实际的名字。2、 在同样的地方（Lifecycle)里找到install, 双击install，这里的project同样是我们的具体项目的名字，这个过程比较久，如果有遇到哪个jar包不能下载的情况，可以手动将其放到本地的maven目录下。.”消失，需要的依赖开始下载。
Maven多模块项目报Failed to read artifact descriptor错误的解决办法
编程笔记
05-21 8229
Maven多模块项目中，当创建第二个模块的时候，有时会报Failed to read artifact descriptor for xxx:jar 错误，原因在于子模块的相互依赖。以A，B两个子模块为例，B模块依赖A模块，而A模块位于本地仓库，会继续试图从本地仓库解析A模块依赖的父模块，如果没有install过父模块，本地仓库中就找不到父模块，就会报错误。 遇到这种情况的解决办法其实很简单：1.在命令行模式下切换到父模块pom文件所在的目录，使用mvn install命令安装一下父模块；2.切换到报错的子
Maven项目 提示 Failed to read artifact descriptor for xxx:jar解决方法
yuzfengxu的博客
03-31 8395
右键项目->Maven->Update Project..勾选 “Force Update of Snapshots/Releases” ，再点确认即可
XXXXXXX-1.0-SNAPSHOT.jar中没有主清单属性的解决办法
qq_40299028的博客
05-10 2万+
将maven项目打包后，启动时出现SpringBoot01-1.0-SNAPSHOT.jar中没有主清单属性的提示的解决办法 1.在pom.xml文件中插入 <build> <plugins> <plugin> <groupId>org.springframework.boot</gro...
Maven异常：0.0.1-SNAPSHOT: Could not find artifact
热门推荐
年少青山的博客
02-18 2万+
执行maven install的时候出现了以下异常： [INFO] Scanning for projects…  [ERROR] [ERROR] Some problems were encountered while processing the POMs:  [FATAL] Non-resolvable parent POM for com.easybuy:easybuy-manager:...
Hive源码调试
0x3E6
03-19 975
一种Hive源码（cloudera/hive cdh6.3.0）调试方法
Cloudera Hive 0.7.1版本文档源码解读
以上知识点围绕Cloudera Hive文档及其源码展开，涉及了Hive的基本使用、配置、优化、源码解读和应用场景等，为大数据处理人员提供了全面的理解。由于Hive经常随着Hadoop生态系统的更新而更新，其文档和源码也随着...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@SmartSi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值