解决DBeaver等软件连接了hive数据库之后无法插入数据或者使用group by或者join连表

qsada111111111

已于 2024-05-02 16:06:54 修改

阅读量682

点赞数 6

CC 4.0 BY-SA版权

分类专栏： hive连接错误笔记文章标签： hive 数据库 hadoop

于 2024-05-02 11:40:43 首次发布

本文链接：https://blog.csdn.net/qsada111111111/article/details/138389220

报错信息

Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

第一步先检查基本信息

1.检查 Hive 日志以获取有关问题性质的更多详细错误消息。这些日志可以提供有关问题的额外信息。

2.检查你的 SQL 查询，确保它是正确的，并适用于你正在处理的数据和模式。

3.验证你是否具有访问和操作数据所需的权限。

4.确保你的 Hive 和 Hadoop 配置正确设置。

5.如果错误与数据有关，请检查数据是否存在问题，如损坏、缺失值或不正确的格式。

6.考虑咨询你的 Hadoop 或 Hive 管理员以获取进一步的故障排除帮助。

7.检查集群的资源利用情况，看集群资源是否充足。例如CPU和内存

第二步如果是资源不足则检查hadoop设置里面的配置文件yarn-site.xml

添加下面配置

 <!--yarn单个容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许