python读取hbase数据

最新推荐文章于 2024-03-01 11:28:41 发布

Thomas2143

最新推荐文章于 2024-03-01 11:28:41 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：总结文章标签： hbase python 数据库

本文链接：https://blog.csdn.net/qq_35515661/article/details/121237774

总结专栏收录该内容

793 篇文章 ¥99.90 ¥299.90

订阅专栏

这篇博客主要介绍了如何使用Python的HappyBase库来读取HBase数据库中的数据。作者首先引用了HappyBase的官方文档，并提供了一段Python代码示例，展示了如何进行全表扫描。对于大数据量场景，作者提醒读者参考官方文档以优化查询策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

happybase官方文档

HappyBase — HappyBase 1.2.0 documentation

代码

# 注意我这里表小,使用scan全表扫描hbase数据,如果你数据量大,建议看官方文档.

import happybase
'''
本脚本的需求是从hbase获取到rowkey的set,然后和hive中某列比较,下面的代码会说去hbase中rowkey组成的set
'''


'''
导入包:
    pip install thrift
    pip install hbase-thrift
    pip install happybase

报错 No protocol version header https://blog.csdn.net/u012447842/article/details/90603942
    需要 启动hbase thrift服务(默认端口9090)    ./hbase-daemon.sh start thrift
    查看thrift是否启动:
        shell>> jps
            28668 ThriftServer
        shell>> netstat -anp|grep 9090
            可以看到 9090端口占用的pid和ThriftServer的

了解本专栏