Pinterest的HBase升级实践.pdf

Pinterest公司HBase升级实践涉及到许多云计算和大数据处理的重要知识点，这里将详细阐述这些知识点。 HBase作为Apache的开源非关系型分布式数据库，是建立在Hadoop文件系统之上的。它为大数据存储提供了便利。Pinterest使用HBase存储和缓存数据，主要是因为HBase能够满足其对大规模数据的实时访问需求。在文件提供的内容中，早期的应用包括homefeed、search&discovery，以及UserMetaStore，这是一个通用的存储层，支持使用用户键值（KV）数据的各类应用程序。在Zen图形服务层发布之后，许多应用程序都可以用图形来模拟，使用HBase的场景大大增加。此外，HBase还用于其他多种用例，例如分析和OpenTSDB。 然而，随着技术的更新换代，Pinterest遇到了升级挑战。最开始Pinterest使用的是HBase 0.94版本，但这个版本不再得到社区的支持，意味着存在安全和性能上的风险。社区更新支持的版本（1.2及以上）提供了更好的可靠性和可用性，性能也得到了提升，并且社区贡献变得更加容易。然而，升级到新版本通常需要停机，对于依赖于HBase提供实时在线服务的Pinterest来说，这是不能接受的。升级过程中遇到的主要问题包括RPC协议的变化、数据格式的变化、HDFS文件夹结构的变化以及API的变化。根据Cloudera的博客，从HBase 0.94版本升级到后续版本被认为是不可能无需停机完成的任务。 面对这一挑战，Pinterest采取了一种称为“FastForward”的策略。他们在选择了一个最繁忙的集群作为试点后，成功地在不需要应用程序在切换集群的当天重新部署的情况下，完成了生产集群的升级。升级后， Pinterest的网站没有遭受任何中断，同时还获得了显著的性能提升。 具体实施升级的过程中，使用了ZooKeeper客户端读写HBase 0.94，并利用了HBase 0.94的原生复制功能。在升级期间，这些功能被用来在旧集群和新集群之间进行平滑切换，确保服务的持续可用性。最终实现了无需中断 Pinterest 网站服务的情况下完成了活切换。 从上述内容可以看出，Pinterest在HBase升级的实践中，不得不考虑到升级本身带来的挑战，特别是对于像他们这样的实时在线服务公司。他们采取的升级策略成功地解决了升级过程中的风险问题，通过精心设计的迁移步骤，确保了数据的一致性和系统的稳定性。 需要注意的是，在实际操作中，HBase升级需要综合考虑多个因素，包括但不限于数据迁移、版本兼容性、系统性能监控、以及后期的调优。尽管升级到新版本存在一定的复杂性，但是社区对新版本的持续支持和改进是推动升级的决定性因素。 Pinterest的HBase升级实践不仅向我们展示了升级过程中可能遇到的技术难题，还展示了通过周密计划和创新技术策略能够成功克服这些难题，提升系统的可靠性和性能。对于那些使用HBase或者考虑使用HBase作为存储解决方案的公司来说，Pinterest的经验具有重要的参考价值。