SPARKSQL3.0-Spark兼容多版本Hive源码分析

本文深入分析SparkSQL3.0如何兼容不同版本的Hive，主要通过HiveExternalCatalog和HiveClient实现。讲解了Spark通过三种方式构建HiveClient，包括内置版本、用户指定版本和Maven下载版本。关键在于IsolatedClientLoader类，它利用自定义ClassLoader实现不同Hive版本的隔离。此外，文章还介绍了HiveClientImpl和shim接口，shim用于解决不同Hive版本API冲突，通过反射调用相应版本的实现。最后，文章给出了使用Spark兼容多版本Hive的注意事项和配置方式。