kettle实验：数据仓库缓慢变化维更新类型2

通过本次实验，学生不仅掌握了Kettle的基本操作，如创建转换、设置数据库连接、执行SQL查询、数据类型转换等，还了解了数据仓库的设计和构建，以及Python数据分析的基础。此外，实验也强化了对MySQL数据库管理和数据...

要想在百度八亿网页的数据海洋中找到你所要的信息， 人工方式需要1200 多人年，而百度搜索技术不到1 秒钟。人 们被数据淹没，却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业中 现有的数据转化为知识，帮助企业做出明智决策的IT工具集。 其中数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据中，提取有用数据，进行清理以保证数据的正确性， 然后经过抽取、转换、装载合并到一个企业级的数据仓库里， 从而得到企业数据的一个全局视图，并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理， 最终将知识呈现给管理者，为管理者的决策过程提供支持。 可见，数据仓库技术是商业智能系统的基础，在智能系统开 发过程中，星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于中央的事实表和环绕在四周的维度表 组成的，事实表中的每一行与每个维度表的多行建立关系， 查询结果是通过将一个或者多个维度表与事实表结合之后产 生的，因此每一个维度表和事实表都有一个“一对多”的连 接关系，维度表的主键是事实表中的外键。随着企业交易量 的越来越多，星型模式中的事实表数据记录行数会不断增加， 而且交易数据一旦生成历史是不能改变的，即便不得不变动， 如对发现以前的错误数字做修改，这些修改后的数据也会作 为一行新纪录添加到事实表中。与事实表总是不断增加记录 的行数不同，维度表的变化不仅是增加记录的行数，而且据 需求不同维度表属性本身也会发生变化。本文着重讨论数据 仓库维度表的变化类型及其更新技术。

解决kettle使用表输出到hive2时，批量提交不起作用导致速度非常慢的问题，重新编译big-data-plugin插件使表输出支持对hive2批量提交，速度由几十条每秒提升到三千条每秒。