kettle数据抽取流程总结.docx

kettle数据抽取流程总结 Kettle是一个功能强大且灵活的ETL（Extract、Transform、Load）工具，广泛应用于数据集成、数据转换和数据加载等领域。下面是kettle数据抽取流程的总结。 一、一般转换流程 一般转换流程主要分为表输入、字段选择、字符串操作、插入/更新四个步骤。 1. 表输入 在 kettle 中，表输入是指从数据库中读取数据的过程。在这个步骤中，我们需要新建数据库连接，填写相应的信息，包括连接名称、连接类型、连接方式、设置（数据库相关信息）。所有信息填写完成之后可以点击测试按钮查看数据库连接是否成功，否则检查以上所填信息直至修改成功即可。 2. 字段选择 字段选择是指获取上一步操作所有的字段，并对字段进行选择和处理。在这个步骤中，我们可以修改字段名、字段类型、长度、格式等。 3. 字符串操作 字符串操作是指对获取到的数据去除左右两端空格。 4. 插入/更新 插入/更新是指将获取到的数据插入或更新到指定数据库的表中。在这个步骤中，我们需要新建数据库连接，选择目标表，获取查询的关键字，一般是目标表中的主键。获取更新字段，表中的字段与流中的字段一一对应，上一步中的关键字不需要更新。 二、作业流程 作业流程主要包括 START、SQL、转换、成功这四个部分，其中转换可以根据实际情况将同一类型的数据抽取转换，或相关联的数据抽取转换放在一个作业中。 1. START START 是作业流程的开始标志。 2. SQL SQL 语句是指在 SQL 中填写相应的 sql 语句，用于动态监测作业流程的执行步骤，获取作业流程的执行时间，并保存在数据库中。 3. 转换 转换是指在第一部分中我们写好的转换流程，找到其对应的路径即可。 4. 成功 成功是指作业流程的结束标志。 三、特殊的转换流程 1. 检查住院号是否被删除 该转换流程主要是针对病人办理了住院却又未住院，导致 his 中的数据已经删除，但更新到 mysql 中的数据还会继续展示到页面的现象。 2. 护理记录转换流程 护理记录转换流程是指医院 his 中的护理数据是通过病人护理文件、病人护理记录、病人护理明细三张表联合而来，因此我们在查询时，首先要获取到患者的住院号、病人 id、主页 id，再根据患者的病人 id、主页 id 通过病人护理文件获取到文件 id，再根据文件 id 通过病人护理记录表获取到记录 id，再根据记录 id 通过病人护理明细表获取到具体的护理数据，最后通过病人id、住院号、记录时间以列转行的方式转变成医生站项目护理记录表结构所需要的数据。 3. 病程记录转换流程 病程记录转换流程是指在 his 中，病程记录相关数据是以 xml 的形式存放在 zldoc 数据库中，并且只保存有患者的病人 id 以及病程记录的保存时间，不能将患者的住院号与每一次住院时的病程记录对应起来。因此，需先获取到患者的病人 id、住院号、入院时间、出院时间，然后根据病人id、入院时间、出院时间将病程记录与住院号相对应。 kettle 数据抽取流程是指将数据从源系统中抽取出来，并按照指定的格式和结构转换为目标系统所需要的数据。通过本文，我们可以了解到 kettle 数据抽取流程的基本步骤和特殊的转换流程，从而更好地使用 kettle 工具来实现数据集成和数据转换。