荒的博客

Sakila是在线DVD租赁商店系统的数据库，Sakila示例数据库最初由MySQL AB文档团队的前成员Mike Hillyer开发，现在由MySQL文档团队维护和销售。Sakila的主要目的是支撑DVD租赁商店的业务流程，下面列举了一些业务流程活动中的关键点来理解数据库是如何支撑的。客户可以在任何一家商店租赁一张或多张光盘，同时，商店希望客户在每张光盘对应的租赁期内归还之前租赁的光盘。每个商店维护自己的租赁影片清单，当客户取走或归还DVD光盘时会有一个专门的店员对这个清单进行维护。

另外一种是直接在后面的转换中，调用，注意参数写法，不再使用？这样可以简化变量的获取。在作业中设置的变量，如何使用，可以有两种方式，首先在作业中设置好需要调用的变量。变量可以在转换中设置，也可以在作业中设置。，然后在后面的转换中获取该变量，并使用。

原因：转换中的所有步骤都是并行运行的，没有特定的执行顺序。也就是说，设置的变量在当前转换里是不起作用的。解决方法：是在job里将设置变量作为一个前置的转换，然后将引用该变量的转换作为后置转换。不能在当前转换中立即使用，需要在作业的下一个步骤中使用。里面由一个作业分类，里面有。

在安装目录下，找到kettle.properties文件。一般位于C盘用户下面，在里面可以设置全局变量，重启Spoon后生效。以下调用的参数可以使用%%变量名%%或者${变量名} 这两种写法均可。在Kettle中可以查看这两个参数是否添加成功。以下通过一个分页查询来测试全局变量的使用。相当于分页查询，第一页，每页显示4条。此处添加了两个参数。

javascript中年月必须要特殊处理，Year + 1900 等。此处移除原始字段date，因为后续将使用新字段new_date。转换:增加序列、计算器、字段选择。脚本:JavaScript代码。输出:Excel输出。导出的excel如下。

通过经纬度作为入参，调用高德地图接口，解析获得省市区。通过经纬度作为入参，调用高德地图接口，解析获得省市区。adcode 行政区编码 例如：110108。city 市。district 区。province 省。

文档，需要文档中的部分数据，存入excel输出。功能类似于GET请求的接口。kettle中步骤如下。

官方链接：https://lbs.amap.com/api/webservice/guide/api/georegeo/部分返回值当返回值存在时，将以字符串类型返回；当返回值不存在时，则以数组类型返回。响应结果的格式可以通过请求参数 output 指定，默认为 JSON 形式。案例如下：在浏览器端输入。

支持明细报表、分组报表、交叉报表等基础表样，同时提供灵活的公式运算功能，如同比、环比、排名、占比等，以满足企业对多样化数据展现的需求。主子报表：单表式主子报表一般数据集会有两个以上，分别是主表的数据集和子表的数据集，在展现上，一般要求主表以自由格式展现，子表以列表格式展现，为一对多的关系，子报表可能同时存在多个。随着企业对数据应用的重视不断增加，数据可视化成为关注焦点，特别是在面向企业领导层的数据展示中，需要将多类信息综合汇总并集中展示在一个报表中，这就是所谓的管理驾驶舱。专门针对解决大型报表难题设计；

2）当运行结果为真时执行：当上一个作业项的执行结果为真时，执行下一个作业项。这是一种绿色的连接线，上面有一个对钩号的图标。作业的跳是作业项之间的连接线，它定义了作业的执行路径。作业里每个作业项的不同运行结果决定了做作业的不同执行路径。3）当运行结果为假时执行：当上一个作业项的执行结果为假或者没有成功执行时，执行下一个作业项。这是一种红色的线，上面有一个红色停止图标。1）无条件执行：不论上一个作业项是否执行成功或失败，下一个作业项都会执行。这是一种蓝色的连接线，上面有一个锁的图标。

分组控件的功能类似于Group By，可以按照一个或者几个字段进行分组，然后其余字段都可以按照聚合函数进行合并计算。注意，在分组之前，数据最好先进行排序（按照分组字段排序）。给其余字段选择合适的聚合函数进行计算。

左连接的意思就是数据流原本的数据全部都有（表输入），但是数据库查询控件查询出来的数据不一定全部会列出来，只能按照输入匹配的条件来进行关联。数据库查询是从数据库中查询出数据，然后跟数据流中的数据进行左连接的一个过程。（类似于left join 其中表输入为主表）查询是转换里面的第九个分类，查询控件是用来查询数据源里面的数据，并合并到主数据流当中。4.获取返回字段（相同字段可删除一个），得到查询返回的值。3.输入两个表进行左连接的条件。1.选择合适的数据库连接。2.输入要查询的表名。

Switch/case控件，最典型的数据分类控件，可以利用某一个字段的数据的不同的值，让数据流从一路到多路。3.填写分类数据的判断条件和目标步骤。2.选择判断字段的值的类型。1.选择需要判断的字段。

替换NULL值，顾名思义就是将数据里面的null值替换成其他值，此控件比较简单，但是在企业里面也会经常用到。2.也可以选择字段，在下面的字段框里，根据不同字段，将null值替换成不同的值。1.可以选择替换数据流中所有字段的null值。

利用excel输入控件读取input目录下的06_去除重复记录.xlsx，然后对里面重复的数据进行按照id排序并去重。，排序记录控件可以按照指定的字段升序或降序对数据进行排序。因此排序记录+去除重复记录控件常常会组合使用。去除重复记录是去除数据流里面相同的数据行。但是此控件使用之前要求必须先对数据进行。，对数据排序用的控件是。

转换控件是用来转换数据。转换是ETL里面的（Transform），主要做数据转换，数据清洗的工作。ETL整个过程中，Transform的工作量最大，耗费时间也比较久，大概可以占到整个ETL的三分之二。由于Kettle中自带的转换控件比较多，本文只挑选出开发中经常使用的几个转换控件来进行讲解。

更新和插入/更新，这两个控件是kettle提供的将数据库已经存在的记录（目标）和数据流（来源）的记录进行对比的控件。本章节任务：手动修改下student表的数据（修改和新增），然后用修改后的数据和student2来进行比较，分别尝试更新和插入/更新控件的区别。是将数据库中的数据和数据流中的数据做对比，如果不同就更新，如果数据流的数据比数据库中的数据多，那么就报错。：我们一般用主键进行对比，如果主键不能一一对应，比如student表的id是1。的功能和更新一样，只不过优化了数据不存在就插入的功能，

在做ETL的时候，连接MySQL读取含有timestamp类型的表，会报错，在连接上添加如下信息，问题就能解决。解决：在jdbc连接时添加时区 serverTimezone Asia/Shanghai。kettle 调度时出现时区问题，导致数据调出加了8小时。问题：调度时 ，调度时间增加了8个小时，导致数据不准确。原因：因为mysql 有时区问题，差了8小时。方案：以表kx_kq_store 表为例。二、关于增量同步的问题。

KETTLE 数据同步

一、脚本运用。

Oracle数据库中自带的4张表： dept、emp、bonus和salgrade是练习SQL查询的经典案例表，本文提供在MySQL中建这4张表的SQL语句。

本人采用以上两种军不成功，故采用此种方式成功。在如下文件中添加代码。注意此处驱动名称根据不同版本的MYSQL会有不同的驱动。数据库类型选择Generic Database。mysql8.1 连接配置。mysql5.7 连接配置。三、采用JNDI连接方式。一、缺少驱动，在官网。

jacob.jar的结构：jacob包括两个部分：com.jacob.activeX: ActiveXComponent类com.jacob.com: 其它类和元素Jacob类：Jacob的结构很简单，包含以下几个类：ActiveXComponent：封装了Dispatch对象，用于创建一个封装了COM组件对象的Java ObjectDispatch：用于指向封装后的M...

利用jacob.jar可以将多个word文档进行合并,先要手动导包以及根据系统进行一些配置，见博客测试文件三个，如下：三个文档的内容如下：java代码如下：package util;import java.io.File;import java.util.ArrayList;import java.util.List;import com.jacob....

首先得要有一个注册了的微信账号(已认证)，登录官方微信公众平台输入用户名和密码，弹出二维码，扫码登录在下面的地方可以对管理员进行修改，例如更换管理员(登录时微信扫码用的就是管理员的微信)，若你已经是管理员，则跳过此处下一步就是将你的ip加入白名单之中，步骤如下：开发--基本配置--IP白名单点击查看，显示已有的ip，将你的IP添加进去即可，此处又需要扫码才...

postgresql 查询子节点

多种表关联 join

注意事项

存储过程

mysql基础四

mysql基础3

mysql基础查询2

mysql基础查询1

sql查询存储结果到另一张表

数据库准备DROP TABLE IF EXISTS `company`;CREATE TABLE `company` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '公司ID', `parentId` int(11) DEFAULT NULL COMMENT '上级公司ID', `com_name` varchar(50) DEFAULT NULL COMMENT '公司名称', PRIMARY KEY (`id`)) ENGINE=

表结构及数据DROP TABLE IF EXISTS `course`;CREATE TABLE `course` ( `id` int(11) NOT NULL, `name` varchar(50) DEFAULT NULL COMMENT '姓名', `course_name` varchar(50) DEFAULT NULL COMMENT '课程名称', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;--

mysql数据库中某字段类型为text 里面存入的是字符串 且为json格式，无空格例如如何获取里面某个属性的值呢在Mybatis中，代码如下package com.tedu.dao;import java.util.List;import org.springframework.stereotype.Repository;import test.demo.Emp;@Repositorypublic interface JsonDao { List<String> f

mysql 计划执行定时任务

postgresql 序列

mysq 重复查询