kettle学习笔记,

数据抽取

下载kettle压缩包链接:

Kettle官方网址:https://community.hitachivantara.com/s/article/data-integration-kettle,目前最新版本8.2版本的,不建议官网下载,贼慢,压缩包一个G左右的。

Kettle的国内镜像:7.1版本,http://mirror.bit.edu.cn/pentaho/Data%20Integration/,8.2版本,http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/

需要安装配置好jdk

Window10环境下,双击Spoon.bat即可运行

新建转换,orcal数据库连接方法

 连接池相关参数介绍:

此池创建的连接的默认自动提交状态。
defaultAutoCommit
此池创建的连接的默认只读状态。
defaultReadOnly
此池创建的连接的默认TransactionIsolation状态
defaultTransactionlsolation
此池创建的默认连接目录
defaultCatalog
将用于在将连接返回给调用方之前验证此池中的连接的SQL查询。
如果指定,此查询必须是至少返回一行的SQL SELECT语句。
validationQuery
指示在从池中借用对象之前是否验证对象
testOnBorrovv
对象返回池之前是否验证的指示
testOnReturn
指示空闲对象逐出器(如果有)是否验证对象。如果某个对象无法验证,它将从池中删除。
testvthileldle
空闲对象逐出器线程运行之间的休眠毫秒数。如果为非正,则不会运行空闲对象逐出器线程
为此池启用准备好的语句池
poolPreparedStatements
可以同时从语句池中分配的打开语句的最大数目,如果没有限制,则为零
maxOpenPreparedStatements
控制PoolGuard是否允许访问基础连接
accessToUnderlyingConnectionAllowed
空闲对象逐出器线程运行之间的休眠毫秒数。如果为非正,则不会运行空闲对象逐出器线程。
timeBetweenEvictionRunsMvillis

#< 初始化连接 >
dataSource.initialSize=10
#<最大空闲连接 >
dataSource.maxIdle=20
#< 最小空闲连接 >
dataSource.minIdle=5
#最大连接数量
dataSource.maxActive=50
#是否在自动回收超时连接的时候打印连接的超时错误
dataSource.logAbandoned=true
#是否自动回收超时连接
dataSource.removeAbandoned=true
#超时时间(以秒数为单位)
dataSource.removeAbandonedTimeout=180
#<! 超时等待时间以毫秒为单位 60000毫秒/1000等于60秒 >
dataSource.maxWait= 60000

定义错误处理:、

按住shift键从表输出拖到空操作,选择错误处理步骤

 右键表输出选择定义错误处理,出现如下页面,选择目标步骤为空操作,启用错误处理,以及想要显示的数据点击ok

 参考链接:http://www.kettle.net.cn/2794.html

https://blog.csdn.net/sb___itfk/article/details/45392089

https://www.kettle.net.cn/2814.html

原文地址:https://www.cnblogs.com/jinseliunian/p/15668291.html