欢迎讨论:kettle加载到mysql插入更新优化方案之mysql批量加载【转载】!

-发帖者:
-参与讨论....
【主题】:kettle加载到mysql插入更新优化方案之mysql批量加载【转载】

前言:

:MySQL Bulk Loader组件必须在Linux下运行,因为MySQL批量加载时会创建一个命名管道,在Windows下是不支持的。加载工具用的是fifo
1.MySQL Bulk Loader组件介绍

wiki文档介绍
https://wiki.pentaho.com/display/EAI/MySQL+Bulk+Loader

这两个勾可限定是否根据主键替换

2.MySQL Bulk Loader组件实战介绍
有时对大表加工到mysql用表输出效率低,可采用如下的mysql批量加载方式,保证效率:

mysql批量加载需设置如下参数:否则不能加载
show variables like ‘max_binlog_cache_size’
show variables like ‘max_binlog_size’
show variables like ‘local_infile’

SET GLOBAL local_infile=1
set @@global.max_binlog_cache_size=18446744073709547520;
set @@global.max_binlog_size=1073741824;

 

mysql批量加载有timestamp类型时需加如下参数否则报错

为timestamp类型需如下选择:

3.提升kettle读写mysql性能的几个参数
kettle的DB连接的高级选项中添加如下参数:
rewriteBatchedStatements true
useServerPrepStmts false
useCompression true

如内容有错欢迎大家指正!!!
更多ketlle视频资料下载地址:kettle视频资料
另外也欢迎大家加入 下面的群来聊一聊 kettle那些事!
————————————————
版权声明:本文为CSDN博主「Dragon online」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_43398232/article/details/99671125

 发表评论     发表时间:『2020-05-28 14:16:35』


扫描二维码关注网站最新动态