将在线数据加载到阿里云Greenplum

  • 时间:
  • 浏览:0

 

本文使用的软件是开源ETL 工具软件 Kettle 5.x,以及基于Kettle的傲飞数据整合平台,该平台都可以 用来Kettle作业的调度、监控等功能、要都可以 完成数据源管理等功能。

 

无论手工还是调度运行,在监控列表里时会有作业的运行状况,运行时间,错误日志等信息。

 

 

解压缩即可安装,平台的安装配置土办法见下载文档内的《傲飞数据整合平台使用说明书》

关于OSS 的加载,请参考:https://help.aliyun.com/document_detail/35457.html

OSS 阿里云对象存储服务(Object Storage Service,简称OSS),是阿里云对外提供的海量,安全,低成本,高可靠的云存储服务。目前Kettle 对OSS的支持还在开发中。  不过目前用户要都可以 手动将文件上传到 OSS 服务中,使用之类于下面的SQL 创建可是基于OSS的实物表。

双击spoon.bat 文件,启动spoon,在登陆窗口中输入傲飞数据整合平台的URL ,用户名和密码,如下图:

7.LOG ERRORS SEGMENT REJECT LIMIT 5;

在【周期调度】里取舍【增加普通调度】选项,在【新增调度】窗口里取舍作业“从原系统到目标系统的转换”,如下图:

 

取舍主窗口左侧菜单的【数据源管理】里的【本地数据库管理】,机会直接在登陆首页中取舍【本地数据库】快捷图标。如下图:

机会要使用SQL 土办法加载,要拖拽【表输入】步骤和【表输出】步骤到画布上,并连线(按住Shift键,同去移动鼠标),在表输入步骤中配置SQL 说说,在表输出步骤中配置输出表的名称即可,如下图:

1.create READABLE external table ossexample

2.(date text, time text, open float, high float,

进入资源库后,在设计窗口中取舍【文件】->【新建】->【转换】,如下图:

新增加的调度都可以 按照设置好的调度土办法运行,要都可以 通过点击【运行】按钮,手动运行,如下图:

3.low float, volume int) 

 

 

取舍运行土办法【本地运行】,并设置调度土办法为每天的16:00 运行,如下图:

5.filepath=osstest/example.csv id=XXX

 

注意:

点【取舍】后,把作业保存到资源库中。

资源库是Kettle 里保存作业的数据库。首先登陆傲飞数据整合平台(默认用户名,密码 admin/admin),在傲飞数据整合平台的【资源库管理】里,新创建可是资源库,资源库的数据库名称使用时候创建的 etl_platform 数据库,注意数据库地址要用外网的ip地址,机会将来kettle 客户端会连接该ip 地址。

机会客户端长时间不操作,服务端会自动断开和客户端的连接。 此时从客户端保存到服务端时机会报告数据库连接错误。机会地处此类错误,只需先资源库连接,再重新连接资源库即可。

4.location('oss://oss-cn-hangzhou.aliyuncs.com

机会需要在输入和输出之间做各种数据格式转换,数据清洗,拆分,组合等各种操作,要使用Spoon 设计器里提供的各种步骤(连数成金论坛有 Kettle 培训课程)

取舍【文件】->【另存为】 ,在【转换属性】窗口中,设置转换名称:从原系统到目标系统的转换,在【目录】输入框取舍要保存的资源库目录,如下图

本文说明怎么设计可是 ETL 作业以便将在线关系数据库里的数据,加载到阿里云的Greenplum 数据库中,怎么调度和监控该ETL 作业的日常运行。

1.Java 1.6 1.7

 

当少许数据时,都可以 使用 Greenplum 批量加载】步骤完成加载,Greenplum 批量加载使用了Copy 命令土办法加载,加载速度比SQL 土办法快。【Greenplum 批量加载】步骤的配置如下图所示:

 

6.key=XXX bucket=testbucket') FORMAT 'csv'

 

上述软件都很久安装部署到阿里 ECS 上。

2.傲飞数据整合平台的下载地址(中含了 Kettle和服务端):http://pan.baidu.com/s/1cmSPEe

机会登陆成功,会出现【资源库连接】取舍框,这里取舍大伙刚创建的资源库,如下图:

 

 

取舍【新增】,在【新增数据源信息】窗口中设置可是数据源,可是是原数据源,可是 是要加载到的阿里云Greenplum 数据源,数据源配置参考如下图所示:

 

关于怎么将企业内网数据库里的数据,加载到阿里云的greenplum 中,下文继续。

3.安装 Mysql 数据库 5.1 或以上版本,并以 UTF-8 编码新建可是数据库 etl_platform,