流计算 Oceanus 创建 ETL 作业-快速入门-文档中心-腾讯云

前提条件
流计算作业 ETL 作业需运行于流计算独享集群，若还没有集群，请参考 创建独享集群。 
步骤1：创建 ETL 作业
登录 流计算 Oceanus 控制台，进入某一工作空间后，单击左侧导航作业管理，进入作业管理页面，单击新建 > 新建作业，作业类型选中 ETL 作业，输入作业名称，并选择一个运行中的集群，新建的 ETL 作业将运行于此集群，单击确定后即成功创建作业。
?
?
?
注意
 注意: 当前ETL作业暂时只支持1.13版Flink，尚不支持1.13版本内核的集群需要先提 工单 升级后再使用。
步骤2：流计算服务委托授权
选择作业管理中刚新建的作业，单击开发调试。在未授权时，弹出访问授权对话框如下，单击前往授权，授权流计算作业访问您的消息队列或云数据库等资源。此授权的详细说明参见 流计算服务委托授权。
?
?
步骤3：配置数据源表
授权完成后，单击作业进入作业开发 > 草稿，从左侧列表拖入 MySQL 数据源。
?

单击 MySQL 数据源可以进行数据源的配置。
?
?
如果当前没有可用的数据库实例，可以单击管理连接信息，并单击新建连接信息增加新的数据源。

?
?
?
腾讯云实例可以使用当前账号下的腾讯云产品实例，但注意账号需要拥有对应产品的查询列表权限。
IP连接则直接用填入的 IP 进行连接，需要确保 IP 与 Oceanus 集群处于同一个 VPC 或是有进行过相关的网络打通操作。
选择好数据源之后，可以通过下拉框选择需要进行同步的数据库与表。

?
?
?

单击下一步，配置需要进行同步的字段，并单击确认完成配置。
?

再次返回画布，可以看到数据源已经配置完成。
?
?
步骤4：配置数据目的
从左侧拖入数据目的，并与数据源相连。

?
?
?

单击数据目的对象，配置好数据库实例与库表选择：
?

单击下一步进行字段映射配置：
?

完成后，单击确认完成数据目的的配置：
?
?
步骤5：设置作业参数
在作业参数中可以设置作业相关的参数，详情可以查看文档作业高级参数。

?
?
?
步骤6：发布运行 ETL 作业
单击运行，会进行作业预检查，并启动作业。
?
?
步骤7：查看作业日志
单击日志按钮可以查看作业日志。
?
?

创建 ETL 作业

本页目录：

前提条件

步骤1：创建 ETL 作业

步骤2：流计算服务委托授权

步骤3：配置数据源表

步骤4：配置数据目的

步骤5：设置作业参数

步骤6：发布运行 ETL 作业

步骤7：查看作业日志