有奖捉虫:行业应用 & 管理与支持文档专题 HOT

条件及限制

Kafka 支持版本:
节点
版本
Kafka
0.10+

创建 Kafka 节点

1. 在数据集成页面左侧目录栏单击实时同步
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 Kafka 节点并配置节点信息。
?
?
4. 您可以参考下表进行参数配置。
参数
描述
节点名称
输入 Kafka 节点名称
数据源
Kafka 读取端数据源类型支持 Kafka、CKafka
Topic
Kafka 数据源中的 Topic
序列化格式
Kafka 消息序列化格式类型,支持:canal-json、json、avro、csv
消息类型
append 消息:Kafka 内消息来源于 append 消息流,通常消息中不携带唯一键。写入节点建议搭配 append 写入模式
upsert 消息:Kafka 内消息来源于 upsert 消息流,通常消息中携带唯一键,设置后消息可保证 Exactly-Once。写入节点建议搭配 upsert 写入模式
读取位置
启动同步任务时开始同步数据的起始位点
消费组 ID
请避免该参数与其他消费进程重复,以保证消费位点的正确性。如果不指定该参数,默认设定 group.id=WeData_ group_${任务id}
5. 预览字段,单击保存


http://www.vxiaotou.com