2024年01月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
日志采集支持 ES serveless | 日志采集支持 ES serveless ，在集群详情页面, 可以设置集群绑定的 ES Serverless Index, 用于作业运行日志的采集和检索。用户还可以使用 ES Serverless 作为运行日志采集, 这种方式也能对日志作实时检索 | 2024-01-08 | |
支持访问管理的角色用户 | 支持访问管理的角色用户配置角色权限，添加成员等 | 2024-01-08 | - |
新增压缩格式 | Flink 支持lz4等格式压缩，扩展写湖的压缩方式 | 2024-01-08 | - |
支持 FlinkSQL CDC 模式下 Log 复用能力 | 支持 FlinkSQL CDC 模式下 Log 复用能力 | 2024-01-08 | - |
2023年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
CLS 日志检索优化 | CLS 日志支持起始位置往后查询，CLS 日志查询准确性优化 | 2023-11-24 | |
快照管理优化 | Checkpoint 快照支持生命周期管理，可以在作业参数中配置Checkpoint 快照的保存策略 Savepoint 快照支持删除，可以在作业快照中进行删除操作 | 2023-11-24 | |
日志输出优化 | Taskmanager 日志输出优化，方便错误日志信息快速定位 DEBUG 级别日志默认去掉 BaradReporter 相关上报的日志 | 2023-11-24 | |
实例和版本关联优化 | 日志、快照等页面展示实例对应的版本，方便快速定位作业代码的版本 | 2023-11-24 | - |
事件管理优化 | 作业事件管理优化，信息提示更全，有完整的错误堆栈日志，有明确的报错的TM，方便定位问题 | 2023-11-24 | |
Flink CDC 2.4版本支持 Postgre 数据库 Source | Flink CDC 2.4版本支持 Postgre 数据库 Source | 2023-11-24 | |
Redis 优化 | 新增支持 Redis 写入支持缓存和异步化功能 | 2023-11-24 | |
Hudi Connector 版本升级 | 升级了Hudi Connector 版本 | 2023-11-24 |
2023年10月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
作业启动优化 | Kafka 作业支持按照时间消费，用户可以直接在启动作业的时候通过选择时间来指定恢复 | 2023-10-01 | - |
变量功能优化 | 配置表变量支持批量配置变量值，用户可以使用批量配置功能对同样变量值（常用如ip等）进行一键配置，减少重复配置时间 优化表变量替换提醒，用户在点击语法检查或者发布草稿时，会校验表变量替换是否提交，如果校验有未提交的表变量替换时，会有二次弹窗确认 | 2023-10-10 | |
批量启动作业优化 | 优化了作业批量启动慢的问题 | 2023-10-10 | - |
Kudu 相关优化 | 写 Kudu 支持 Kerberos | 2023-10-10 | |
Mysql-cdc Jar 包相关优化 | Mysql-cdc Jar 包支持客户自定义 Converter 的注册 | 2023-10-10 | |
binlog 相关优化 | 在单个作业订阅多个 mysql 数据库 binlog 时，优化 schema 反序列化到 state 时的资源消耗 支持一个任务里订阅多个binlog，实现cpu共享，降低使用成本 | 2023-10-10 | - |
增加 Pulsar 监控指标 | 新增支持 Pulsar Connector 的相关监控指标 | 2023-10-10 | - |
支持 Oracle CDC Connector | 新增支持 Oracle CDC Connector | 2023-10-10 | ? |
2023年09月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
整库同步功能优化 | 整库同步功能支持 tinyint(1) 整库同步支持变量替换 | 2023-09-01 | - |
2023年08月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
Canal Protobuf 功能优化 | 多版本支持 Canal Protobuf 功能 | 2023-08-17 | - |
Session调试功能优化 | Session 调试支持 Flink-1.16 版本集群作业 | 2023-08-17 | |
支持算子级别细粒度资源配置 | 支持进行算子级别的资源配置，生成算子逻辑图，设置多个SLOT，以及对算子单独调整并行度、CPU、内存、 State TTL 等 | 2023-08-17 | |
上线 Logger Sink | Logger Sink 是腾讯云 Oceanus 提供的一个自定义 Logger 示例，它可以将最终的结果数据写入 TaskManager 的日志文件中，后续可以通过 Flink UI 或者控制台的日志面板查看这些日志的输出。Oceanus 平台已内置 Logger Sink。 | 2023-08-17 | |
SQL 解析分段优化 | 进行了 SQL 解析分段优化，通过采样数据进行了实际测试，性能为优化前的 2.5 倍 | 2023-08-17 | - |
ClusterMaster 优化 | 提升大规模调度场景下，ClusterMaster 的命令获取和分发速度 | 2023-08-17 | - |
日志级别设置优化 | 支持指定类名分别设置日志级别 | 2023-08-17 | |
SQL 编辑器优化 | SQL 代码支持自动保存 | 2023-08-17 | - |
2023年07月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
新增支持 tdsql-mysql 版维表 | 新增支持 tdsql-mysql 版维表功能 | 2023-07-06 | |
作业延迟指标优化 | Flink 1.14 / 1.16 版本作业增加 kafka connector 延迟指标 | 2023-07-06 | - |
变量管理优化 | 变量管理中变量值更改为支持300字符，以适应更复杂的变量 | 2023-07-06 |
2023年06月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
MySQL-CDC 优化 | 优化 MySQL-CDC 连接复用自定义合并组时，保证每次划分顺序一致 修复 MySQL-CDC 开源版 BIGINT Chunk 划分时溢出导致的死循环 MySQL-CDC 加表流程优化 MySQL-CDC 最后一个 split 优化 | 2023-06-07 | |
权限工具 | 支持用户通过权限工具，对元数据加速 COS 桶和云 CHDFS 进行授权 | 2023-06-07 | |
作业支持标签配置 | 作业支持绑定标签，配置监控告警可以通过标签来配置告警，更加灵活便捷 | 2023-06-07 | |
事件告警优化 | 上报监控到事件总线时新增任务名及任务所在文件夹路径信息，排查问题更加方便直接 | 2023-06-07 |
2023年05月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持 Session 集群调试功能 | 支持使用作业调试功能模拟作业运行、实时检查输出结果，验证业务逻辑的正确性，提升开发效率，降低数据质量风险（Flink 1.13） | 2023-05-15 |
2023年04月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
增强 Flink UI 安全管控 | Flink UI 支持白名单配置访问 | 2023-04-17 | |
ClickHouse Connector 优化 | 优化由于多流 join 产生较多数据变化数据 Sink 造成 ClickHouse 压力的问题 | 2023-04-17 | |
配置作业日志级别优化 | 支持批量配置作业的日志级别 | 2023-04-17 | |
数据库连接 JDBC 优化 | 修复 Oracle JDBC 联合主键的语句拼接错误问题 | 2023-04-17 | |
监控指标能力优化 | 支持 Kafka 作业延迟指标展示和告警配置 | 2023-04-17 | |
文件系统 FileSystem 优化 | 新增支持 Raw 格式 Sink 到 FileSystem 时能支持 Snappy 等压缩格式的功能 | 2023-04-17 |
2023年03月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
依赖管理优化 | 优化依赖删除逻辑，依赖版本删除逻辑 | 2023-03-17 | |
支持新版本Iceberg Connector | 支持新版本 Iceberg Connector | 2023-03-17 | |
作业启动提示优化 | 作业启动前会检查子网 IP 是否充足，配置的并行度如果剩余 IP 数量不够会提示 | 2023-03-17 | |
支持SQL版本对比功能 | 支持用户对不同版本的 SQL 作业进行 SQL 代码和配置的对比 | 2023-03-03 | |
Redis Connector 优化 | 提升了 Redis 维表查询性能，在查询空结果较多的场景下，性能成倍的提升；支持 Flink 1.14 版本SQL作业使用 Redis Connector | 2023-03-03 | |
新增支持 Starrocks Connector | 新增支持 Starrocks Connector 基于开源的 starrocks-connector-for-apache-flink v1.2.4 实现，支持通过 Flink 读写 StarRocks。（Flink 1.13｜1.14） | 2023-03-03 | |
MySQL CDC 优化 | MySQL-CDC 忽略非 DDL 字段变更数据流 | 2023-03-03 | |
MongoDB CDC 升级版本 | 支持 MongoDB CDC 新版本使用 | 2023-03-03 | |
购买集群优化 | 2023-03-03 | - | |
增加异常作业展示/集群空闲 CU 展示 | 作业管理增加绑定集群 CU 概览，展示的都是绑定此工作空间的集群统计的信息，包括绑定的集群总数， CU 总数和空闲 CU 数；作业概览中新增指标告警作业总数和时间告警作业总数展示并支持点击快速筛选 | 2023-03-03 | |
库表引用功能优化 | 支持编辑 DDL，不用重复创建，用户可以编辑除 connector 之外的 with 参数，通过查看 DDL 页面增加变更记录按钮，点击变更记录可以跳转到变更记录页面，查看 DDL 的修改记录，方便回溯 | 2023-03-03 |
2023年02月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
作业批量删除优化 | 优化作业批量删除展示逻辑，不会再默认将只含无法删除作业的文件夹勾选 | 2023-02-09 | |
新增 SQL Server CDC Connector | 新增 SQL Server CDC Connector，SQLServer CDC 只支持作为源表，允许从 SQLServer 数据库读取全量数据和增量数据（Flink 1.14） | 2023-02-09 | |
支持 Doris Catalog | 引入 CDW Doris Catalog 来避免手工注册 Doris 表，提高作业开发的效率且保证 Schema 映射的正确性 | 2023-02-09 | |
Doris Sink 支持事务 | 支持写入 Doris 端到端 Exactly-Once ，保障事务性 | 2023-02-09 | |
Hadoop-shaded 包升级 | 社区的 flink-hadoop-shaded 包由于版本过低（2.7.5），出现兼容性问题，升级到最新版本 2.8.3 | 2023-02-09 | - |
KonaJDK 版本升级 | KonaJDK 版本升级避免死锁 | 2023-02-09 | - |
MySQL CDC优化 | 优化 MySQL-CDC String 字符串 Key 数据分布不均问题，字符串主键 Chunk 划分均匀，作业不再 OOM MySQL-CDC 链接复用支持 Kudu Sink ，采用新的 Flink Sink API 重构 Kudu Connector 优化 MySQL-CDC 用于 TDSQL GTID 问题导致作业失败问题 | 2023-02-09 | |
优化 Ingress 清理问题 | 优化 Ingress 清理失效规则和添加正常作业的规则 | 2023-02-09 | - |
事件告警优化 | 增加作业停止的事件类型操作配置告警的选项，跳转事件总线进行配置 | 2023-02-09 | |
创建作业副本优化 | 创建作业副本后副本可以携带手动创建的 Savepoint ，便于作业快速迁移及恢复 | 2023-02-09 | |
变量管理优化 | 目前变量名称支持 100 个字符 | 2023-02-09 | |
支持作业定时自动扩缩容 | 支持作业定时自动扩缩容，通过设置调优的起止时间、调优行为和扩缩容比例来完成指定的扩缩容操作 | 2023-02-09 | |
快照管理优化 | 目前作业默认保留最近的5个 Checkpoint ，保留的 Checkpoint 的数量可以在高级参数中配置关键字来设定保留多少份 Checkpoint | 2023-02-09 |
2023年01月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
JDBC Sink 优化 | 支持通过配置参数来控制是否忽略 Delete 操作 | 2023-01-16 | |
腾讯云数据仓库 TCHouse-P 优化 |
腾讯云数据仓库 TCHouse-P（flink-connector-cdw-postgre）支持2.0版本 | 2023-01-16 | |
Kafka Connector 问题优化 | Kafka Connector 库表订阅不准确问题修复 | 2023-01-16 | |
COS Connector 优化 | COS Connector META-INF Shade 错误 bug 修复；支持 Flink 1.14 版本 SQL 作业使用 COS Connector | 2023-01-16 | |
修复 TopN 等算子问题 | 修复 Flink 的 TopN 等算子遇到 now() 等函数时，可能出现状态不匹配而报错的问题 | 2023-01-16 | - |
2022年12月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
MySQL-CDC 监控指标优化 | 新增“数据在外部系统的滞留时间”、“数据在外部系统和 Source 中的滞留时间”、“作业反压最大百分比”和“数据倾斜程度”4个监控指标 | 2022-12-16 | |
整库同步 SQL 支持 Hive 自动建表 | 整库同步 SQL 支持在 Hive 中自动创建缺失的表 | 2022-12-16 | |
整库同步支持抽取元数据字段 | 整库同步支持抽取元数据字段，例如库名、表名、时间戳等 | 2022-12-16 | |
ClickHouse 新增支持数据类型 | ClickHouse 支持 Map/Array/Row 数据类型 | 2022-12-16 | |
支持数据湖计算 DLC | 支持写入数据湖计算 DLC 托管的原生表（Flink 1.14） | 2022-12-16 | |
支持消息队列 Pulsar | Pulsar SQL connector 允许您使用简单的 SQL 查询或 Flink Table API 从 Pulsar topic 查询数据或将数据写入 Pulsar（Flink 1.13｜1.14） | 2022-12-16 | |
MySQL-CDC 支持元数据字段优化 | MMySQL-CDC 支持访问元数据字段，例如 Pos/File/Gtid | 2022-12-16 | |
MySQL-CDC 联合主键 chunk 划分优化 | MySQL-CDC 联合主键场景下，支持手动选择指定列作为划分键 | 2022-12-16 | |
Redis connector 支持 Zadd 动态 key | Redis Connector 支持 Zadd 模式下采用动态字段作为 key | 2022-12-16 | |
Filesystem connector 优化 | Filesystem connector 支持 compress 算法 | 2022-12-16 |
2022年09月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
MySQL-CDC 性能优化 | 优化了 MySQL-CDC 增量阶段性能 | 2022-09-16 | |
COS Connector 版本升级 | 升级了 COS Connector 版本 | 2022-09-16 | |
支持自定义角色权限 | 支持自定义角色权限 | 2022-09-05 | |
Doris 性能优化 | 优化了 Doris 的写入性能 | 2022-09-05 | |
支持 Kafka Source 复用和整库同步 | 支持 Kafka Source 复用和整库同步（单 Topic 多 Schema） | 2022-09-05 | |
自定义作业日志级别 | 配置采集作业运行日志支持自定义作业日志级别 查看作业日志信息支持自定义作业日志级别 | 2022-09-05 |
2022年08月
2022年07月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持网络联通性检查 | 支持集群网络联通性检查功能 | 2022-07-20 | |
元数据管理支持表血缘 | 元数据管理支持表血缘查询 | 2022-07-20 | |
支持数据湖 Hudi | 支持数据源和数据目的数据湖 Hudi | 2022-07-20 | |
Flink 1.13.2 升级到 Flink 1.13.6 | Flink 1.13.2 升级到 Flink 1.13.6 | 2022-07-20 | - |
支持数据湖 Iceberg | 支持数据源和数据目的 Iceberg | 2022-07-06 | |
支持整库同步 SQL | 支持整库同步 SQL 语法糖（Flink 1.13｜1.14） | 2022-07-06 | |
ClickHouse 分区写入优化 | ClickHouse 分区写入优化 | 2022-07-06 | |
ClickHouse 压力感知优化 | 优化 ClickHouse 压力自动感知 | 2022-07-06 | |
Elasticsearch Null 值优化 | Elasticsearch Null 值优化 | 2022-07-06 | |
支持 MySQL CDC 连接复用 | 支持 MySQL CDC 连接复用（Flink 1.13｜1.14 mysql-cdc 2.2.0） | 2022-07-06 | |
MySQL CDC JM 内存优化 | MySQL CDC JM 内存优化（Flink 1.13｜1.14 ） | 2022-07-06 | |
Doris Connector 版本升级到社区最新版本 | Doris Connector 版本升级到社区最新版本 | 2022-07-06 |
2022年06月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
ClickHouse Sink 支持 ReplacingMergingTree | 用于解决 MergeTree 表引擎相同主键无法去重的问题，可以删除主键值相同的重复项 | 2022-06-24 | |
TDSQL Connector 支持单 Topic 过滤多表 | 支持对订阅数据表的正则过滤 | 2022-06-24 |
2022年05月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
上线 ETL 作业画布功能 | ETL 作业支持画布操作，降低操作门槛 | 2022-05-07 |
2022年04月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
增强快照管理 | 作业支持从 Checkpoint 启动，作业操作流程稳定性提升 | 2022-04-13 |
2022年03月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持元数据外部数据源 Hive Catalog | 支持元数据外部数据源 Hive Catalog | 2022-03-29 | |
新增数据目的消息队列 TDMQ RabbitMQ | 新增数据目的消息队列 TDMQ RabbitMQ | 2022-03-23 | |
新增数据源数据库 TDSQL | 新增数据源数据库 TDSQL | 2022-03-23 | |
上线多人协同能力 | 划分工作空间，新增预设角色，支持细粒度的权限控制 | 2022-03-16 |
2022年02月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持 Python 作业 | 支持开发 Python 作业 | 2022-02-26 | |
支持日志上传到 COS | 支持作业运行日志上传到 COS。 | 2022-02-21 | |
新增全局变量管理功能 | SQL 作业开发新增全局变量管理功能，变量替换可通过全局变量完成。 | 2022-02-21 |
2022年01月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
新增数据目的数据仓库 PostgreSQL | 支持数据目的数据仓库 PostgreSQL。 | 2022-01-25 | |
支持 Flink1.14 | 作业开发支持 Flink1.14版本。 | 2022-01-13 | - |
新增数据目的 MongoDB | 支持数据目的 MongoDB。 | 2022-01-13 | |
支持自定义 DNS | 支持在集群信息中设置自定义 DNS。 | 2022-01-13 | |
集群更换子网 | 支持集群更换子网，可在子网可用ip数不足等场景使用此功能。 | 2022-01-06 | - |
快照管理上线 | 支持查看快照，手动创建快照，从作业恢复快照。 | 2022-01-06 | |
优化作业启停流程 | 优化精简作业启停流程，结合快照管理优化产品体验。 | 2022-01-06 |
2021年12月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持灵活配置 CLS 日志 | 用户可以为 Oceanus 集群设置1个或多个 CLS 日志主题，供不同作业的运行日志灵活选用。 | 2021-12-10 |
2021年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
升级 LogListener 版本 | 升级 LogListener 版本，压缩上报到 CLS 的日志量。降低日志成本。 | 2021-11-01 | - |
优化 Flink-1.13 编译失败信息 | 任务编译失败后，及时返回错误信息，并迅速结束任务操作流程，避免一直等待。 | 2021-11-01 | - |
依赖管理文件分级 | 依赖管理列表支持层级管理，方便多人协同管理依赖文件。 | 2021-11-01 | - |
2021年10月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持配置文件管理与分发 | 支持控制台管理配置文件，支持配置文件动态下发到 Pod 运行环境。 | 2021-10-01 | |
集群创建可视化 | 支持查看集群创建进度。 | 2021-10-01 | - |
支持 Flink-1.13 内核版本 | 2021-10-21 |
2021年09月
2021年08月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
ETL 商业化版本发布 | 1. ETL 作业新增4个上下游连接器。 数据源：Postgres-CDC。 数据目的： ElasticSearch-6、ElasticSearch-7、PostgreSQL。 2. 新增 ETL 同步延迟等关键指标的监控。 3. 支持设置自定义调优参数。 4. 智能感知云上可用连接器资源。 | 2021-08-31 | |
元数据管理优化 | 优化创建元数据库表的交互。 | 2021-08-31 | |
新增数据源 MongoDB CDC | 支持数据源 MongoDB CDC。 | 2021-08-31 | |
新增数据源 Postgres CDC | 支持数据源 Postgres CDC。 | 2021-08-31 | |
新增数据目的 Oracle | 支持数据目的 Oracle。 | 2021-08-31 | |
监控与告警优化 | 监控中台指标读性能优化，流程诊断和错误信息展示优化。 | 2021-08-31 | - |
新增 Flink-connector-doris | 支持通过 Flink 将数据写入 Doris。 | 2021-08-31 |
2021年07月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持 Pod 崩溃现场采集功能 | 支持将 Pod 退出后的现场采集到用户的 COS，以供后续分析。 增加 TaskManager 监控页的 Pod CPU 和 Pod 内存指标项。 | 2021-07-20 | |
上线元数据管理功能 | 新增元数据管理功能，支持管理库表，支持 SQL 作业引用元数据管理处的库表 | 2021-07-14 |
?
