2023年11月
如下表格介绍了数据开发治理平台 WeData 11月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
全平台 | 新增 调度资源组上线新规格，支持 Python 包安装自助运维能力和跨项目共享能力，提供资源组的监控和告警功能。 | 2023-11-30 | - |
数据集成 | 新增 新增 SQL Server > TCHouse-P、Oracle > TCHouse-P 实时同步链路。 新增 Oracle、SQL Server、Mongo 单表读取节点支持仅增量读取方式。 支持正则表达式批量匹配分库分表。 集成资源组支持指标监控与告警。 优化 优化离线资源指标计算及资源动态扩缩容逻辑，提升离线任务运行稳定性和可靠性。 提升集成离线任务补数据运维能力，包括多时间选择、补录资源切换、并行度设置等。 文件类数据读取与写入能力增强。全面优化 FTP/SFTP 数据源离线读写，COS 文件离线写入能力提升，支持 ORC 格式写入，目标路径支持时间变量。 离线读写性能优化，Hive ORC 格式写入性能提升。 新增新用户引导流程，优化前端细节交互体验 | 2023-11-30 | - |
数据开发 | 新增 跨项目克隆支持按照工作流和任务的方式选择，并且支持任务的监控告警克隆通知。 任务执行支持 EMR 中 HiveSQL 和 Kyuubi 等系统源的 Kerberos 认证方式。 | 2023-11-30 | - |
数据服务 | 全新数据服务功能上线，满足客户低代码快速发布数据服务需求。 | 2023-11-30 | 有意向的用户可联系客服开通白名单。 |
2023年10月
如下表格介绍了数据开发治理平台 WeData 10月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
项目管理 | 新增 正式发布北京金融专区 优化 支持用户自行指定任务创建时使用的默认资源组，并支持按照资源组的维度筛选和查看任务及实例，提升用户运维效率。 | 2023-10-31 |
2023年09月
如下表格介绍了数据开发治理平台 WeData 9月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
项目管理 | 新增 支持页面化查看系统角色权限。 新增图数据库 GDB 数据源。 新增 TCHouse-X 数据源管理。 优化 MySQL、TiDB 数据源注册信息优化。 数据源授权场景下复制功能优化。 项目列表显示优化。 | 2023-09-27 | - |
数据开发 | 新增 支持在 Shell、Python 任务中使用用户自己上传的程序包资源。 全局搜索支持回收站功能。 跨项目克隆支持工作流中虚拟任务节点的克隆。 扩展批量操作的能力，包括批量修改数据源、批量提交、批量修改调度周期等，提供批量操作的异步进度查看。 任务审批记录按照任务和申请人进行聚合。 优化： 任务创建和任务提交接口和代码（开发和调度态）解耦。 针对单个任务的调试提供按照个人用户隔离的功能，方便多个用户单独调试运行一个任务。 | 2023-09-27 | - |
调度平台 | 新增 任务跨周期依赖时，天任务依赖于小时、分钟任务的场景下支持部分自定义功能。 执行机提供 Python 包管理能力。 增加任务的多事件依赖功能。 适配开启 Kerberos 的 EMR 集群的 HiveSQL 任务和 Kyuubi 任务。 创建任务增加自定义【首选资源组】的功能。 优化 任务增加按照是否配置告警来筛选。 DLC Spark 任务日志查询和展示形式改造。 修复重跑和补录会自动依赖事件判断的问题。 支持按照资源维度来查看任务。 任务诊断信息中增加上游尚未运行完成的任务实例列表。 | 2023-09-27 | - |
运维中心 | 新增 支持查看实例和任务的资源组，并按照资源组检索实例及任务。 优化 运维中心交互优化调整 | 2023-09-27 | - |
2023年08月
如下表格介绍了数据开发治理平台 WeData 8月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
全平台 | 新增全平台操作日志接入操作审计，进一步提升平台安全性。 | 2023-08-07 | |
数据集成 | 新增 支持 Mysql-Doris 整库同步，支持 DDL 感知与变更、优化支持批量及手动建表。 实时同步至 DLC 新增支持全量 append+ 增量 Upsert 模式。 | 2023-08-07 | |
? | ? | ? | |
数据开发 | 优化 全局搜索功能交互和重构优化。 | 2023-08-07 | |
数据运营 | 优化 数据运营支持 MySQL、Kafka 等集成任务血缘解析，满足更多项目客户业务场景的需要，拓展平台资产管理范围。 | 2023-08-07 | |
2023年07月
如下表格介绍了数据开发治理平台 WeData 7月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
管理控制台 | 新增 新增支持 WeData 版本费用与执行资源组费用通过分账标签进行账单管理的功能。 | 2023-07-28 |
2023年06月
如下表格介绍了数据开发治理平台 WeData 6月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 新增支持在数据工作流中，各计算任务节点间的变量参数传递功能。 优化 SQL 慢查询优化。 实例执行失败日志信息优化，展示关键异常信息和提示解决方案。 周期实例任务阻塞时，诊断功能输出阻塞原因与处理方法。 | 2023-07-01 | |
数据服务 | 新增 新增 API 批量上线功能。 新增标签管理功能，支持为 API 标记标签属性。 新增 API 创建时批量添加参数与清空参数的功能。 优化 请求与响应参数支持多种云 API 标准类型，包括 String、Integer、Boolean、Float、Double、Date、Timestamp、Timestamp ISO601、Binary。 | 2023-07-01 | 有意向的用户可联系客服开通白名单。 |
数据质量 | 新增 质量报告质量分计算逻辑整体优化，新增3种计分模式供用户选择。 质量报告支持 excel 导出。 优化 质量报告数据筛选条件优化，支持筛选到表。 质量报告维度权重修改支持立即生效，计算状态进行提示。 质量报告支持下钻查看规则质量分明细。 | 2023-07-01 |
2023年05月
如下表格介绍了数据开发治理平台 WeData 5月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
管理控制台 | 新增 新增调度执行资源组的资源监控功能，显示 CPU、内存、实例数、负载等指标的实时变动信息。 | 2023-06-01 | |
数据开发 | 优化 工作流任务节点支持全周期类型的依赖配置。 补数据能力流程优化。单独提供数据补录配置页面，以区分补录任务与其他任务实例。 | 2023-06-01 | |
数据安全 | 新增 新增 DLC 策略权限管控功能，根据 DLC 系统源登录查看该引擎下的策略配置信息，策略配置全局有效，只有主账号和 CAM 授权账号有权限进行用户新增、编辑和授权操作。 | 2023-06-01 | |
数据质量 | 新增 支持 SparkSQL 引擎，并允许用户选择质量任务执行引擎。 | 2023-06-01 |
2023年04月
如下表格介绍了数据开发治理平台 WeData 4月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 用于支持参数在上下游任务之间传递。将当前任务的计算结果（首行）作为参数传递给子任务使用 数据开发和编排功能支持 SQL 标签语句功能，用户可以在 SQL 中使用 if-else、for 循环等逻辑判断，从而用更简单的代码实现更加复杂的业务逻辑 优化 trino数据获取元数据优化 开发空间和编排空间解析时间变量优化 DLC-Presto/DLCSQL 日志详情优化 | 2023-04-24 | |
数据集成 | 新增 新增 kafka -ES 实时数据同步链路。 支持 vmscript 分支语法。 | 2023-04-24 | |
数据质量 | 新增 数据质量支持 DLC。 监控订阅新增企业微信群通知。 | 2023-04-24 | |
? | ? | ? | ? |
2023年03月
如下表格介绍了数据开发治理平台 WeData 3月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 项目间相互导入导出数据开发任务、数据工作流功能 优化 开发空间支持 DLC 全部日志和进度展示 开发任务输入字节数上限调整为90000 开发任务支持页签拖拽与固定操作 编排空间支持 Trino 任务 工作流与任务运维支持多周期并行补数据功能 | 2023-03-08 |
有意向的用户可联系客服开通白名单。 |
数据安全 | 新增： DLC 支持动态密钥功能 优化： DLC 与 WeData 权限设置打通功能 | 2023-03-08 | |
? | ? | ? | ? |
2023年01月
如下表格介绍了数据开发治理平台 WeData 1月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
管理控制台 | 新增：支持告警值班功能 | 2023-01-12 | - |
项目管理 | 优化：新增 Sybase、TiDB、StarRocks、DorisDB、Kudu、REST API 数据源 | 2023-01-12 | - |
数据开发 | 新增：支持告警规则配置，对项目、任务、工作流进行多维度的告警 | 2023-01-12 | - |
? | 优化：JDBC SQL 任务扩展支持 Doris 和 Clickhouse 数据源 | 2023-01-12 | - |
数据质量 | 新增： 新增质量报告功能。质量报告提供了数据源各维度的数据质量评价信息，包括质量综合分、维度质量分、表质量分明细等图表内容 数据质量告警功能支持飞书 webhook 配置功能 | 2023-01-12 | - |
? | 优化：系统质量规则模板增加至50+（新增表行数，上周期波动率、表大小，1天/7天波动率规则） | 2023-01-12 | - |
数据安全
| 新增： 支持权限审计功能。主要提供给空间管理员进行权限的审计和配置，针对具体项目、计算引擎，可以进行相应的权限审计 针对不同的用户，可以查看用户拥有权限的数据表、数据库。并提供权限交还功能，具体到交还表权限、交还字段权限 | 2023-01-12 | - |
? | ? | 2023-01-12 | - |
