有奖捉虫:行业应用 & 管理与支持文档专题 HOT

背景

腾讯云数据开发治理平台 Wedata 数据质量支持自定义模板创建和批量管理,帮助您根据业务场景定制化表质量检测逻辑。本文将为您介绍如何通过自定义模板页面新建规则模板、并根据自定义规则模板在数据监控页面对表创建检测规则。

操作流程

?
?
?

步骤一 准备工作

1. 创建用户及项目 在 Wedata 产品内需要首先创建用户及项目,详情操作指引请查看 创建用户及项目
2. 创建调度资源组 运行质量检测任务需要创建调度资源组,详情操作指引请查看 调度资源组

步骤二 创建自定义模板

1. 进入数据质量 > 规则模板,单击自定义模板,编辑模板并保存
SQL 表达式:
select a.${table_1.column_1} from ${table_1} a join ${table_2} b on a.${table_1.column_1} = b.${table_2.column_1} where a.${table_1.column_1} > ${param_1}
?
?
?
说明:
SQL 表达式编写:
原始数据对象参数使用,库表:${table_1}...${table_n},字段:${table_n.column_1}...${table_n.column_n}。
若需要关联同源数据下其他表字段,可勾选下方选项。参数使用,库表:${table_1}...${table_n},字段:${"table_n.column_1"}...${table_n.column_n}。
若需要除时间参数外的其他 where 过滤参数,可勾选下方选项。参数使用,${param_1}...${param_n}。
表达式目前仅支持单行多列。

步骤三 创建质量规则

1. 进入数据监控,找到需要监控的表,单击配置监控任务
?
?
?
2. 单击新增规则,规则类型选择自定义模板,选中刚创建的模板:test_02,根据模板变量选择库表参数及 where 参数,配置好触发条件及等级,单击保存
?
?
?
注意:
库表参数及 where 参数设置:要根据表达式参数数字顺序一一对应。

步骤四 测试运行

1. 单击试运行,选择执行引擎、计算资源、执行资源,在验证规则中选择刚创建的规则:test02。
?
?
?
2. 单击查看运行结果,跳转到运维管理页面查看运行结果。
?
?
?
3. 单击结果&日志,查看运行日志。
其中 EXECUTING SQL : xxxxxx; 打印的是提交给 hive/spark/dlc 引擎进行质量检测 SQL。
?
?
?


http://www.vxiaotou.com