背景
腾讯云数据开发治理平台 Wedata 数据质量支持自定义模板创建和批量管理,帮助您根据业务场景定制化表质量检测逻辑。本文将为您介绍如何通过自定义模板页面新建规则模板、并根据自定义规则模板在数据监控页面对表创建检测规则。
操作流程
?
?
?步骤一 准备工作
1. 创建用户及项目
在 Wedata 产品内需要首先创建用户及项目,详情操作指引请查看 创建用户及项目。
2. 创建调度资源组
运行质量检测任务需要创建调度资源组,详情操作指引请查看 调度资源组。
步骤二 创建自定义模板
1. 进入数据质量 > 规则模板,单击自定义模板,编辑模板并保存。
SQL 表达式:
select a.${table_1.column_1} from ${table_1} a join ${table_2} b on a.${table_1.column_1} = b.${table_2.column_1} where a.${table_1.column_1} > ${param_1}
?
?
?说明:
SQL 表达式编写:
原始数据对象参数使用,库表:${table_1}...${table_n},字段:${table_n.column_1}...${table_n.column_n}。
若需要关联同源数据下其他表字段,可勾选下方选项。参数使用,库表:${table_1}...${table_n},字段:${"table_n.column_1"}...${table_n.column_n}。
若需要除时间参数外的其他 where 过滤参数,可勾选下方选项。参数使用,${param_1}...${param_n}。
表达式目前仅支持单行多列。
步骤三 创建质量规则
1. 进入数据监控,找到需要监控的表,单击配置监控任务。
?
?
?2. 单击新增规则,规则类型选择自定义模板,选中刚创建的模板:test_02,根据模板变量选择库表参数及 where 参数,配置好触发条件及等级,单击保存。
?
?
?注意:
库表参数及 where 参数设置:要根据表达式参数数字顺序一一对应。
步骤四 测试运行
1. 单击试运行,选择执行引擎、计算资源、执行资源,在验证规则中选择刚创建的规则:test02。
?
?
?2. 单击查看运行结果,跳转到运维管理页面查看运行结果。
?
?
?3. 单击结果&日志,查看运行日志。
其中 EXECUTING SQL : xxxxxx; 打印的是提交给 hive/spark/dlc 引擎进行质量检测 SQL。
?
?
?