数据监控功能默认进入数据表列表展示页面,从数据对象视角出发,提供以表为维度的监控配置入口和信息展示。支持基于数据来源、针对当前账号进行“我订阅”(订阅配置的告警接受人包含当前账号的)的信息过滤,以及以表名、表负责人进行搜索。目前质量监控的对象仅针对系统源(自动采集)中的 EMR-Hive、DLC。
?
?
?信息 | 详情 |
表名 | 数据表 |
表负责人 | 表负责人 |
类型 | 数据表类型 |
配置规则数 | 数据表中配置的监控规则数量 |
执行方式 | 3种状态:关联生产调度、离线周期检测、未配置,支持基于监控方式进行表筛选 |
订阅接收人 | 监控规则触发后的信息接收人 |
配置更新时间 | 最新一次监控任务配置的更新时间 |
监控状态 | 监控任务生效开关 |
配置监控任务 | 为数据表配置监控任务 |
我订阅的
当用户勾选我订阅的条件后,列表中仅展示当前用户为订阅信息接收人的表信息。
配置监控规则
点击对应表在列表操作列的“配置监控任务”,即可进入质量规则的配置页面,针对选择的数据表进行监控任务的配置。
?
?
?信息 | 详情 | |
规则名称 | ? | 规则名称 |
规则类型 | ? | 3种类型:系统模板、自定义SQL、自定义模板,支持按类型筛选规则 |
数据对象 | ? | 表级规则(table)/表字段信息(字段类型) ,支持按数据对象筛选规则 |
规则模板 | ? | 系统内置模板50+,详见模板说明。对于自定义 SQL 则输入一条 SQL 语句 |
触发策略 | ? | 查看规则的触发条件与触发等级 |
配置人 | ? | 为表配置该条规则的用户名 |
操作 | 编辑 | 编辑监控规则 |
? | 删除 | 删除监控规则 |
? | 日志 | 查看监控规则的修改日志,包括操作人、操作时间、操作内容 |
创建/编辑规则
1. 创建规则
单击左上角新增,即可弹出创建规则弹窗。
?
?
??
?
?2. 编辑规则
选择需要进行编辑的规则,单击编辑,即可调整现有规则的配置信息。
?
?
??
?
?信息 | 详情 |
规则名称 | 用户自定义的规则名称(当前页面唯一) |
规则描述 | 对当前规则的描述 |
规则类型 | 系统模板/自定义 SQL |
数据对象 | 表(table)/该表字段名(字段类型),选择自定义 SQL 后对象只能是表 |
选择模板 | 模板名称参考 (一期仅实现资料中没有置灰的部分),字段类型联动模板选项,数值类型的模板仅在数据对象是数值时显示 |
触发条件 | 固定值比较/波动率 |
触发等级 | 高/中/低(处理逻辑参考说明描述) |
检测范围 | 全表或者条件扫描(对于自定义 SQL,在语句里面添加即可) |
定义维度 | 下拉选择范围包括准确性、及时性、完整性、一致性、唯一性 |
规则模板说明:
?
?绿色内容为系统内置规则模板的名称,一共40+,针对表级的模板有7个,剩下的均为针对某个字段的模板。
系统内置规则模板主要分为与固定值比较和波动率比较两种校验方法,不同的校验方法对应的“比较方式”、可设置的“阈值”个数、以及“预警等级”含义都有所不同,具体参见下图。
红框内的模板是针对数值类型的字段,只有当选择的字段类型是数值类型时才会出现在选择框中。
对于波动率的“比较方式”说明如下:
?
?执行策略
?
?
?信息 | 详情 |
执行方式 | 3种执行方式:无、关联生产调度(关联生产任务,在任务完成后执行质量检测)、离线周期检测(根据配置周期执行定期质量检测) |
计算资源 | 选择已经配置完毕的计算资源 |
执行资源 | 选择已经配置完毕的调度资源组 |
调度周期 | 任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性 |
生效日期 | 任务调度执行的有效时间范围,过期后任务停止调度执行 |
调度计划 | 用户可自行设定该任务每次执行间隔的时长以及任务开始执行的具体时间。如下图周期间隔为10分钟,则调度任务将在2022年3月27日到2022年4月27日中每天的00:00到23:59分之间每隔10分钟运行一次 |
Cron 表达式 | 根据用户所选择的调度计划,系统自动生成对应的 Cron 表达式 |
生产调度的方式:选择执行的资源和关联的任务;任务支持名称和 ID 的搜索选择,生成的任务信息可点击跳转到数据开发任务运维的页面离线周期检测:周期的配置灵活度依赖数据开发任务调度的周期配置,两边能力和交互保持一致即可(用户可以在不捆绑任务情况下和任务执行周期保持同步从而实现跟踪生产的效果)。
订阅配置
选择订阅方式(邮件/短信)和告警信息接收人(支持多选)。
?
?
?试运行
在配置完毕计算资源、执行资源、验证规则(验证规则默认全选,根据规则对应的检测范围提供参数输入框)后,单击运行按钮即可执行试运行。单击后,生成新的页面跳转到任务运维页面,系统自动筛选出当前任务的执行信息。
?
?
?查看规则操作日志
单击规则列表中对应规则右侧的日志即可进入操作日志,记录规则配置的制作人、操作时间、操作内容信息。
?
?
?监控任务开关
点击规则列表右上角的监控状态开关,可以开启或关闭监控任务。
?
?
?