玄策平台数据流程图
1.变量原子化
玄策平台支持解析标准SQL,转换成MULTI INSERT SQL,并写入玄策平台的变量存储层中。在使用时,可以将变量自由组合,生成Hive表,供模型任务读取。这使得数据挖掘师无需再为了将多个主题的变量糅杂在一张表内,而开发一个冗长的SQL。
数据挖掘师基于玄策平台,能够通过将不同主题的变量SQL分别创建变量组,并对变量进行组合,就能够轻松得到模型任务所需的变量表了。当变量表需要新增或删除变量时,也仅需要在页面上进行操作,玄策平台会自动修改表结构。当变量逻辑发生变化后,只需修改变量组任务中的SQL,此时应用层中的数据也会随之改动。这不仅提升了变量开发效率,也大大降低了变量数据的维护成本。
2.管理统一化
基于玄策平台开发的变量任务,玄策提供了任务告警、资源分析、血缘分析、自动化数据清理与归档、定期巡检、快速阻断/重启任务等管理手段,帮助分析师运维和治理变量任务,并且任务由玄策统一调度,支持高优先级的任务插队运行,提高集群资源利用率与SLA达成率。
3.保障多重化
在风控模型中,如果变量的波动较大,可能导致模型产出的数据不合理,从而影响业务决策。为此,玄策平台提供了PSI监控功能,以监控变量分布差异,一旦发现数据异常,则卡住下游任务,防止造成数据污染。除此以外,还提供了任务监控、强规则检验、任务基线、任务看板等手段,保障变量任务稳定运行。
信也玄策变量开发管理平台通过其独特的设计,能够满足模型团队高效的变量开发和迭代的场景要求,为业务模式探索、企业经营、业务决策提供了坚实有力的平台支撑。