• 移动端
    访问手机端
    官微
    访问官微

    搜索
    取消
    温馨提示:
    敬爱的用户,您的浏览器版本过低,会导致页面浏览异常,建议您升级浏览器版本或更换其他浏览器打开。

    安徽省联社:数据挖掘和模型管理平台

    来源:中国电子银行网 2023-04-21 16:16:09 数字金融创新大赛 安徽省联社 数智平台
         来源:中国电子银行网     2023-04-21 16:16:09

    核心提示平台是安徽农信系统大数据应用体系的重要拼图,从系统层面上填补了数据挖掘和模型管理功能上的空白,通过与大数据平台基础数据资源对接,提供了对海量数据进一步挖掘的安全环境。

    第六届(2023)数字金融创新大赛专题

    案例名称

    安徽省联社“数据挖掘和模型管理平台”

    案例简介

    随着安徽农信系统数字化转型的不断深入,如何从海量数据中挖掘有效价值成为大数据应用的一项主要挑战,“数据挖掘和模型管理平台”的建设,解决了大数据应用过程中数据价值挖掘环节系统承接问题,通过数据分析工具的集中化、流程化与资产化的管理,赋能行内的数据分析人员、模型开发人员,实现数据应用能力的提升,同时引入业内规范的模型管理流程,实现模型全生命周期风险集中管理,充分保障模型在业务决策中的支撑作用。

    创新技术/模式应用

    本平台具有以下几个主要功能特点:

    (一)松耦合式模块化设计

    本平台的核心功能包括数据管理、模型管理、模型构建、模型服务、模型监控共五大模块,各服务模块基于微服务架构实现松耦合式设计,支持容器化部署、使用K8S定制场景资源配置,数据计算采用主流的分布式Hadoop大数据平台,用于数据、指标以及模型的分布式计算,同时满足大规模数据的分布式存储,在部署、计算、存储等方面均具备横向扩展能力。

    图片1

    (二)标准化模型管理工作流

    本平台通过我的模型、模型清单、模型详情等功能菜单对模型资产统一管控,以工作流加任务处理模式实现了模型的需求提出、开发、验证、部署、投产、迭代和退出等模型全生命周期各阶段的流程化管理,各阶段文档通过平台统一保存,保障了模型相关历史可回溯、可审计,实现了规则策略、模型算法资产化管理,另外支持建立统一的模型资产视图,为管理层提供模型管理全局视角。

    (三)通用型模型构建平台

    本平台提供代码建模、可视化建模、智能建模三种建模方式,搭建了低门槛、易用、适应不同建模场景的统一建模平台,能够使专业建模人员或业务人员共同参与到模型开发的工作中,实现了建模过程的标准化管理,包括代码标准化、模型包管理、开发报告管理等。

    图片2

    (四)全线上模型服务管理

    本平台可作为模型服务的统一发布平台,通过服务列表对模型服务统一管理,支持模型部署发布审批流程、上下线流程配置,同时提供接口调试、A/B测试等工具,对模型服务实际效果跟踪比较,实现模型版本的流畅切换。基于业务场景需要,模型服务提供实时调用或批量调度两种调用方式。

    (五)实时监控预警体系

    本平台构建了全面细致的模型监控预警体系,对模型结果分布、特征稳定性、预测有效性进行定时跟踪,帮助模型管理人员及时掌握当前模型的整体性能。报告内容支持自定义预警规则,可以对特征变化幅度、模型退化程度、在决策中的效果等设置预警,通过平台内消息和短信进行提醒告知,及时采取处置措施。

    项目效果评估

    (一)完善大数据应用体系,助力数字化转型

    本平台是安徽农信系统大数据应用体系的重要拼图,从系统层面上填补了数据挖掘和模型管理功能上的空白,通过与大数据平台基础数据资源对接,提供了对海量数据进一步挖掘的安全环境。本平台的投入使用,对安徽农信系统数据应用水平的提升具有引领作用,可充分发挥省联社服务、监督、管理的职能,促进金融科技在安徽农信系统内的进一步发展。

    (二)建立模型工作流标准,规范模型风险管理

    模型在为业务服务的同时,其自身也应受到监管,以防范模型使用不当所带来的风险。本平台通过模型工作流模板建立了标准化的模型管理流程,明确了模型管理各个环节人员职责,防止兼岗、越限操作情况发生。通过模型管理流程的确立,为模型风险防控提供了明确措施,解决了系统内模型管理缺少统一规范的问题,同时也满足了监管部门对模型风险管理日趋严格的要求。

    (三)探索模型优化升级,提升业务智能化水平

    本平台引入了主流的数据挖掘、机器学习技术,以数据为驱动实现模型的优化升级。目前平台内已上线3个业务模型,为线上信贷、信用卡、综合收单业务提供模型服务,在前期申请、定价和中期风险管理等业务环节对客户信用风险进行预测,模型算法采用了逻辑回归和集成学习算法,模型效果评估KS指标值均超55%,对不良表现具有显著预测能力。

    (四)构建模型监控体系,加强模型效果跟踪

    本平台通过监控报告、自定义看板、模型大盘形成了“自下而上”全面的模型监控体系,对模型运行效果实现多角度跟踪,帮助不同层级管理人员审视当前模型工作,辅助未来决策。模型监控体系的构建,为安徽农信系统内模型效果监控提供了统一渠道,可改变模型效果缺乏跟踪、感知滞后的现状,为模型有效应用提供新的保障。

    项目牵头人

    蔡玉林 安徽省联社电子银行部副总经理(主持工作)

    项目团队成员

    水坤、叶长明、韩彬、丁伟民、王瑾、孟佳乐、殷悦、杨宜辰、潘乐观、彭静

    责任编辑:韩希宇

    免责声明:

    中国电子银行网发布的专栏、投稿以及征文相关文章,其文字、图片、视频均来源于作者投稿或转载自相关作品方;如涉及未经许可使用作品的问题,请您优先联系我们(联系邮箱:cebnet@cfca.com.cn,电话:400-880-9888),我们会第一时间核实,谢谢配合。

    收藏成功

    确定