案例名称
太平金科AI全栈信创平台
案例简介
AI已成为推动创新进步的核心力量。太平集团已在关键业务中广泛运用AI,日均处理请求超40万次,主要依托NVIDIA芯片。然而,全球技术竞争加剧,高端AI芯片制裁日益严苛,对国内AI产业构成巨大挑战。为强化供应链安全,探索AI信创化道路,解决技术瓶颈,太平集团实施了AI全栈信创平台建设项目。项目致力于打造AI全栈信创平台,提供从模型训练到推理部署的一站式服务。目前,已成功实现人脸识别与OCR模型的信创化改造,并支持包括PaddlePaddle在内的多主流框架,同时完成了ChatGLM、百川等大模型的推理部署,通过了监管单位的信创验收。
创新技术/模式应用
本项目从GPU硬件架构入手,基于信创GPU技术路线和ARM服务器架构,重构基于信创计算环境的AI模型,并在此基础上,对应用服务、数据库、中间件等常规软件组件进行了信创化,自底向上构建了全栈AI信创平台。基于该平台,完成了OCR、人脸识别和大模型的等AI推理场景部署。该平台同时支持PaddlePaddle等国产AI训练框架。实现从AI芯片、服务器硬件、操作系统、数据库、中间件、应用等全栈技术自主可控目标。
在项目实施过程中,项目组主要对信创AI性能和适配性问题进行攻关。原有的OCR与人脸识别的深度学习模型均是在x86和Nvidia硬件生态体系下训练和推理运行的,在迁移到新的ARM+国产GPU的过程中,涉及诸多基于原有x86加速计算的指令集和Nvidia Cuda专用算子等,迁移难度较大。项目组协调上下游厂商、骨干技术内勤,协同攻关,从最底层入手,逐个解决不兼容的算子,如将x86上的SIMD指令迁移到ARM架构的NEON指令,将基于NVIDIA CUDA生态的特定算子也需要逐个迁移到国产GPU芯片的等效算子上,保证兼容性问题。
在性能实测阶段,发现人脸识别应用在ARM架构体系下的整体性能较差,未达到预期。项目组对相应代码进行行级性能跟踪检测,发现性能瓶颈主要在处理图像的像素操作上,存在层级较多的循环操作,性能损耗严重。经调研后,将原循环操作转换为矩阵操作,并从原来的Python代码改用C++实现,且将图像的前后处理部分,从原来流程的CPU处理,迁移到信创GPU处理,获得10倍以上加速,解决性能了问题。
同时,平台基于K8S构建了用于信创模型部署和训练的资源池,弹性管理GPU计算资源,为集团内其他项目组的AI应用配给算力,为信创化改造提供沙箱环境,协同加速推进AI信创化进程。
项目效果评估
本项目是保险行业在AI领域的首个全栈信创项目,也是ARM架构+信创GPU的技术路线在金融行业的首次落地,项目成效主要体现在如下几方面:
一是开展国产GPU设备选型,充分调研论证信创可行性。开展国产GPU设备选型,全面POC测试海光、华为、寒武纪、燧原、天数智芯以及百度昆仑芯共6家国内领先厂商AI芯片,深入了解国产AI芯片全貌,获得各厂商的产品兼容性、性能以及价位等关键要素,为后续的选型和应用提供了重要参考依据。
二是制定高性价比信创选型方案,启动重要场景试点。制定高性价比国产AI芯片信创选型方案,在同等性能配置下,整机采购价格约为非信创产品的25%,节约成本超200万全部用于算力提升,实现应用性能最大化配置。选取“OCR三证一卡”和“人脸识别推理”两个重要场景,完成AI模型信创迁移及Java应用、中间件、TDSQL数据库等关联组件全面信创化改造。
三是探索实践AI全栈信创,为大模型落地奠定基础。在大模型全面爆发引起的算力短缺和国外高端AI芯片制裁双重挑战下,“AI全栈信创平台”是太平集团首个全栈信创化的AI项目,对保险及金融同业突破国外AI芯片制裁困境、推动自主创新发展具有重要借鉴意义,为集团同类系统信创化改造提供了可行参考路径和重要实践经验,为未来大模型等AI算力密集型应用在太平集团落地奠定了基础。
项目牵头人
涂闪 应用开发岗
项目团队成员
陈沫、叶俊锋、宋明久、时爱民、涂闪、任伟、张小成、杨正超
责任编辑:陈爱
免责声明:
中国电子银行网发布的专栏、投稿以及征文相关文章,其文字、图片、视频均来源于作者投稿或转载自相关作品方;如涉及未经许可使用作品的问题,请您优先联系我们(联系邮箱:cebnet@cfca.com.cn,电话:400-880-9888),我们会第一时间核实,谢谢配合。