案例名称

国产AI算力+GPU虚拟化构建智能算力应用管理体系实践

案例简介

在全球科技竞争格局深刻变革、算力成为核心生产力的时代背景下，面对大模型技术浪潮带来的算力挑战与机遇，我行通过整合多路线国产AI算力技术与GPU虚拟化技术，构建一个集推理、训练、开发于一体的高效、敏捷、安全、可控的新型算力体系，并分享其在赋能业务创新、驱动数字化转型方面的实践成果与经验。

创新技术/模式应用

基于新业态构建所面临的算力挑战，我行构建一个以算力卡多路线兼容为基石、GPU虚拟化为核心调度手段、一体化平台为承载、内生安全为保障的新型算力体系。

1. 一体化算力资源管理：夯实国产化、虚拟化算力基座。 率先引入昇腾、DCU、PPU等多款国产高性能AI算力卡，大规模应用GPU虚拟化技术，通过时分复用和空分复用将AI算力、显存切割为多个虚拟实例，供不同规格模型使用，实现一个算力卡同时服务多个任务。平台集成异构资源管理器和任务调度器，整体平均算力利用率提升30%以上，降低单位算力成本。

2. AI推训框架支撑：支撑大规模分布式训练。 深度适配TensorFlow、PyTorch、DeepSpeed、Megatron-LM等主流框架，实现数据并行、模型并行、流水线并行及混合并行策略。通过张量并行将参数分布到多个国产AI芯片，再以流水线并行将层组分配到不同计算节点，突破单卡显存限制，提升训练效率。

3. AI安全管控：构筑贯穿全生命周期的可信AI防线。 覆盖模型全生命周期：开发阶段通过鲁棒性评测观测异常输入稳定性；训练阶段通过模型投毒监控防范恶意数据；上线后通过对抗样本监测实时防御攻击；利用对抗生成学习主动增强模型防御。形成“四位一体”安全体系，提升AI应用安全可靠性。

4. AI开发支持：提供全链路、低门槛建模体验。 面向算法工程师构建覆盖数据标注、特征、训练、评估、部署的全链路工具套件。支持可视化拖拽、代码编程、参数化配置三种建模方式，满足不同水平用户需求。平台预置金融行业算法模板和预训练模型，实现经验沉淀复用，并可与AI服务平台“一键打通”，实现“训推一体”自动化流水线。

5. AI运营服务：实现模型资产统一运营与场景化赋能。统一纳管、版本控制和服务化封装所有上线模型。提供高并发、低延迟推理服务及内置监控体系，持续追踪模型效果。一旦检测到模型因数据分布变化而衰退，自动触发告警并启动迭代学习，形成“自我进化”闭环。模型编排功能支持业务人员以“搭积木”方式组装多个原子模型与规则流程，构建复杂AI应用，增强场景化赋能能力。

项目效果评估

自大模型智算平台全面投入运营以来，已成为我行数字化转型的重要基础设施，带来了显著的商业价值与运营效率提升。

在降本增效方面，平台通过大规模应用GPU虚拟化技术，将物理GPU算力按需切分为多个虚拟实例，实现资源池化与弹性调度。借助异构资源管理器和智能任务调度器，不同优先级、不同规格的模型训练和推理任务能够被精准匹配至最合适的计算资源上，AI算力资源的平均利用率提升30%以上。以同等业务规模测算，此举显著节约了算力硬件采购与运维成本，使我行在有限的IT投入下获得更强的AI支撑能力，真正实现“以技术换成本、以效率创价值”。

在业务赋能方面，平台已成功支撑超过10个核心AI场景，覆盖客户服务、知识管理、风控决策、营销运营等多个业务领域。以智能客服场景为例，平台通过编排语义理解、情感分析、知识库检索等多个原子模型，构建了端到端的智能问答链路。系统不仅能够准确识别用户意图，还能感知对话情绪，并结合行内知识库给出专业、温暖的答复，大幅提升了客户体验与问题解决效率。在知识库场景中，基于平台训练出的业务知识库、行内规范知识库，已无缝集成至各业务系统，一线员工可随时获取标准化的业务指引和合规要点，有效提升了专业水平与作业效率，降低了因信息不对称带来的操作风险。

尤为重要的是，我们已在国产算力平台上成功完成DeepSeek、千问3等多个亿级参数大模型的训练与部署。这一实践充分证明了国产AI硬件在金融核心场景下的可用性与成熟度，也验证了我行在模型自主训练、自主部署方面的技术能力，为AI算力自主可控能力建设打下了坚实基础。

通过构建以国产AI算力和GPU虚拟化为核心的新型算力体系，我们不仅成功应对了大模型时代算力供给、成本控制和技术安全的多重挑战，更开辟了一条高效、安全、可控的金融智能化发展路径。

责任编辑：佟桃梨