案例名称

重庆农商行智算平台

案例简介

针对传统中小银行AI建设中算力碎片化、能力复用不足等痛点，重庆农商行依托云原生技术体系，建设全栈国产化智算平台，构建统一、高效、可复用的AI基础能力体系。平台整体技术架构如下图所示。

在整体技术架构基础上，探索形成“一底座、双引擎、三运营、N场景”的建设范式。一底座，以国产软硬件为根基，依托私有化部署、异构算力纳管及RDMA光互联，筑牢智算底座；双引擎，构建多模式部署和模型即服务，实现模型能力解耦与开箱即用，支撑超高性能跨机协同；三运营，运用AI分析运营数据、算力及告警，自动生成算力运营报告、平台运行报告和告警总结，推动运维向智能运营转型；N场景，赋能知识问答、报告生成、代码助手等应用。

创新技术/模式应用

1.技术创新：全栈国产化、异构算力纳管与多机多卡RDMA光互联网络建设。

平台依托私有化机房独立划分智算网络，全栈采用国产软硬件，运用容器化技术成功纳管多款国产芯片。同时，建成了高性能多机多卡RDMA光互联智算网络，大幅降低跨机通信延迟。

2.模式创新：构建容器化多方式部署以及金融级“模型即服务”体系。

改变了过去AI能力烟囱式的建设模式。采用云原生容器化技术，同步支持多种部署模式，最大化硬件性能；并通过统一服务中心将模型能力原子化输出。

3.管理与机制创新：两级运维一体化协同机制。

将平台运维体系与全行现有的应用运维体系深度打通，将算力、模型与传统IT系统纳入统一管理视界，实现了全生命周期的全闭环监控，有效防范了运行风险。

4.运营创新：构建AI驱动的全行基础平台智能运营体系。

突破AI能力仅服务于业务应用的传统模式，将AI进一步应用于智算平台及行内基础平台的运营管理，形成覆盖多类型平台的智能运营能力。通过将AI能力嵌入平台运营全流程，推动传统基础平台运维从被动响应、人工分析向智能感知、智能研判和辅助决策演进，形成AI赋能平台运营的新型运维模式。

项目效果评估

本案例成功打造重庆农商行自主可控的智算平台，突破国产异构算力统一纳管、多机多卡高性能RDMA光互联网络以及超大模型金融工程化落地等关键技术，实现从算力基础设施、模型服务到平台运营的全链路能力建设。

在算力基础设施方面，平台统一纳管多张国产AI算力卡，总算力规模达54144 TFLOPS，实现不同类型国产芯片资源的统一管理、监控与调度。依托云原生容器化技术，支持“多模型部署到单卡、单模型部署到单机多卡、超大模型部署到多机多卡”等多种模式，提升算力资源的灵活调度和综合利用能力。

在高性能计算方面，平台建成多机多卡RDMA光互联智算网络，有效支撑超大模型跨节点协同推理。在跨机模型推理场景下，1K上下文整体吞吐量较单机多卡性能下降小于16%，4K上下文整体吞吐量较单机多卡性能下降小于7%，验证了多机多卡场景下的高性能跨机协同能力，为超大模型规模化部署提供了网络基础，RDMA光互联网络下多机多卡大模型性能推理报告如下图所示。

在模型服务与应用方面，平台已稳定提供DeepSeek、Qwen等多个大模型服务，建立统一的“模型即服务”能力，通过标准API向业务系统提供模型能力，降低业务系统接入术门槛。目前，平台AI原子化能力已支撑知识问答、报告生成、代码助手等多个业务场景。平台运行平稳，日均模型调用量超过12万笔，日均处理大模型Token超过9000万。

在平台运营方面，平台自动汇聚算力、CPU、内存、容器、模型服务及告警等运行数据，对平台运行状态进行智能分析和总结。智算平台可自动生成整体算力运营报告、告警智能总结及平台运行报告，推动平台运维由人工巡检、人工分析向AI辅助分析和智能运营转变，进一步提升平台运营效率和运行态势感知能力。

作为区域性商业银行，本案例全栈采用国产软硬件，形成“一底座、双引擎、三运营、N场景”的国产化AI智算平台建设范式，为同类中小型金融机构在算力资源受限、技术资源有限的条件下推进人工智能基础设施建设和大模型应用落地提供实践参考。

责任编辑：佟桃梨