案例名称

“苏银AIOS”异构智算底座建设

案例简介

面对大模型算力需求激增与高端算力供给受限的双重挑战，江苏银行自主建成集团级“苏银AIOS”异构智算底座，走出一条低成本、高质量的差异化建设路径。底座统一纳管各类不同型号的异构算力，已部署十亿级至万亿级15种大模型并按需路由，稳定支撑1800余个智能体运行，日均Token消耗量达294亿。通过MXFP4混合精度量化将显存占用降至1/4，实现单卡运行千亿模型、八卡集群运行万亿模型，并发承载能力提升数十倍。底座以更少算力平替20余台信创AI服务器，依托底座搭建的人工智能应用每年可承载120万工时的工作量。通过对AI服务全流程的重塑，底座将AI能力转化为可深度赋能各业务线的全员级新质生产力，为全行业加快数字化转型、智能化提效提供了示范样板。

创新技术/模式应用

本案例属于新质科创类别，核心是自主构建全栈自主可控的集团级异构智算底座“苏银AIOS”，按应用、数据、技术、安全四层架构设计，以“异构解耦降本、极致量化扩容、内生安全统管、敏捷随需赋能”为总体思路，实现数字金融AI服务能力提升，主要创新技术有以下四点。

一是自主构建异构智算底座。自主搭建涵盖AI模型驱动、框架、服务与网关的全栈组件，统一全行模型运行环境；融合构建深度解耦的统一硬件抽象层（HAL），屏蔽华为昇腾、英伟达等不同品牌物理芯片的生态差异，实现异构算力的跨架构混编与统一纳管；已部署十亿级至万亿级的15种大模型，并按推理深度和并发要求自动路由，为各类业务场景匹配最优的模型与算力组合。

二是MXFP4极低比特混合精度量化。深入底层张量算子开发，创新融合深度分组量化与关键层精度保留策略，将显存占用降低至原来的1/4，实现单卡运行千亿参数模型、八卡集群运行万亿参数模型，释放的显存转化为推理缓存，并发承载能力提升数十倍，使私有化部署大模型的参数规模拓宽至千亿、万亿级。

图1 苏银AIOS技术架构

三是建立精细化分时调度机制。构建全局多维度负载感知中枢，自动执行计算资源切片与任务的无感知迁移，日间保障高并发的实时交互业务，夜间将算力无缝切换至离线跑批等长耗时异步任务，通过削峰填谷使算力资源全天候保持高位利用水平，有效打通金融业务“日间轻量交互高并发、夜间重度批处理”的潮汐特性与异构计算孤岛。

四是PD分离前沿架构与分时调度协同。将预填充与解码解耦，构建高性能计算与Token输出分离运行的架构，使不同体系算力各展所长、协同增效，为国产算力承接超大模型训练推理探索可行路径。

项目技术攻关成果已沉淀为自主知识产权，申请国家发明专利3项，覆盖大模型幻觉分层规避、面向模型平台的多租户容器化训练与开发、金融衍生变量处理与代码生成纠偏等底座关键环节，为成果的自主可控筑牢了知识产权防线。

项目效果评估

金融机构普遍面临高端算力采购门槛高、单一算力生态锁定、显存墙制约超大模型部署、传统边界防护难以抵御提示词注入等深层语义攻击的痛点。本案例统一纳管多品牌异构算力并实施潮汐调度，化解算力不足与资源闲置并存的结构性矛盾；以极低比特量化突破显存墙，让复杂金融场景用上千亿、万亿级模型；以流式主动防御替代解码后置过滤，在保障毫秒级响应的同时阻断风险。全行员工均可随时随地调用“智慧小苏”大模型与专属智能体辅助展业，系统解析能力覆盖多模态长文档、非标准合同比对、图像识别等全品类业务材料，满足全员化、多链路的AI赋能需求。

项目建设的人工智能底座稳定支撑1800余个智能体运行，日均Token消耗量达294亿；已部署15种十亿级至万亿级大模型并按需自动路由；显存占用降至1/4，单卡运行千亿模型、八卡集群运行万亿模型，并发承载能力提升数十倍；语音加速引擎实现单卡400路并发；分时调度使算力资源全天候保持高位利用；以更少算力平替20余台信创AI服务器，依托底座构建的人工智能应用每年可承载120万工时的工作量。

区别于以硬件规模堆叠换取智能能力的重资产模式，本底座通过异构解耦、极致量化、分时调度与内生安全一体化设计，以有限算力承载更大模型与更高并发：同等AI能力下算力投入显著降低，新增需求可通过算力切片与调度复用消化而非仅能扩容硬件；安全检测内嵌至推理计算流，安全能力与响应时延兼顾；全栈组件自主可控、不绑定特定硬件与模型生态，为受IT预算与机房资源约束的同类机构提供低成本、高质量建设智算底座的可复制样板。

责任编辑：佟桃梨