【环球网科技报道 记者 李文瑶】智能体时代加速到来,AI推理业务规模快速扩张,推理占比持续走高。在大模型与Agent业务场景下,KV Cache已经成为推理环节的核心生产数据,传统节点本地缓存模式资源割裂,难以实现跨会话、跨节点复用,制约大模型推理整体效能。
针对上述行业痛点,9月21日,中科曙光在2026年CCF全国信息存储技术学术会议上正式发布全新迭代升级的AI推理原生存储FN Neo,依托池化共享架构,实现集群级KV Cache资源调度,为AI推理规模化落地提供全新存力底座。

行业内长期存在“集中式存储不适合AI推理”的固有认知,不少从业者认为推理业务更依赖本地盘的性能表现。事实上,集中式存储的池化共享架构,早已在金融、通信等对稳定性要求严苛的关键业务中经过大规模实践验证,这套成熟能力同样可以迁移到AI推理领域。
随着大模型上下文越来越长、并发用户数量激增,本地缓存受单卡、单机硬件边界束缚,极易出现GPU显存溢出、资源浪费的问题。FN Neo立足集中式全闪架构,跳出单节点硬件局限,用统一存储池承接推理业务各类数据诉求,证明集中式存储完全可以胜任高并发、低时延的AI推理复杂负载。
中科曙光集中式存储产品部总经理郭照斌在采访中表示,智能体出现后,推动推理应用需求激增,智能体连续任务带来持续连续的上下文,KV Cache卸载的需求必须落地。“持续的上下文的短缺会导致GPU重复的计算……即使整个算力再强,Token的输出效率也会非常低。”他同时表示,除KV Cache外,智能体模型参数、容器环境、共享数据等也对存储提出新要求,中科曙光希望通过存力解决算力的重复计算,并以极致性价比和融合存储解决AI推理全流程。
面对“集中式存储不适用于AI推理”的认知差,郭照斌认为,用户关注点往往在集群规模、弹性扩容和存储能力,后端硬件是服务器还是双控阵列并非关键。无论大规模超算中心还是AI存储,集中式硬件叠加横向扩展、纵向扩展和协议处理能力,可以支撑超大规模集群。“它并不需要说我们去纠正用户一些使用习惯,因为它本来就是并行存在的。”
在传统推理部署方案中,KV Cache属于计算节点的私有资源,不同会话之间无法互通,大量宝贵缓存数据被闲置,算力资源难以充分释放。FN Neo核心突破在于集群级KV Cache池化共享能力,将原本绑定在各个计算节点内部的私有缓存,转变为整个推理集群可调度的共享资源。这意味着推理缓存不再依附于单台服务器,不同模型会话、不同计算节点之间能够灵活读取、复用KV Cache数据。集中式存储的价值也由此拓展,从过去主要承载模型权重、业务文件等传统数据,进一步延伸到推理运行时缓存这一动态高频场景,打通大模型推理性能优化的关键一环。
FN Neo延续了中科曙光高端集中式存储的高性能基因,实测数据显示,其单阵列带宽可达160GB/s、亚毫秒级时延,延迟表现、吞吐量和多请求并发数相比传统本地NVMe方案均有约2倍提升。作为专为AI推理打造的集中式全闪存储,这套方案更可实现模型首Token响应时间缩减73%,整体Token吞吐能力提升150%,显著改善用户交互体验。
面向生产级AI业务,仅有性能突破远远不够,稳定可靠与生态适配同样不可或缺。FN Neo具备99.999%高可靠运行保障,通过慢盘自动隔离、故障无损重构等机制,保障推理业务7×24小时不间断运行。同时,产品打造SAN/NAS/KV三重协议一体化开放生态,可无缝对接vLLM、LMCache、Mooncake等主流推理框架,企业无需大规模改造现有推理环境即可完成接入。通过存力资源池化,减少多节点重复存储开销,提升GPU等昂贵计算硬件的整体利用率。
据介绍,FN Neo基础款为2U 25盘位双控阵列,搭载两颗国产高主频CPU,支持标准IB卡及NVMe over IB,并支持曙光基于IB协议自研的原生RDMA协议和RoCE协议;单阵列25盘位可出160GB/s带宽、300万综合业务IOPS。其通过“超级隧道”技术解决硬件资源竞争和软件锁竞争,去除不可控操作系统,以自定义内存操作、协程操作、无锁原生语义等实现软件路无锁竞争;三级负载均衡让用户只需定义一个卷,即可发挥整个阵列的极致性能。
扩展与成本方面,郭照斌表示,FN Neo控制器可扩展到1024个,支持数据中心级大规模推理;纵向扩展硬盘框满足低成本容量需求,横向扩展控制框实现性能和容量同步扩展,并在全局统一命名空间下完成,用户无需感知扩容过程。成本方面,一台基础版2U 25盘即可满足核心KV Cache卸载,同时原生直出NAS、块协议,超节点集群配置一台外置存储即可满足推理全流程需求,成本降低显而易见。
FN Neo的推出,补齐了AI推理场景下集中式存储的能力拼图,为Agent、长上下文大模型等业务的大规模落地,提供了一套经过工程验证的存力新选择。郭照斌认为,存储能力提升和发展方向仍围绕计算和应用变化,当前存储尚不具备颠覆算力行业的能力,但FN Neo已能很好满足当前AI推理对存储的需求,应会成为用户较好的选择方向。