群联 aiDAPTIV+ 技术破局“内存焦虑”:用 NAND 玩转 AI

内容摘要IT之家 3 月 19 日消息,科技媒体 NeoWin 昨日(3 月 18 日)发布博文,报道称群联(Phison)展示了其 aiDAPTIV+ 技术,该技术通过动态缓存扩展内存,有望突破 AI 应用的内存瓶颈。IT之家援引博文介绍,人工智

IT之家 3 月 19 日消息,科技媒体 NeoWin 昨日(3 月 18 日)发布博文,报道称群联(Phison)展示了其 aiDAPTIV+ 技术,该技术通过动态缓存扩展内存,有望突破 AI 应用的内存瓶颈。

IT之家援引博文介绍,人工智能(AI)和机器学习(ML)的处理能力已成为衡量现代硬件性能的重要指标,除了处理器本身的算力,AI 任务对内存的需求也十分巨大。

AI 模型参数和精度越高,对内存的需求越大。例如,单精度(float32)通常消耗四倍于参数值的内存。即使是 32GB 显存的 RTX 5090,也可能被一个 80 亿参数的模型“喂饱”。

而 aiDAPTIV+ 技术通过动态缓存,结合基于 NAND 闪存“aiDAPTIVCache”缓存技术,扩展可用的 HBM(高带宽内存) / GDDR(专为高带宽应用设计的同步动态随机存取存储器)。

在 GTC 2025 大会上,群联携手 Maingear 公司,推出了应用 aiDAPTIV+ 技术的 AI PRO 桌面工作站,并通过 aiDAPTIVlink 3.0 新版中间件,负责 SSD 的 NAND 和 GPU 之间的数据传输,提供更快的首个 Token 时间(TTFT)回调响应,并支持更大的 LLM(大型语言模型)提示上下文。

下图展示了群联 Aidaptiv+ 技术的应用结果,在参数量超过 130 亿的模型上,群联 aiDAPTIV+ 轻松超越了 Maingear 的四路英伟达 RTX 6000 Ada 设置(未采用 aiDAPTIV+)。

Maingear 介绍称 PRO AI 工作站会动态切片 70B 训练模型,将当前切片提供给 GPU 进行高速训练,同时将模型的其余部分存储在 DRAM 和群联 AI100 SSD 中。每个 NVIDIA RTX 6000 ADA 在训练中以最少的停机时间全面表现。

 
举报 收藏 打赏 评论 0
24小时热闻
今日推荐
浙ICP备2021030705号-4

免责声明

本网站(以下简称“本站”)提供的内容来源于互联网收集或转载,仅供用户参考,不代表本站立场。本站不对内容的准确性、真实性或合法性承担责任。我们致力于保护知识产权,尊重所有合法权益,但由于互联网内容的开放性,本站无法核实所有资料,请用户自行判断其可靠性。

如您认为本站内容侵犯您的合法权益,请通过电子邮件与我们联系:675867094@qq.com。请提供相关证明材料,以便核实处理。收到投诉后,我们将尽快审查并在必要时采取适当措施(包括但不限于删除侵权内容)。本站内容均为互联网整理汇编,观点仅供参考,本站不承担任何责任。请谨慎决策,如发现涉嫌侵权或违法内容,请及时联系我们,核实后本站将立即处理。感谢您的理解与配合。

合作联系方式

如有合作或其他相关事宜,欢迎通过以下方式与我们联系: