奥睿科推出FlashMem FM9800固态硬盘,以pSLC AI Cache区域支持本地AI推理

该固态硬盘的AI Cache可承接AI模型权重、上下文、本地推理中间数据,配合AI存储中间件及Herdsman本地推理引擎,实现GPU显存、系统内存、AI闪存缓存的分层协同。

奥睿科(ORICO)于11月13日宣布推出FlashMem FM9800固态硬盘,该产品基于3D TLC NAND,并将部分闪存配置为pSLC模式以形成独立的AI Cache区域,两部分采用各自的磨损策略与读写调度机制。

规格方面,FlashMem FM9800采用M.2 2280外形规格,支持PCIe Gen5接口,覆盖石墨烯导热贴,提供768GB+85GB和1638GB+128GB两个容量版本,其中较小容量部分对应pSLC模式的AI Cache区域。

奥睿科方面表示,该AI Cache区域可承接AI模型权重、上下文及本地推理中间数据,配合AI存储中间件及Herdsman本地推理引擎,实现GPU显存、系统内存与AI闪存缓存的分层协同,为本地模型运行提供更灵活的容量空间。

将部分TLC闪存以pSLC模式运行是存储行业的常见做法,pSLC具备更高的写入耐久度与更低的写入延迟,但单位容量成本上升。奥睿科将这一机制与本地AI推理场景绑定,并配套存储中间件与推理引擎,试图在GPU显存与系统内存之外增加一层可调度的闪存缓存。

随着大模型本地部署需求增长,端侧与工作站场景对显存容量和存储带宽提出更高要求。此前已有存储厂商围绕AI推理推出分层缓存方案,奥睿科此次产品的实际效果取决于中间件与推理引擎的调度效率,以及PCIe Gen5平台在终端设备上的普及程度。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
微星推出 PRO CORELIQUID R13 360 液冷,399 / 419 元
上一篇 1天前
SK海力士未来五年投入1.4万亿韩元扶持本土半导体供应商
下一篇 18小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部