中科曙光

N50 Pro的CPU单线程频率至高可达4.3GHz，本地运行35B MoE模型可实现50 Tokens/s的输出速率，AI推理速度最高可达业界主流产品3~5倍。

中科曙光今日宣布将推出全球首款64线程移动工作站，该设备机身厚度仅16.9mm，配备16GB显存，本地运行35B MoE模型可实现50 Tokens/s的输出速率。

KV Cache在推理过程中的内存开销可以达到数十乃至数百GB，远超单张顶级GPU的显存容量。