Strata 3D CX
-
开发者开源Strata推理引擎，12GB显存消费级显卡可运行125B参数Qwen模型
Strata为了降低显存占用，主要采用两项关键技术：其一是将MoE（混合专家）模型整体载入RAM，仅将高频使用的专家模型载入VRAM。其二使用轻量模型进行投机解码，预测下一Token以加速推理过程。
Strata为了降低显存占用，主要采用两项关键技术：其一是将MoE（混合专家）模型整体载入RAM，仅将高频使用的专家模型载入VRAM。其二使用轻量模型进行投机解码，预测下一Token以加速推理过程。
