律师用12张二手V100搭建本地AI集群,运行DeepSeek模型吞吐达每秒184词元

在单请求、单流场景下,该服务器优于已公开的4台英伟达DGX Spark组合,代码生成速度快约15%至45%。

一位律师近日在Reddit社区发帖称,其斥资约9450美元(约合人民币6.3万元)使用12张二手英伟达Tesla V100 SXM2 32GB显卡搭建了一套私人AI推理服务器,本地运行DeepSeek-V4.1-Flash模型,集群最高吞吐量达到每秒184个词元。

硬件层面,该集群通过NVLink与PCIe互联,采用3个流水线阶段、每阶段4卡张量并行的结构(PP3×TP4),并应用4-bit NVFP4量化。发帖者表示,每个专家被压缩至约15360个参数,使12张V100能够分别承载模型中的专家分片,上下文配置为256K。

根据其公布的测试数据,在单请求、单流场景下,该系统代码生成速度达到每秒157至184个词元,普通文本生成速度为83至95个词元;预填充速度在长提示词场景下约为每秒4500至4700个词元,读取128K文件耗时28.1秒。多请求场景下,3个流合计吞吐为344至443词元每秒。该用户称,这一表现优于已公开的4台英伟达DGX Spark组合,代码生成速度快约15%至45%,而整套成本约为三台DGX Spark组合价格的一半。

该方案的代价同样明显:系统功耗最高可达约2100W,且运行噪音较大,不适合普通办公环境。发帖者未公开具体代码。

此次实践反映出,在高端GPU采购成本高企的背景下,部分开发者开始转向二手加速卡与量化技术组合,以较低成本构建本地大模型推理能力。二手数据中心GPU的可用性与量化推理工具的成熟度,正在成为中小企业及个人开发者评估本地部署方案时的新变量。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
阿里云季度AI云收入609.73亿元同比增长53%,经调整EBITA增长121%
上一篇 11小时前
腾讯三季度资本开支814亿元同比翻五倍,AI投入致自由现金流承压
下一篇 11小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部