一位律师近日在Reddit社区发帖称,其斥资约9450美元(约合人民币6.3万元)使用12张二手英伟达Tesla V100 SXM2 32GB显卡搭建了一套私人AI推理服务器,本地运行DeepSeek-V4.1-Flash模型,集群最高吞吐量达到每秒184个词元。
硬件层面,该集群通过NVLink与PCIe互联,采用3个流水线阶段、每阶段4卡张量并行的结构(PP3×TP4),并应用4-bit NVFP4量化。发帖者表示,每个专家被压缩至约15360个参数,使12张V100能够分别承载模型中的专家分片,上下文配置为256K。
根据其公布的测试数据,在单请求、单流场景下,该系统代码生成速度达到每秒157至184个词元,普通文本生成速度为83至95个词元;预填充速度在长提示词场景下约为每秒4500至4700个词元,读取128K文件耗时28.1秒。多请求场景下,3个流合计吞吐为344至443词元每秒。该用户称,这一表现优于已公开的4台英伟达DGX Spark组合,代码生成速度快约15%至45%,而整套成本约为三台DGX Spark组合价格的一半。
该方案的代价同样明显:系统功耗最高可达约2100W,且运行噪音较大,不适合普通办公环境。发帖者未公开具体代码。
此次实践反映出,在高端GPU采购成本高企的背景下,部分开发者开始转向二手加速卡与量化技术组合,以较低成本构建本地大模型推理能力。二手数据中心GPU的可用性与量化推理工具的成熟度,正在成为中小企业及个人开发者评估本地部署方案时的新变量。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。