5580元闲鱼整机四张P40共96GB显存，本地跑AI大模型

5580元，四张24GB P40，合计96GB显存。闲鱼卖家标称双路E5-2686 v4、64GB内存，不含硬盘，附M.2转接卡和导轨，仅限南京自提。

按配件参考价：P40每张1150元共4600元；E5-2686 v4每颗100元共200元；16GB DDR4-2133服务器内存每根300元共1200元，三项合计6000元，未算主板、电源、机箱和散热。5580元为整机挂价，省去配套采购麻烦，落地还需另加硬盘和搬运。

P40是2016年推出的Pascal架构推理卡，单卡24GB GDDR5，346GB/s显存带宽，被动散热，单卡最高250W，四卡合计1000W，供电和散热配套要求较高。商品列出的超微7048GR-TR官方配置有四个PCIe 3.0 x16插槽、2000W冗余电源、多颗风扇及被动GPU套件；卖家还列了浪潮NF5568M4，交付型号和电源配置需确认。超微这款深约67厘米，摆放需留排风空间。

四张卡各有24GB独立显存，可用llama.cpp把模型层和KV缓存分配到不同卡上，每卡都要装得下，卡间通过PCIe传数据。量化能缩小权重，但可能损失部分回答质量。现成GGUF文件中，Qwen2.5-32B-Instruct的Q4_K_M约19.85GB，Q8_0约34.82GB；Llama 3.1-70B-Instruct的Q4_K_M约42.52GB。运行还需给KV缓存和计算缓冲留位置，对话越长、并发越多占用越大。按单路对话、FP16缓存估算，Qwen32B开8192个token，KV约2GiB，Q8权重可考虑分到两卡；70B Q4分到四卡，开32768个token，KV约10GiB，容量仍有余地。两种方案都要另留计算缓冲，以每卡实际可用显存为准。

CUDA 13已移除Pascal离线编译支持。部署要选支持P40的llama.cpp构建，自行编译用CUDA 12.9或更早工具链，驱动选R580等兼容分支。速度可参考llama.cpp社区单卡测试：在c76b420版本、CUDA后端、Llama 2 7B Q4_0、关闭Flash Attention条件下，生成128个token约54.7 token/s。32B、70B需读取更多权重，长输入也会增加等待。按层分卡时计算依次交给下一张卡，多卡首先扩展容量，单路回答不会自动快四倍。

双路E5负责系统、文本处理和任务调度，64GB内存供程序运行及模型加载使用。上述32B Q8、70B Q4文件均小于64GB，加载时仍需给系统和其他程序留空间。硬盘可从1TB SSD考虑，容纳系统、几个量化版本和文档索引，M.2转接卡本身不提供存储容量。

这套机器适合做私人文档问答库，先检索相关段落再交给模型回答；也能离线改稿、整理长文、解释代码和起草脚本，资料留在本地设备。经常处理不便上传的资料、又愿意维护软件，大显存才容易用出价值；每周只聊几次，投入、占地和风扇噪声就难摊薄。摆放宜避开工作、睡眠区域。电费看插座实测功耗，假设整机平均800W，每天跑4小时，电价0.6元一度，30天约57.6元；全天维持同样平均功耗则约345.6元，空调另算。