本地推理零成本：Perplexity便携电脑让Qwen 3.8跑满血

Perplexity近日推出Portable Computer，一款采用本地优先智能体架构的产品，默认在用户设备上运行整个技术栈，包括模型、框架、对话和轨迹。这意味着敏感数据未经许可不会离开设备，且本地模型不产生推理费用。其设计理念是模型与框架协同优化，而非让本地小模型去适配为大模型设计的通用框架。

端侧智能的兴起

随着智能体发展，Token消耗和数据流动管控难度日益增加。与此同时，开源小模型性能显著提升，如NVIDIA Nemotron 3.5 Lightning（300亿参数）、Qwen 3.6（350亿）和Qwen 3.8（270亿），本地推理硬件如DGX Spark和Mac Studio也能支持运行。这些趋势使完全设备端运行成为可能。

Perplexity的本地harness设计注重充分利用模型上下文。尽管Qwen 3.8 27B提供26万token窗口，但实验显示超过10万token时性能下降，因此核心框架保持简洁，其他能力模块化为按需技能。框架支持上下文压缩，并将常用MCP转换为命令行工具以节省上下文资源。工具在OS级沙箱中执行，隔离始终启用，这与Pi、Hermes等默认以用户权限直接运行命令的框架形成鲜明对比。

基准测试的亮眼表现

在基准测试中，使用Qwen 3.8 27B模型，Portable Computer在BrowseComp任务中准确率达66.7%，高于Pi的50.2%和Hermes的43.9%。平均运行时间和token使用量也最低：每任务402.1秒和85.2万token，比Hermes运行时间少61%、token少16%，比Pi运行时间少51%、token少70%。在多模态文档理解测试ParseBench-100中，Computer得分65.1%，远超Hermes的34.6%和Pi的13.9%，且耗时和token使用量最少。

后训练模型与顾问工具

Perplexity基于Qwen 3.8 27B后训练的PPLX 27B模型进一步将得分提升至85.4%。对于超出端侧模型能力的复杂任务，框架提供顾问工具，允许本地模型在规划、解决歧义或验证结果时咨询更强大的前沿模型，升级由用户控制。

Portable Computer的推出，标志着端侧智能从概念走向实用。它通过模型与框架的深度协同，在保护隐私的同时实现零成本推理，为智能体应用开辟了新的路径。随着开源小模型和本地硬件的持续进步，这种本地优先的架构有望成为未来AI部署的重要方向。