Harbor 曝光:几台 Mac 拼起来跑本地大模型

一款内部曾用名 Fabric、现在叫 Harbor 的 Mac 应用正在小范围测试。它要做的是一件事:把 Mac 变成一台私人 AI 推理服务器,开源权重的模型直接在苹果硅芯片上跑,数据不出设备;如果手边有多台支持 Thunderbolt 5 的 Mac,还能自动组成集群,把各自的统一内存并成一个资源池,跑单台机器带不动的大模型。
这些信息来自以挖掘未发布功能著称的爆料人 Aaron Perris。按他给出的描述,Harbor 的安装过程只要几分钟,不需要手动配置参数,不需要打开命令行,也不要求使用者具备部署推理服务的基础知识。模型的管理由应用接手,浏览、下载、载入都在 Harbor 界面内完成。多台机器之间的连接同样是自动的:设备通过 Thunderbolt 5 接上后,Harbor 自己发现节点并完成组网。
这条路线针对的是一类具体需求:不想把数据交给云端模型服务的团队。过去要满足这种需求,要么自购硬件自建推理服务,成本不低,要么在部署环节投入相当多的人力。Harbor 试图削掉的是后半部分。
苹果在这条线上已经铺垫了一段时间。MLX 框架早先就支持用 Thunderbolt 组网把多台设备集群化跑模型;随后的 macOS 与 MLX 更新里加入了 Thunderbolt 5 支持,并引入基于 GPU 的神经加速器。今年 10 月,苹果还介绍过一套名为 Minions 的方案,思路是把苹果硅 Mac 上闲置的 GPU 收拢起来,拼成一个动态的虚拟 GPU 云。
Harbor 与这些工作的分工不同。它不打算让单次查询变得更快,解决的是”从零到能跑起来”这一段——把环境、模型、组网这些门槛降到普通用户能自己完成的程度。性能上限仍取决于手里的机器有多少核心和多少统一内存。
短期之内普通消费者还接触不到它。Harbor 目前挂在苹果旗下的 Claris 品牌下,处于私有预览阶段,更像是给开发者和专业场景准备的工具,而不是随系统推送的面向所有人的功能。