iPhone 18 Pro跑270亿参数模型,速度翻倍

手机端侧 AI 的天花板又被抬了一截。最新演示显示,一台 iPhone 18 Pro 可以本地运行 270 亿参数的大模型,生成速度达到 iPhone 17 Pro 的两倍。
底气来自 A20 Pro 芯片。这颗苹果最新 SoC 搭载了双 16 核神经网络引擎,专为处理人工智能运算负载打造,这类设计在苹果自研 Apple Silicon 发展史上尚属首次,性能超越此前所有手机芯片。
网友阿德里安·格龙丁(Adrien Grondin)在 iPhone 18 Pro 上跑通了 Bonsai-27B 模型并放出演示:模型生成词元(token)的速度肉眼可见地快,直观体现了新旧两代的差距。

内存规格同样关键。iPhone 18 Pro 与 18 Pro Max 均配备 12GB、96 位位宽的 LPDDR5X 内存,带宽达到 115.2GB/s,相比 iPhone 17 Pro 系列明显提升。双 16 核神经网络引擎在神经网络专用任务下的峰值吞吐甚至超过芯片内部 7 核 GPU——大模型推理全程高速、不降速卡顿,靠的就是这套组合。
当然,本地跑大模型仍有取舍。演示帖里就有人发问:既然 Bonsai 2 已经发布,初代 Bonsai 还有必要用吗?答案是没那么乐观。采用 2 比特量化的 Bonsai 2 体积过大,无法完整装进 iPhone 18 Pro 的本地内存,强行加载反而造成性能下降;而 1 比特量化的初代 Bonsai 在 4GB 内存设备上就能轻松运行。这正是智能手机本地跑 AI 要面对的现实:模型量化精度、内存容量和推理速度之间,暂时还做不到全都要。
这也是演示者留给大家的展望:如果后续机型进一步加大内存规格,手机上就能跑参数量更大、复杂度更高的 AI 模型。