PrismML发布Bonsai 27B模型,支持12GB内存iPhone原生运行

7月15日 07:03
基于 Qwen 3.6 27B 微调的轻量化版本通过 1-bit 与 3-bit 量化技术大幅压缩体积,使移动端设备能够离线执行复杂推理任务,苹果方面已介入评估相关技术方案。

PrismML 于 7 月 15 日正式推出 Bonsai 27B 模型,该模型基于 Qwen 3.6 27B 架构进行深度微调与量化压缩,旨在解决大参数模型在消费级设备上部署的内存瓶颈。通过创新的原生 1-bit 压缩技术,团队成功将原始需 54GB 存储空间的模型缩减至不足 4GB,使得配备 12GB 内存的移动设备如 iPhone 能够原生运行 270 亿参数级别的 AI 模型,无需依赖云端算力支持。

该模型提供了两个主要版本以适应不同硬件环境:Ternary(3-bit)版本体积为 5.9GB,每权重有效位为 1.71,主要针对笔记本电脑级性能优化;1-bit 版本体积压缩至 3.9GB,每权重有效位为 1.125,专为手机等移动终端设计。测试数据显示,Bonsai 27B 在保留原模型 90% 智能水平的前提下,支持多步逻辑推理、结构化工具调用、长上下文处理以及智能体循环等复杂任务。3-bit 版本在多项基准测试中保留了约 95% 的全精度性能,而 1-bit 版本在移动端场景下的表现稳定,代码生成与数学推理能力损失控制在较低范围。

PrismML 首席执行官巴博克·哈西透露,公司正与苹果公司进行接洽,后者正在评估其 AI 量化技术,目前对话处于早期阶段但进展顺利,潜在合作形式包括技术授权或直接收购。开源社区代表如 AnythingLLM 创始人蒂莫西·卡兰巴特认为,这一突破标志着本地 AI 应用进入新阶段,可能重塑行业生态,使隐私保护与离线工作流成为主流选择。随着模型在 Hugging Face 平台开放下载,预计将推动更多移动端应用实现本地化智能部署。