PrismML把 27B 模型压进 3.9GB,端侧AI开始逼近“旗舰能力本地跑”

发生了什么:手机运行27B模型:智能密度提升十倍 披露,PrismML 发布 Bonsai 27B,把 27B 参数模型压缩到 3.9GB 内存占用,在保留约 90% 能力的同时,把“智能密度”做到 0.53/GB,号称达到全精度基线的 10 倍;这与 Marktechpost相关报道 形成呼应。

为什么重要:端侧AI过去的尴尬在于,真正能本地跑的模型通常太弱,而强模型又离不开云。Bonsai 27B 这类工作的重要性在于,它试图打破这条旧边界:不是把小模型再优化一点,而是把“原本属于云端旗舰”的能力拆解、量化、压缩,直到手机和笔记本也能承载。这会直接影响两个方向:一是隐私和时延更可控,二是应用层会更愿意做离线、常驻、个性化的AI交互。今天端侧新闻之所以值得看,不是因为又有人说“手机也能跑模型”,而是压缩比和保真度终于开始接近真正可用的阈值。

具体细节:Bonsai 27B 最抓眼球的数字有三个:27B 参数、3.9GB 运行内存、约 90% 能力保留。更关键的是“0.53/GB”的智能密度指标,它等于在用一个更贴近设备现实的方式评价模型,而不是只谈参数和榜单。把它和 面壁智能的端侧模型之路阶跃推出端侧模型Step Edge 这类近期信号放在一起看,会发现行业焦点已经从“能不能端侧部署”转向“多强的模型值得被端侧部署”。如果这个方向持续推进,终端厂商、系统厂商和应用开发者之间的分工都会被改写。

压缩效果可视化

原始规模
27B 参数级能力
运行占用
3.9GB
能力保留
约90%
智能密度
0.53/GB,约为基线10倍

一句判断

  • 端侧AI竞争开始进入“强模型压缩”阶段。
  • 真正决定体验的,不再只是参数,而是每GB能换来多少能力。
  • 手机本地跑旗舰模型,正在从演示走向产品规划。
03
PrismML把 27B 模型压进 3.9GB,端侧AI开始逼近“旗舰能力本地跑” | AI 趋势