北京时间5月13日,Apple Silicon 本地 AI 生态迎来重要进展。oMLX 框架0.3.9.dev2版本发布,深度集成多项前沿优化技术,显著提升了本地大模型的图文处理速度与易用性,进一步巩固了苹果端侧 AI 在实际体验上的竞争力。

核心技术升级:Gemma4视觉路径全面支持
新版本最引人注目的更新,是直接将Gemma4的 MTP 视觉路径、DFlash 引擎以及ParoQuant 量化技术完整融入。这一系列组合让图文多模态解码速度大幅提升,显著降低了本地运行多模态大模型的延迟门槛。过去本地 AI 常被诟病的“体验差距”,在这一轮优化后得到明显缓解。
易用性飞跃:omlx launch copilot 一键接入顶级工具
为降低开发者与用户的上手难度,oMLX 新增omlx launch copilot功能。用户可一键快速接入 Claude、Codex、OpenClaw 等主流顶级 AI 工具,实现本地与云端服务的无缝协同。这一特性极大增强了本地 AI 的集成度,让“开箱即用”成为现实。
资源管理优化:oQ 智能 Proxy 解决显存限制
针对 Apple Silicon 统一内存架构下的实际部署痛点,新版引入oQ 自动 Proxy 机制,能够智能处理显存不足的问题,显著提升大模型在消费级设备上的运行稳定性。同时,管理界面新增服务器重启按钮,进一步优化了日常维护流程。
点评:从 MLX 到 oMLX 的持续迭代,苹果端侧 AI 正在以惊人的速度追赶甚至局部超越云端方案。统一内存架构带来的带宽优势、结合高效量化与引擎优化,让本地 AI 在速度、隐私保护和响应实时性上展现出独特魅力。曾经“差点意思”的本地部署,如今已在速度、集成度和易用性上实现“离谱”级提升。
这波更新清晰传递出一个信号:AI 正在真正从云端走向个人设备。未来,更多用户或将亲身感受到“把大模型装进自己电脑”的自由与强大。
项目地址:https://github.com/jundot/omlx