🔥 HN 热议

Magnitude(按电脑硬件调整 AI 运行方式的开源推理引擎)为何想让本地 AI 更快

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
推理引擎(tuī lǐ yǐn qíng)

让 AI 根据输入生成回答的软件。

内核(nèi hé)

负责反复完成计算的一小段软件。

Hacker News(Hacker News)

讨论技术新闻的网站。

发生了什么

Magnitude(一个会按电脑硬件调整 AI 运行方式的开源推理引擎)公开了面向 AI 代理的运行工具。AI 代理是能够分几步完成目标的 AI。Magnitude 表示,它会先了解实际运行它的电脑,再为这台电脑编译和调整计算代码。

项目的公开仓库称,与 llama.cpp 相比,它让开放模型的运行速度最高提高到两倍。这是 Magnitude 自己公布的比较结果,不代表所有电脑都会得到相同速度。这条 Launch HN 帖子在 Hacker News(讨论技术新闻的网站)获得了 123 points 和 56 comments。它们说明社区很关注这个项目,但不能证明性能数字一定正确。

它怎样提速

很多通用工具会提前编译一套代码,让它适应较大的硬件范围。Magnitude 的常见问题说明,llama.cpp、Ollama 和 LM Studio 采用了这种思路。Magnitude 则会在模型运行前,在用户自己的设备上编译和调整内核。内核是负责反复计算的一小段软件。这样做的目标,是让计算方式更贴合正在使用的芯片。

桌面应用还可以一键连接多个 AI 代理工具。仓库列出了 Pi、OpenCode、Hermes、Codex、OpenClaw、Claude Code、Oh My Pi 和 Cline。其他工具则可以通过兼容 OpenAI 的接口接入。

为什么重要

在电脑本地运行 AI 时,速度不只由模型大小决定。芯片种类、可用内存和同时进行的任务也会影响体验。如果 Magnitude 的说法成立,按设备调整代码可能减少等待时间,也可能让多个代理任务更容易同时运行。

项目公布的比较结果显示,Metal 上的解码速度提高了 92%,CUDA 上提高了 19%。解码是把答案一点点生成出来的阶段。图表还显示,Metal 上先读入输入的阶段提高了 9%,CUDA 上提高了 23%。项目还称,每个代理使用的内存减少了 27%。

Magnitude 还把本地运行、隐私和开源列为特点。它说,提示词、文件和模型会留在用户的电脑里。模型下载完成后,不需要继续连接互联网。仓库使用 Apache 2.0 许可证,并称不会产生 token 费用。

已确认的内容

Magnitude 提供 macOS、Linux 和 Windows 版本。它支持 Apple Silicon、NVIDIA 和 AMD 图形处理器,也支持只使用 CPU 的电脑。它没有规定固定的最低硬件配置。较小的电脑运行较小的模型,更多内存则可以运行更大的模型。

仓库还链接了支持的开放权重模型目录,并列出多种代理工具的连接方式。这些属于项目明确写出的功能。速度数字仍然是项目自己报告的测量结果。

仍不清楚的地方

最高两倍的说法,并不能说明每一次测试的条件。单看 README,无法知道每个数字对应的完整模型、芯片、软件版本、设置和运行时间。Metal 上提高 92%,也不一定会出现在每一台 Apple 设备上。

第一次编译和调整需要多久,也会影响体验。用户还需要知道它会消耗多少热量,长时间运行是否稳定。支持的模型能否继续增加,以及本地隐私表现能否被外部检查,也需要继续观察。

接下来观察什么

接下来应关注第三方测试。测试最好使用相同的模型、设置和电脑,比较 Magnitude、llama.cpp、Ollama 和 LM Studio。支持的新模型、首次调整时间、多个代理同时运行时的内存使用量,也值得观察。

Magnitude 提出了一条不同的本地 AI 路线:不只改模型,也按每台电脑调整运行软件。这个方向可能让本地代理更容易使用。不过,项目的公开性能数字还需要更多独立测试来确认。

来源:Magnitude 公开仓库 · 讨论:Hacker News 帖子

💬 HN 对 Magnitude 的讨论:自动优化本地推理,但实际结果仍然有好有坏

Magnitude 是面向智能体长上下文、单会话推理的引擎,会针对运行它的设备调优内核。开发者的设计目标很积极,但现有基准测试范围有限,用户自报结果也会随硬件和任务不同而变化。

  • 关于商业模式,开发者设想把本地模型用于较简单的任务,把云端模型用于较困难的任务,并在同一工作中平滑切换。未来的推理云计划按令牌收费;目前重点仍是把推理引擎做好。
  • 下载新模型后,Magnitude 会为目标设备调节可配置的 GPU 内核,开发者称这一过程通常约需一分钟。其技术说明包括投机解码、8-bit key/4-bit value 的 KV 缓存量化、长上下文优化,以及基于 RULER 的检索测试;测试代码已公开。
  • 公开的 llama.cpp 对比是一个简单的文本重复测试:把《白鲸》放入最多64K令牌的上下文,再要求重复末尾部分。llama.cpp 使用了相近设置、开启 Flash Attention、不使用投机解码;由于测试中的量化 KV 路径会降低解码速度,比较使用了16-bit KV。因此,这不是完整的智能体轨迹测试,也不是最终的 MLX 对比。
  • 开发者报告称,在多个 Mac 上,主要是 M4 Pro 和 M4 Max,解码速度接近 llama.cpp 的2倍。这是开发者方面的报告,不代表所有设备和模型都会得到同样结果。
  • 一名用户自报称,Magnitude 界面对 Qwen 3.8 Q8 的估计速度,在25K、50K、75K和262K上下文下分别为17、16、16和12 tok/s;在 M5 Max 上,较短上下文的数值约比其真实 mtplx 会话慢一倍。开发者表示这些只是估计值,没有计入投机解码收益,并会调查 M5 Metal 4 矩阵运算利用不足的问题。
  • 其他用户自报的实测结果并不一致。在 M5 Max 上,Rapid-MLX 为175 tok/s解码、64ms TTFT、594 tok/s预填充,Magnitude 为161 tok/s、111ms和669 tok/s。在运行 Gemma 4 26B 的 M5 Pro 上,Magnitude 的解码速度据报为82.8,对比 oMLX 的76.5 tok/s;但预填充速度为709,对比1843 tok/s。
  • 批评者认为,超过 llama.cpp 本身并不够,真实评估还应包括100K至200K上下文、KV缓存压力、工具调用和每一轮的延迟。另一个担忧是,速度提升可能主要来自较低质量的量化,而一些用户需要 W8A16 和全精度 KV。开发者则称会用 prefix tree 重用共享提示,并提供 OpenAI 兼容的接口。
  • 当前限制包括用户自报的 GPU 重复识别、尚不支持多 GPU,以及有人卡在模型评估步骤。开发者表示评估通常应在约一分钟内完成。路线图包括 AMD 的 Vulkan 支持、在多个设备或机器之间分配工作,以及把未使用的 MoE 专家放到 RAM 或磁盘中的 expert streaming。

这是评论数为97时的成熟版(修订2)。获取97条,并从整体抽取97条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

Magnitude(会按电脑调整 AI 的本地工具)想让 AI 跑得更快

📰 完整报道: Magnitude(按电脑硬件调整 AI 运行方式的开源推理引擎)为何想让本地 AI 更快

一个新的开源工具可以在自己的电脑上运行 AI。它会按不同电脑调整计算方式。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
推理引擎(tuī lǐ yǐn qíng)

让 AI 在电脑上生成回答的软件。

内核(nèi hé)

反复完成计算的小段代码。

Hacker News(Hacker News)

讨论技术新闻的网站。

💡 一句话总结

  • Magnitude 会按正在使用的电脑调整 AI 软件。
  • 项目称,它比 llama.cpp 最快可提高两倍速度。
  • Hacker News 有 123 points 和 56 comments,说明它受到关注。

Magnitude(一个让 AI 在本地电脑运行的开源推理引擎)面向 AI 代理。AI 代理可以分几步完成一个目标。

很多通用工具使用提前准备好的代码。那些代码要适应很多不同的芯片。Magnitude 会在用户自己的电脑上编译和调整小段计算代码。这样,代码可能更适合这台电脑。

这些小段代码叫作内核。内核会重复完成重要计算。内核更合适,AI 可能就能更快生成回答。

项目称,Metal 上的解码速度提高了 92%。项目称,CUDA 上提高了 19%。解码就是一点点生成回答。每个代理使用的内存还可减少 27%。

Magnitude 支持 macOS、Linux 和 Windows。它支持 Apple Silicon、NVIDIA、AMD 和只使用 CPU 的电脑。它没有固定的最低配置。小电脑运行小模型。内存更多时,可以运行大模型。

项目称,提示词、文件和模型会留在本地电脑。模型下载后,也可以不连接互联网。它使用 Apache 2.0 许可证。

Hacker News 是讨论技术新闻的网站。123 points 和 56 comments 代表社区关注度。它们不是性能证明。速度数字来自 Magnitude 自己的比较。

接下来要看的是,其他人能否用相同条件得到类似结果。不同芯片、不同模型和长时间运行,都需要测试。

来源:Magnitude 公开仓库 · 讨论:Hacker News 帖子

💬 Magnitude 能让本地 AI 更快吗?答案取决于你的机器

Magnitude 会根据运行它的电脑自动调整 AI 引擎。想法很有吸引力,但用户自报结果显示,有时更快,有时更慢。

  • 公司计划把本地模型和云端模型结合起来,将来可能按令牌收取云端推理费用。下载新模型后,它会用大约一分钟为你的机器寻找合适设置。
  • 它试图减少 KV 缓存的占用。KV 缓存可以理解为 AI 对当前对话的记忆,这样长对话可能更容易运行。公司还说会使用投机解码并测试长上下文检索。
  • 主要公开对比只是让 AI 阅读长文本并重复结尾,不是完整的多轮工具调用测试,也不是最终的 MLX 对比。
  • 公司报告称某些 Mac 上的解码速度接近 llama.cpp 的两倍。但用户自报结果不一致:有人看到生成更快,也有人看到提示处理更慢、界面估计偏低,或比 Rapid-MLX 更慢。
  • 批评者认为,智能体真正需要的是稳定的 KV 缓存和每次调用都低延迟,而不只是一个很高的单路速度数字。他们还担心过度压缩的模型会损害推理和工具使用能力。
  • 用户自报过多 GPU 和模型评估方面的问题。未来计划包括 AMD、多个设备或机器,以及把模型中暂时不用的部分放到 RAM 或磁盘。

这是评论数为97时的成熟版(修订2)。获取97条,并从整体抽取97条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

Magnitude(帮助电脑运行 AI 的工具)会适应每台电脑

📰 完整报道: Magnitude(按电脑硬件调整 AI 运行方式的开源推理引擎)为何想让本地 AI 更快

AI 会在电脑里做回答。Magnitude 想让这个过程更快。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
Magnitude(Magnitude)

帮助电脑运行 AI 的工具。

Hacker News(Hacker News)

人们谈论技术的网站。

Magnitude(帮助电脑运行 AI 的工具)公开了。

AI 会在电脑里做回答。 有些电脑做得快。 有些电脑做得慢。

Magnitude 会先看看正在用的电脑。 然后按这台电脑准备工作。 这样,AI 可能回答得更快。

项目说,它比 llama.cpp 这种 AI 工具最快快两倍。 这是项目自己做的测试。 每台电脑不一定一样快。

问题、文件和模型会留在电脑里。 模型下载后,可以不用网络。

Hacker News 是谈技术的网站。 它有 123 points 和 56 comments。 这表示很多人注意到了它。 这不表示它一定很快。

还要用很多电脑来试。 也要用很多 AI 模型来试。

💬 Magnitude 想让本地 AI 更快,但还没有完全做到

Magnitude 是一个帮助 AI 在你的电脑上运行得更好的工具。

  • 它会在安装新模型后,用大约一分钟为这台电脑做调整。公司将来想让本地 AI 和云端 AI 一起工作,并可能按使用量收费。
  • 公司说它可以比 llama.cpp 更快,但用户自报的结果不一样:有人得到更快的回答,有人发现启动或读取提示更慢,也有人发现它比 Rapid-MLX 慢。最初的测试只是让 AI 读一段很长的文字。
  • 有些电脑不能正常使用多个 GPU,或者会卡在检查模型的步骤。团队计划支持 AMD、许多电脑一起工作,并把大模型的一部分放进 RAM 或磁盘。

这是评论数为97时的成熟版(修订2)。获取97条,并从整体抽取97条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源