消息来源频道

折腾啥

@zhetengsha

频道40,410 位成员公开可见0 人在线

Power Users/Automators 折腾/讨论/分享各种开源工具/脚本/自动化工作流 👥 群组 @zhetengsha_group 📌 资源合集导航 https://t.me/zhetengsha/2 🎁 恰饭推荐 https://t.me/zhetengsha/957 📢 广告投放 @xream Buy ads: https://telega.io/c/zhetengsha feedId:55438372655431680+userId:62307599601855488

成员规模40,410 位成员

在线情况0 人在线

消息总数4,340 条消息

浏览量总数7,753,402 次浏览

频道详情频道地址

2026/03/14 02:03

oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具
• 基于 Apple Silicon 优化，支持连续批处理与分层 KV Cache，可将热缓存放在内存、冷缓存落到 SSD，显著提升本地大模型的响应效率与上下文复用能力
• 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker，支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载，适合多模型并行工作流
• 提供 macOS 菜单栏应用与 Web 管理面板，兼容 OpenAI / Anthropic API，并内置模型下载、性能测试、聊天界面与 MCP 工具集成，降低本地 AI 服务运维门槛
https://github.com/jundot/omlx
#本地大模型 #Mac AI #Apple Silicon #LLM 推理 #KV Cache #多模型服务 #OpenAI API #Anthropic API #MCP #GitHub #AI