消息来源频道

普拉姆的胡言乱语

@plumzme

频道561 位成员公开可见0 人在线

游戏/Linux/数码/Gal/音乐/地狱笑话/沙雕图/乐子博客：https://plumz.me 频道有自动杀广告评论bot，如被误杀请联系管理员：@Plumlis

成员规模561 位成员

在线情况0 人在线

消息总数11,971 条消息

浏览量总数671,423 次浏览

频道详情频道地址

2025/03/01 14:52

现在搞本地部署主要目标群体是企业而不是个人，个人因为门槛高+利用率上不去会血亏。理论上几个熟人凑一块搭一套出来用也可以搞。
性能方面，本地Windows/Mac部署流行的基于llama.cpp的方案确实是并发差了点。vLLM/SGLang虽然并发性能好很多，但是环境和硬件上的门槛又要更进一步，所以也就这样了吧。
https://x.com/wwwyesterday/status/1895820270901887358