折腾啥 头像

消息来源频道

折腾啥

@zhetengsha

频道40,410 位成员公开可见0 人在线

Power Users/Automators 折腾/讨论/分享各种开源工具/脚本/自动化工作流 👥 群组 @zhetengsha_group 📌 资源合集导航 https://t.me/zhetengsha/2 🎁 恰饭推荐 https://t.me/zhetengsha/957 📢 广告投放 @xream Buy ads: https://telega.io/c/zhetengsha feedId:55438372655431680+userId:62307599601855488

成员规模40,410 位成员
在线情况0 人在线
消息总数4,340 条消息
浏览量总数7,753,402 次浏览

在这个频道里搜索消息……

t.me/zhetengsha

exo: 在家用日常设备运行自己的 AI 集群 📱💻 🖥⌚️
有点意思
要运行 exo,唯一的要求是您的所有设备必须具备足够的内存,以便将整个模型加载到内存中。例如,若您使用的是 llama 3.1 8B(fp16),那么在所有设备上需至少拥有总计为16GB的内存。以下任何一种配置均可满足此要求,因为它们的总内存均超过了16GB:
- 两台配备8GB内存的M3 MacBook Air
- 一台配备16GB显卡NVIDIA RTX 4070 Ti的笔记本电脑
- 两台各自拥有4GB RAM的Raspberry Pi 400(通过CPU运行)加上一台8GB Mac Mini
🥰 exo-explore/exo
🧐 频道资源合集 😄 恰饭推荐 💬 群组
🥰 #GitHub #开源 #AI #集群