exo: 在家用日常设备运行自己的 AI 集群 📱💻 🖥⌚️
有点意思
要运行 exo,唯一的要求是您的所有设备必须具备足够的内存,以便将整个模型加载到内存中。例如,若您使用的是 llama 3.1 8B(fp16),那么在所有设备上需至少拥有总计为16GB的内存。以下任何一种配置均可满足此要求,因为它们的总内存均超过了16GB:
- 两台配备8GB内存的M3 MacBook Air
- 一台配备16GB显卡NVIDIA RTX 4070 Ti的笔记本电脑
- 两台各自拥有4GB RAM的Raspberry Pi 400(通过CPU运行)加上一台8GB Mac Mini
🥰 exo-explore/exo
🧐 频道资源合集 😄 恰饭推荐 💬 群组
🥰 #GitHub #开源 #AI #集群
有点意思
要运行 exo,唯一的要求是您的所有设备必须具备足够的内存,以便将整个模型加载到内存中。例如,若您使用的是 llama 3.1 8B(fp16),那么在所有设备上需至少拥有总计为16GB的内存。以下任何一种配置均可满足此要求,因为它们的总内存均超过了16GB:
- 两台配备8GB内存的M3 MacBook Air
- 一台配备16GB显卡NVIDIA RTX 4070 Ti的笔记本电脑
- 两台各自拥有4GB RAM的Raspberry Pi 400(通过CPU运行)加上一台8GB Mac Mini
🥰 exo-explore/exo
🧐 频道资源合集 😄 恰饭推荐 💬 群组
🥰 #GitHub #开源 #AI #集群