来纽约曼哈顿，走 AI 工程师红毯
大家好，上个月我从旧金山去纽约参加了 AI Engineer Summit，这是 AI Engineering 里每年最值得关注的硬核会议，也是一年一度头部 AI 工程师们的“聚会”。整个三年里的体验很魔幻也很好玩，高密度的人和信息量，高效、切身地感受到了 AI 模型当前发展的阶段、瓶颈以及各领域里“大家都在做什么”。
本文总结来自现场 Anthropic、Arc、Every等团队的分享以及“怎么做AI Memory”的第二期，把记忆训练进模型里，而不仅仅放在context engineering。包括：
1. RAG 的局限性
2. 上下文嵌入（Context Embeding）： 一种保存领域数据的文本嵌入方式
3. AI Memory：如何把记忆训练到模型里？SFT、RL 、合成数据
4. 如何做模型后训练（Post-training）？LoRA、Prefix、Memory Layer
我最近也在构建一个结合知识图谱的 AI Memory 开源项目，有兴趣 contribute 的朋友可以到文末找我进行交流。
大家好，上个月我从旧金山去纽约参加了 AI Engineer Summit，这是 AI Engineering 里每年最值得关注的硬核会议，也是一年一度头部 AI 工程师们的“聚会”。整个三年里的体验很魔幻也很好玩，高密度的人和信息量，高效、切身地感受到了 AI 模型当前发展的阶段、瓶颈以及各领域里“大家都在做什么”。
本文总结来自现场 Anthropic、Arc、Every等团队的分享以及“怎么做AI Memory”的第二期，把记忆训练进模型里，而不仅仅放在context engineering。包括：
1. RAG 的局限性
2. 上下文嵌入（Context Embeding）： 一种保存领域数据的文本嵌入方式
3. AI Memory：如何把记忆训练到模型里？SFT、RL 、合成数据
4. 如何做模型后训练（Post-training）？LoRA、Prefix、Memory Layer
我最近也在构建一个结合知识图谱的 AI Memory 开源项目，有兴趣 contribute 的朋友可以到文末找我进行交流。