消息来源频道

硬核开源智库

@HardcoreOpenAI

频道811 位成员公开可见持续更新

提供硬核学习资源,探索开源力量,驾驭AI未来! 本频道精选GitHub优质开源项目、最新人工智能(AI)技术进展、前沿科技资讯以及各类有价值的学习资源,助你站在技术浪潮之巅,实现知识与技能的快速跃迁。无论你是开发者、AI爱好者还是技术探索者,都能在这里找到属于你的宝藏!

成员规模811 位成员
在线情况待同步
消息总数1,140 条消息
浏览量总数116,736 次浏览

在这个频道里搜索消息……

t.me/HardcoreOpenAI

Open-dLLM:首个全开源扩散式大语言模型全栈项目,覆盖预训练、评测、推理与权重发布,刷新了扩散 LLM 的开放透明度标准。
• 集成 Open-dCoder 代码生成模型,参数仅0.5B,却在代码补全和填充任务上超越多款7-8B级别扩散模型。
• 全流程开源:从原始数据、训练代码、评测脚本到推理代码及模型权重一应俱全,确保结果可复现。
• 评测覆盖 HumanEval、MBPP、Infilling 等多维度代码生成与填充指标,Open-dCoder代码填充准确率高达77.4%。
• 采用 Masked Diffusion Model (MDM) 训练目标,创新地通过不同比例掩码实现代码片段重建,提升模型生成质量。
• 预训练基于 Hugging Face 发布的 FineCode 高质量代码数据集,且继承 Qwen2.5-Coder 转扩散架构,兼顾效率与性能。
• 配套详尽安装与推理示例,支持 CUDA 12.3、FlashAttention 等最新硬件加速技术,方便快速上手。
• 对比目前主流扩散 LLM(LLaDA、Dream等)仅开放推理+权重,Open-dLLM全面开放训练与评估,真正做到透明与可控。