告诉大模型“深呼吸”能大幅提升数学得分
2023-09-20 21:56 by 飞行中的阴影
Google DeepMind 的研究人员在预印本平台 arXiv 发表论文《Large Language Models as Optimizers》，介绍了大模型的一种优化方法：用一个大模型修饰提示，改进另一个大模型的数学能力。初步结果显示，使用“深呼吸，一步步解决问题”的提示效果最为显著，能大幅提升数学测试得分。对 Google 的 PaLM 2 大模型使用该提示，它在小学数学应用题数据集 GSM8K 中的正确率达到了 80.2%，而不使用该提示正确率只有 34%，“让我们一步步思考”提示的正确率为 71.8%。为什么会有如此惊人的变化？大模型显然不会呼吸，也不像人类那样思考和推理。它们所做的推理都源自从书籍和互联网上抓取的短语数据集。其中包括问答形式的论坛，此类论坛包含了大量“深呼吸”，“一步步思考”等短语，后面紧跟着更细致入微的推理方案。这些短语可能有助于大模型产生更好的答案。
https://arstechnica.com/?p=1969012
https://arxiv.org/pdf/2309.03409.pdf
#人工智能
2023-09-20 21:56 by 飞行中的阴影
Google DeepMind 的研究人员在预印本平台 arXiv 发表论文《Large Language Models as Optimizers》，介绍了大模型的一种优化方法：用一个大模型修饰提示，改进另一个大模型的数学能力。初步结果显示，使用“深呼吸，一步步解决问题”的提示效果最为显著，能大幅提升数学测试得分。对 Google 的 PaLM 2 大模型使用该提示，它在小学数学应用题数据集 GSM8K 中的正确率达到了 80.2%，而不使用该提示正确率只有 34%，“让我们一步步思考”提示的正确率为 71.8%。为什么会有如此惊人的变化？大模型显然不会呼吸，也不像人类那样思考和推理。它们所做的推理都源自从书籍和互联网上抓取的短语数据集。其中包括问答形式的论坛，此类论坛包含了大量“深呼吸”，“一步步思考”等短语，后面紧跟着更细致入微的推理方案。这些短语可能有助于大模型产生更好的答案。
https://arstechnica.com/?p=1969012
https://arxiv.org/pdf/2309.03409.pdf
#人工智能