Microsoft AI 推出 Orca:一个 130 亿个参数的模型,可以学习模仿 LFM 的推理过程。

Microsoft AI 推出了 Orca,这是一个拥有 130 亿个参数的模型,可以学习模仿 LFM 的推理过程。

这些模型卓越的零样本能力引发了一个问题。 他们可以在没有人工干预的情况下监督自己或其他模型吗? 微软研究人员开发了 Orca,这是一个拥有 130 亿个参数的模型,可以学习复杂的解释痕迹以及逐步的思维过程。 与现有最先进的指令调整模型相比,这种创新方法显着提高了性能,同时解决了任务多样性、查询复杂性和数据可扩展性等挑战。

研究人员承认,GPT-4 查询和响应对可以为学生模型提供有价值的指导。 他们通过详细的回答来增强这些配对,以帮助更好地理解教师在生成答案时使用的推理过程。 Orca 的解释痕迹通过弥合教师和学生模型之间存在的差距,帮助学生提高推理和理解能力。

该团队使用 Flan 2022 系列进一步增强 Orca 的学习能力。 为了确保挑战是多样化的,团队从广泛的集合中抽取任务样本。 该团队对这些任务进行子采样,以创建复杂的提示,作为 LFM 的问题。 这为 Orca 创建了丰富多样的训练集,使其能够学习各种任务。

来源和详细信息:

Microsoft AI Introduces Orca: A 13-Billion Parameter Model that Learns to Imitate the Reasoning Process of LFMs (Large Foundation Models)

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注