开源大模子王座倏地易主萝莉 调教，确凿来自一家小创业团队，眨眼间引爆业界。

新模子名为 Reflection 70B，使用一种全新熟悉时代，让 AI 学会在推理经过中校正我方的乖僻和幻觉。

比如最近流行的数 r 测试中，一开动它犯了和大广泛模子同样的乖僻，但主动在 <反念念> 标签中校正了我方。

在官方评测中，70B 模子全面高出最强开源 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro，相称是数学基准 GSM8K 上平直刷爆，得分 99.2%。

这个铁心也让 OpenAI 科学家、德扑 AI 之父 Noam Brown 心扉开麦：

GSM8K 得分 99%！是不是不错认真淘汰这个基准了？

模子刚刚上线网友就把试玩挤爆了，对此 Meta 还主动支援了更多算力。

在网友测试中，Reflection 70B 能回答对 GSM8K 数据聚积自身谜底乖僻的问题：

我向模子提供了 GSM8K 中存在的 5 个“ground_truth”自身就不正确的问题。

模子莫得重叠数据聚积的乖僻谜底，而是一起回答对了，这很令东说念主印象深化，标明那 99.2% 的准确率并非来自于挂念测试集！

数多样 r 齐不在话下，连生造词“drirrrngrrrrrnnn”中有几个 r 也能被正确数对。

网友纷繁对小团队作念出的开源高出顶流闭源感到诧异，刻下最强开源模子不错在腹地运行了。

丝袜脚

要津 70B 还仅仅个开动，官方暗示下周还会发布更大的 Reflection 405B。

瞻望 405B 性能将大幅优于 Sonnet 和 GPT-4o。

Reflection 70B 权重已公开，API 走访将至今天晚些时候由 Hyperbolic Labs 提供。

模子能自我反念念校正乖僻

刻下对于 Reflection 70B 的更多细节如下。

Reflection 70B 才调耕作的要津，小萝莉穴是遴选了一种名为 Reflection-Tuning 的熟悉花式，它约略让模子反念念我方生成的文本，在最终笃定恢复前检测并校正自身推理中的乖僻。

熟悉中的数据来自使用 GlaiveAI 平台生成的合成数据。

Reflection 70B 基于 Llama 3.1 70B Instruct，不错使用与其它 Llama 模子疏通的代码、pipeline 等从 Reflection Llama-3.1 70B 进行采样。

它以致使用了圭表的 Llama 3.1 聊天神态。

不外，Reflection 70B 引入了一些相当 tokens，结构化输出经过。

如底下这个例子所展示的，霸术经过分为一个稀少的要领，这么作念不错提高 CoT 成果，并保握输出精粹：

模子将从在 <thinking> 和 </thinking> 标签内输出推理开动，一朝对其推理感到舒畅，就会在 <output> 和 </output > 标签内输出最终谜底。

是以它约略将其里面念念考和推理与最终谜底分别。

在 <thinking> 部分，模子可能会输出一个或多个，这标明模子发现了其推理中的乖僻，并将在提供最终谜底之前尝试校正该乖僻。

系统指示如下：

You are a world-class AI system， capable of complex reasoning and reflection. Reason through the query inside tags， and then provide your final response inside tags. If you detect that you made a mistake in your reasoning at any point， correct yourself inside tags.

（你是一个寰宇级东说念主工智能系统，约略进行复杂的推理和反念念。在标签内对查询进行推理，然后在标签内提供你的最终恢复。要是你发现我方在职何时候推理出错，请在标签内校正我方。）

此外值得一提的是，基准测试中，通盘基准齐已通过 LMSys 的 LLM Decontaminator 查验浑浊，进攻了 <output> 部分，并单独对这一部分进行测试。

使用 Reflection 70B 的时候，官方还共享了小 tips：

初步提议参数 temperature 为.7 ，top_p 为.95

为提高准确性，最佳附加“Think carefully.”在 Prompt 末尾

官方还暗示，下周会发布一份暴露，在意先容模子熟悉经过和发现。

Agent 创业团队打造

Reflection 70B 的背后是一支小团队，由 HyperWriteAI 的 CEO Mutt Shumer 指挥。

领英显现，Mutt Shumer 是一位连气儿创业者，毕业于好意思国锡拉丘兹大学，现任 OthersideAI 的聚首创始东说念主兼 CEO。

OthersideAI 是一家 AI 运用公司，神敢于于通过大规模 AI 系统缔造环球起首进的自动补全器具，亦然 HyperWrite 的幕后公司。

HyperWrite 是一个浏览器操作 agent，不错像东说念主同样操作谷歌浏览器来完成一系列任务，比如订披萨：

和 gpt-llm-trainer 同样，你只需要用翰墨刻画主意，它就会一边列要领，一边推论。

刚推出时堪称“比 AutoGPT 强”。

HyperWrite 还不错在谷歌推广递次中装置。

另外，Mutt Shumer 高中时期就创立了 Visos，神敢于于缔造用于医疗用途的下一代假造本质软件。

还创立了 FURI，这是一家旨在通过创造高性能产物并以平正的价钱销售它们来颠覆体育用品行业的公司。

固然有 Meta 救济，但刻下翻开试玩，还是：暂时无法走访。

感风趣风趣的童鞋不错先码住了～

https://reflection-playground-production.up.railway.app/ 

参考相接：

[1]https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B

[2]https://x.com/mattshumer_/status/1831767014341538166

[3]https://x.com/polynoamial/status/1831798985528635806

[4]https://x.com/degeneratoor/status/1831809610451448196

[5]https://x.com/kimmonismus/status/1831772661296345333

本文来自微信公众号：量子位（ID：QbitAI），作家：西风，原标题：《开源大模子新王干翻 GPT-4o，新时代可校正我方幻觉，数学 99.2 分刷爆测试集》

告白声明：文内含有的对外跳转相接（包括不限于超相接、二维码、口令等体式），用于传递更多信息，省俭甄选时候萝莉 调教，铁心仅供参考，IT之家通盘著作均包含本声明。