作 者丨白杨av 白虎
编 辑丨张伟贤
3 月 21 日深夜,腾讯晓示推出自研深度想考模子混元 T1 郑再版,并同步在腾讯云官网上线。
一个挑升义的表象是,不论是前几天阿里发布推理模子 QwQ-32B,如故这次腾讯发布混元 T1,都选在了国内的深夜时段。据记者了解,他们这么作念的标的,是因为这些模子都会面向国外设立者,这也进一步确认中国大模子已着实走向国外。
据腾讯先容,混元 T1 郑再版通过大限制强化学习,并鸠合数学、逻辑推理、科学和代码等理科贫苦的专项优化,推理才调取得进一步普及。与此前已上线腾讯元宝的混元 T1-preview 模子比拟,笼统后果也有了彰着普及。
在一些常见的基准测试上,开心色播比如大道话模子评估增强数据集 MMLU-PRO 中,混元 T1 的评分仅次于 OpenAI-o1,优于 DeepSeek-R1。
在评估逻辑推理才调的 DROP F1 测试中,混元 T1 的评分也优于 DeepSeek-R1 和 OpenAI-o1。不外在数学和代码才调测试中,混元 T1 的评分都低于 DeepSeek-R1。在汉文道话和会才调方面,混元 T1 与 DeepSeek-R1 的评分王人平。
举座来看,混元 T1 郑再版的得益如故达到了业界朝上推理模子的水平。但腾讯官方这次并未败露混元 T1 的参数目级,是以并不剖析其是用若干磨练数据终了这一性能。
另外值得一提的是,混元 T1 是以腾讯快想考模子混元 Turbo S 为基座打造。
混元 Turbo S 于本年 2 月底发布,腾讯混元团队那时就暗示,Turbo S 将行为旗舰模子,成为腾讯混元系列养殖模子的中枢基座,为推理、长文、代码等养殖模子提供基础才调。
与 DeepSeek R1 等慢想考模子不同,混元 Turbo S 更强调"秒回、吐字快",何况更善于超长文本科罚。
日本男同这是因为混元 Turbo S 在架构方面编削性地经受了 Hybrid-Mamba-Transformer 和会形态。通过这种和会,混元 Turbo S 一方面不错发达 Mamba 高效科罚长序列的才调,另一方面也能保留 Transformer 擅于捕捉复杂高下文的上风。
因此,该架构灵验裁减了传统 Transformer 结构的推测复杂度,减少了 KV-Cache 的内存占用,从而权臣裁减了磨练和推理本钱,让混元 T1 吐字速率达到最快 80 tokens/s。
据了解,混元 Turbo S 是工业界初次成效将 Mamba 架构无损地运用在超大型 MoE 模子上,而混元 T1 则是工业界初次将夹杂 Mamba 架构无损运用于超大型推理模子上。
价钱方面,混元 T1 的输入价钱为每百万 tokens 1 元av 白虎,输出价钱为每百万 tokens 4 元。这与 DeepSeek-R1 当彻夜间时段(00:30-08:30)的价钱疏导,但在圭臬时段,混元 T1 的价钱则是 DeepSeek-R1 的四分之一。