笛卡尔说：“我思，故我在。”

思考是文明存在的根本，是人类探索未知的永恒追求，现在也成了大模型技术演进的一个重要方向。

自OpenAI在9月中旬悄然发布o1模型后，一系列推理模型陆续开放测试。比如通义千问的QwQ、deepseek的R1、Kimi的K1以及智谱刚刚发布的GLM-Zero的初代版本GLM-Zero-Preview（智谱清言同步上线了智能体“Zero推理模型”）。

正好到了年末，我们萌生了举办一场推理模型“年终考试”的想法。

在“考试”正式开始前，先来简单科普下推理模型的特点：相较于基座模型，推理模型在回答问题前会像人类一样进行更长时间的“思考”，不断验证和纠错，更擅长编程、数学、科学等任务。

所以，这是一场面向“理科生”的考试。

需要说明的是，我们没有使用AIME2024、MATH500等专业的数据集，也无意对各个推理模型进行专业测评和排名，仅适用于多数人在日常生活中可能遇到的问题。

譬如给孩子辅导作业、应付面试时的“奇葩问题”、和朋友一起玩剧本杀时的推理游戏等等，和大家一起探索各个推理模型的“长项”和“短板”。

考试规则

一共有六道考题，分别用高三数学的单选题、多选题和计算题测试模型的数学计算能力，用一道常见的编程题目测试模型的编程能力，用一道逻辑问题和一道海龟汤问题测试模型的推理能力。

分数评定分为三个维度，最终根据推理结果（占比60%）、推理过程（占比25%）、推理时间（占比15%）加权平均。考虑到单次测试存在的不确定性，满分为100分，兜底分数为60分（即使做错了也有60分）。

考生名单：OpenAI o1、通义千问QwQ-32B-preview、deepseek深度思考（R1）、Kimi视觉思考版（K1）和智谱GLM-Zero。

下面，考试正式开始。

第一题：单选题

考虑到不少人曾经拿高考真题测试，为了防止可能的“作弊”行为，我们从《2024届浙江省镇海中学高三下学期期中数学试题》筛选了一道单选题目进行测试。（难度的话，至少本科毕业十年的我们是不会做的。）

第六题成绩揭晓

海龟汤题没有标准答案，主要考的是推理结果的合理性。

o1模型终于“翻车”了，将问题理解为了“脑筋急转弯”，而且推理几乎没有逻辑；deepseek陷入了思考死循环，等待了4分多钟后，我们被迫停止了测试；kimi、GLM-Zero和QwQ的表现不相上下，只是Kimi再次出现了格式混乱。遗憾的是，作为“理科生”的推理模型，都没有进行富有创造性的故事描述。

考试小结

我们按照文初提到的考试规则，进行了平均分的计算，考虑到单次测试的偶发性（比如将多选题拆解为单选题，进一步测试两个“翻车”的模型，最终都给出了正确答案），可以说各个推理模型并未拉开太大的差距，并没有陷入同质化，而是各有所长。

o1模型胜在推理速度和推理正确率；QwQ-32B-preview的表现中规中矩；deepseek深度思考在数学计算和编程方面表现优秀；Kimi视觉思考版“自我反思”能力强，在发散问题上的逻辑自洽性最佳；GLM-Zero在数学计算、编程和推理上的综合表现不输o1，可以说是目前国内最好的推理模型。

不过，Open AI已经发布了o3模型，整体性能比o1提升了20%，国内的几个推理模型仍然有很大的提升空间。其中智谱已经公开表态将持续优化迭代强化学习技术，并将推出正式版的GLM-Zero，将深度思考的能力从数理逻辑扩展到更多更通用的技术。

写在最后

正如OpenAI的介绍o1模型的博客文章里所提到的：“我们通往AGI的路上，已经没有任何阻碍。”

推理模型不仅能够模仿人类思维，还能跨越知识领域，将信息整合并生成新的知识，这正是AGI实现通用性的基础。

相较于我们的“单题测试“，推理模型在产业中落地的可能更大。比如在金融、医疗、法律等决策过程常涉及多变量权衡的领域，推理模型可以分析大量数据、找出相关性，并提供优化的解决方案。

以医疗场景为例，基于推理的诊断模型可以帮助医生快速排查可能病因并建议治疗方案，从而提高诊断效率；再比如智谱在AutoGLM上示范的人机协作场景，推理模型能够更好地理解人类的意图、预测需求、并主动提出建议，将进一步提升Agent的能力，帮助用户解决更多类型的问题。

可以预见，2024年是大模型落地应用的元年，在推理模型的赋能下，2025年将是AI进一步提质增效的一年。