又是一年高考时,除文作文题目,其他的题你还能看懂嘛?你也许不懂,但大模型可以!
今天的测试,让国产九章大模型(MathGPT)和 GPT-4o 一起做今年的数学题,以 2024 全国甲卷数学高考真题为例,让我们看看结果到底如何。
一、先说结论
【九章大模型(MathGPT)】
选择题 12 题,做对 7 题。
填空题 4 题,做对 2 题。
九章大模型总分 = 7 * 5 分 + 2 * 5 分 = 45 分 ( 满分 90 分 )
【GPT-4o】
选择题 12 题 , 正确 7 题。
填空题 4 题 , 正确 1 题。
GPT-4o 总分 = 7 * 5 分 + 1 * 5 分 = 40 分 ( 满分 90 分 )
九章大模型作为以数学领域的解题和讲题算法为核心的大模型,在高考数学题目上更胜一筹,比 GPT-4o 得分更高。同时 " 点睛 " 分析也是九章大模型的特色,在解题的同时还拆解了题目的考点,更适合给学习者参考。
但从绝对值的分数来看,两个大模型的整体答题分数都不算太高。大模型做数学题仍是一个难度较大的挑战,短期的模型表现还达不到完美。
二、测试方法说明
1、测试题目:2024 年高考全国甲卷数学真题
2、数学解答题的评分考核步骤过程,答题准确与否不易评判,所以只针对有明确答案的选择题和填空题来测试。
3、在测试中我们发现,文本输入格式的不同,会对测试结果造成比较明显的干扰。于是此次测试采用了上传图片文本识别的方式,让大模型识别题目并做题,更能保证结果的公平客观。同时,这种识图的方式也更类似 " 人类视觉读题 " 的情况,是对大模型能力的全面考验。
三、选择题,九章大模型、GPT-4o 互有胜负
2024 年高考全国甲卷数学题共 12 道选择题,九章大模型和 GPT-4o 都是有 7 道正确,但做对的题目不完全相同,互有胜负。
具体来看几道题:
第 2 题,九章大模型做对,GPT-4o 做错:
原题:
九章大模型解答:
GPT-4o 解答:
第 9 题,九章大模型做对,GPT-4o 认为没有正确答案:
第 10 题,九章大模型做错,GPT-4o 做对:
GPT-4o 解答,答案选择正确,但其中解题对命题①的分析存在错误:
四、填空题,GPT-4o 做对一道,九章做对两道
具体来看两道题 :
第 14 题,九章大模型和 GPT-4o 都做对:
第 16 题,九章大模型做对,GPT-4o 做错:
关于 GPT-4o
2024 年 5 月 14 日,OpenAI 宣布推出 GPT-4o,GPT-4o 在处理速度上提升了高达 200%,GPT-4o 所有功能包括视觉、联网、记忆、执行代码以及 GPT Store 等,可以实时对音频、视觉和文本进行推理。
关于九章大模型
学而思九章大模型(MathGPT)是学而思自主研发的,面向全球数学爱好者和科研机构,以解题和讲题算法为核心的大模型。2023 年 11 月,九章大模型成为首批通过备案的教育大模型。
登录后才可以发布评论哦
打开小程序可以发布评论哦