阿里通义Qwen2、GPT-4o等大厂模型开展2024高考全科测评:来看看“AI状元”花落谁家?
7月17日,上海人工智能实验室公布了针对7款国内外主流AI大模型的高考全科目测试结果。
本次测评的相关负责人介绍,“当前大模型仍存在很大的局限性。组织AI大模型参加正式的高考题测,可以鉴定当前大模型的真实水平,找准问题,持续推进技术进步。”
现在将测评的全科成绩结果公布如下:
测试结果显示,书生·浦语2.0系列的文曲星大模型(浦语文曲星)、阿里通义千问大模型Qwen2-72B以及OpenAI的GPT-4o再次包揽文科、理科前三甲;前三名「AI考生」的文科、理科成绩分别超过了河南省高考今年的一本线与二本线。
之所以采用河南省的高考录取分数线,是因为该省考生数量样本足够大,可以最准确呈现大模型的真实水平。
本次参与「AI高考」的所有AI大模型的得分与排名情况公布如下:
据介绍,此次评测具备如下特征:
全卷考试:进行全卷评分,而不只针对单一题型,且包括带图的高考题考前开源:评测覆盖的开源模型均为今年高考前开源的模型,排除泄题的可能性老师打分:邀请有高考阅卷经验的老师打分,确保评分和高考尽量一致完全公开:生成答案的代码、模型答卷、评分结果完全开源在增加综合科目的基础上,阿里Qwen2-72B、GPT-4o、浦语文曲星包揽文科、理科前三甲。
其中,阿里Qwen2-72B 546分的成绩成为了「AI高考」的“文科状元”,浦语文曲星则以468.5分成为理科第一名,超越GPT-4o成为“理科状元”。
参与本次「AI高考」的阅卷老师一致认为:
大模型与人类考生之间仍然存在明显的差距,虽然AI对于基础知识的掌握表现出色,但在逻辑推理和知识灵活应用方面,大模型仍然差强人意。
具体而言,在作答主观题时,大模型往往无法完整理解题干,不明白代词指向,结果导致答非所问;解答数学题时,解题过程机械且逻辑性差,对于几何题,常出现与空间逻辑相违背的推断;对物理、化学实验理解肤浅,无法准确识别并运用实验器材。
此外,大模型也会经常出现伪造虚构内容的“AI幻觉”情况,编造看似合理但实际不存在的诗句,或在存在明显计算错误的情况下之后不反思,“硬着头皮蒙”一个答案,均给阅卷老师批阅试卷带来了困扰。
测评完整报告地址:https://github.com/open-compass/GAOKAO-Eval
-
阿里通义Qwen2、GPT-4o等大厂模型开展2024高考全科测评:来看看“AI状元”花落谁家?
7月17日,上海人工智能实验室公布了针对7款国内外主流AI大模型的高考全科目测试结果。组织AI大模型参加正式的高考题测,可以鉴定当前大模型的真实水平
2025-01-14 13:36:26 -
马斯克:2026年大规模生产人形机器人丨华为Pura 70系列上线AI扩图功能丨番茄小说作者联合抵制「AI训练授权协议」
【AI奇点网2024年7月23日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。
2025-01-14 13:15:47 -
谷歌AI天气「神算」登Nature:30秒模拟22天天气,效率暴涨10万倍!
谷歌提出了一种新的基于ML的大气环流模型NeuralGCM,比传统的基于物理的模型节省了几个数量级的计算量,计算成本降低了10万倍,相当于高性能计算领域25年的进步速度。对于2-15天的天气预报,这种方法比SOTA物理模型还要准确。
2025-01-14 12:53:17 -
Llama 3.1最新消息_ Llama 3.1官方下载链接_meta官网
坐拥最强大模型宝座两个月后,GPT-4o 的霸主级地位也不稳了。在 5 月份的春季发布会上,OpenAI 发布了多模态大模型 GPT-4o ,再次夺回了最强大模型的宝座,当时业界的目光也投向了 Meta 的 Llama 3-405B,期待这款开源大模型能够撼动 GPT-4o 的统治地位。
2025-01-14 12:27:16 -
Meta发布Llama 3.1开源大模型丨巴黎奥运会与阿里通义达成AI技术合作丨马斯克完成全球最强AI算力集群
【AI奇点网2024年7月24日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。
2025-01-14 12:00:16 -
快手可灵正式版上线_可灵最新消息_可灵官方网站
中午起来,在惯例的刷X的时候,看到一个非常离谱的消息。快手可灵,国际版1 0 全球正式上线,只需要邮箱,无需中国手机号码。
2025-01-14 11:32:31
-
怎么快速给模特换装_怎么用stable diffusion给模特换装
本篇教程主要运用StableDiffusion这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用StableDiffusion来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中
2024-12-23 13:57:15 -
万万没想到,兵马俑都开始跳「科目三」:阿里云通义千问APP打造“全民舞王”视频创作工具,实测效果大赞
兵马俑跳《科目三》,是我万万没想到的。有人借助了阿里云之前走红的AI视频生成技术——「Animate Anyone」,生成出来了这个舞蹈片段。
2024-12-13 16:46:26 -
AIGC落地实践!四招帮你快速搞定运营设计
回顾这一年,随着 AIGC 浪潮的爆发,在掌握AI工具已经成为设计师必备技能。今天这篇文章,通过三个案例流程拆解带大家从新时代设计工作流,到必备「四大招式」,到图标设计六大方向,到训练专属模型,再到全流程手把手拆解设计项目,绝对干货满满
2024-12-18 16:57:17 -
ChatGPT怎么本地登录_GPT怎么使用_GPT本地项目
本期就ChatGPT的这次更新再次将完全新人使用指南提上日程,并对此次更新做些设想和想象。希望大家喜欢!
2024-12-19 07:41:20 -
stable diffusion初识_stable diffusion跟其他工具有什么区别]
关于Stable Diffusion的内容很多,在本篇教程里,我会先为你介绍Stable Diffusion模型的运行原理、发展历程和相较于其他AI绘图应用的区别。
2024-12-24 13:45:31 -
PikaAI怎么用_PIkaAI怎样生成视频_AI视频生成器Pika怎么用_AI视频生成工具Pika教程
Pika这款工具7月份在AIGC界横空出世,被圈内誉为目前“全球最好的文本生成视频AI工具”之一,也被认为是另外一款知名AI视频生成工具Runway的强有力挑战者。
2024-12-25 13:35:53 -
如何使用 ChatGPT 调试代码
当您的代码出现问题时,您可以向 ChatGPT 提供故障代码和问题描述。AI 工具将尝试识别并纠正问题。
2024-12-31 12:01:41 -
stable SR脚本安装_stable diffusion脚本网站
上节课我们讲的4xUltraSharp是不是觉得已经很强了! 那么如果我拿出Stable SR脚本你应该如何应对呢?
2024-12-31 13:49:18 -
零基础2天速成!白嫖「秋叶」官方AI绘画课程,卷死同事
和「秋叶」一起学AI绘画,掌握Stable Diffusion、Midjourney的使用方法,开展AI绘画副业,搞钱!?
2024-12-17 12:53:01 -
openpose如何自定义角色_个性化角色姿势怎么定制_Controlnet深度解析
在设计角色姿势时,如何使用openpose进行姿势自定义,以及如何通过拍摄照片或使用第三方后期软件?同时,虚幻引擎对于角色姿势的编辑也很重要,本视频就并展示了如何使用优异商城中的免费资源来创建人物角色。
2024-12-19 11:43:51