新华社研究院发布国产大模型报告:讯飞星火第一,百度文心第二

来源:2023-08-14 15:30:40    时间:华尔街见闻


(资料图片)

自ChatGPT引发人工智能投资热潮以来,国产大模型如雨后春笋般爆发,截至7月初,国内10亿级参数规模以上的人工智能大模型已超80个。在这种新的趋势下,国产大模型该如何选择?哪家大模型最强大?

8月12日,新华社研究院中国企业发展研究中心发布《人工智能大模型体验报告2.0》(以下简称《报告》),对百度文心一言、阿里通义千问等时下最火热的国产通用大模型应用进行了测评。

本次测评共设计500道随机题目,对标接受过高等教育的人类水平、更强调对产业和生活的实际价值,并严格按基础能力指数、智商指数、情商指数、工具提效指数四大测评维度进行权重设计,以保证整个测评过程的严谨性。

最终结果稍稍令人意外,讯飞星火以总分1013分位列本次测评榜首,在四大评测维度中的智商指数和工具提效指数两个维度获得第一;百度文心一言和商汤科技商量分别位列第二和第三。

《报告》称,讯飞星火具有7大核心能力,即文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力。拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务。

在基础能力部分,人类与AI之间的差距并不显著。百度文心一言表现在模型中最为抢眼;商汤商量、智谱AI hatGLM、360智脑表现优良,讯飞星火、阿里通义千问、澜舟科技Mchat、昆仑万维天工表现尚佳。

在智商评估方面人类仍然具有明显优势,分数也达到最高。在所有测评的模型中,讯飞星火、智谱A-ChatGLM并列第一;百度文心一言、昆仑万维天工表现优良。

在情商方面,AI与人类之间的差距最为明显。《报告》称,目前尚未观察到AI具备情绪感知能力的明显迹象。尽管如此,商汤商量还是展现了超越同行的高情商,以346分位列第一,百度文心一言和澜舟科技·Mchat分别位列第二和第三。

最后,在工作效率提升方面,《报告》认为, AI对人类提供了有力的支持,AI的处理速度远远超过人类。然而,尽管AI具有高速度和高效率的优势,但在某些复杂和具有创新性的任务中,人类的智慧和想象力仍然具有无法替代的作用。测评结果显示,讯飞星火以350分排名第一并遥遥领先,百度文心一言和商汤商量分别位列第二和第三。

《报告》认为,与2023年6月相比,当前中国大模型产品进步显著。但与接受过高等教育的人类相比,大模型在智商、情商等方面还存在一定程度差距。虽然在不同领域中,AI和人类表现出不同的优劣势,但在整体上,AI大模型的发展为人类工作和生活的提质增效带来了重要的积极影响,大模型正在加速走进生活、走进产业。

关键词:

文章推荐

  • 新华社研究院发布国产大模型报告:讯飞星火第一,百度文心第二

    自ChatGPT引发人工智能投资热潮以来,国产大模型如雨后春笋般爆发,截

    华尔街见闻 2023-08-14
  • “听见当代中国”音乐会在奥地利上演

    据新华社报导,“听见当代中国”——中国当代作曲家室内乐作品音乐会10

    中评网 2023-08-14
  • win10程序无响应频繁原因_win10程序无响应卡死

    你们好,最近小活发现有诸多的小伙伴们对于win10程序无响应频繁原因,w

    互联网 2023-08-14
  • OLED+彩色墨水屏 ThinkBook Plus Twist全球首款翻转双屏笔记本开售

    随着数字经济的兴起和智能时代的到来,科技产品几乎每时每刻都在经历着

    中关村在线 2023-08-14
  • 美资深记者:赖清德是美国的假朋友、真敌人

    马丁·西夫(MartinSieff)是《华盛顿时报》前高级记者,曾凭国际报道

    中国日报网 2023-08-14
  • 广告

    X 关闭

    X 关闭

  • 众测
  • more+

    京张高铁每日开行17对冬奥列车

      京张高铁每日开行17对冬奥列车  预计冬奥服务保障期运送运动员、技术官员、持票观众等20万人次  2月6日,2022北京新闻中心举行“北

    北京冬奥会开幕式上 小学生朱德恩深情演绎《我和我的祖国》

      北京冬奥会开幕式上 小学生朱德恩深情演绎《我和我的祖国》  9岁小号手苦练悬臂吹响颂歌  2月4日晚,在北京冬奥会开幕式上,9岁的

    2022北京冬奥会开幕式这19首乐曲串烧不简单

      多名指挥家列曲目单 再由作曲家重新编曲 本报专访冬奥开幕式音乐总监赵麟  开幕式这19首乐曲串烧不简单  “二十四节气”倒计时、

    “一墩难求” 冰墩墩引爆购买潮

    设计师:没想到冰墩墩成爆款一墩难求冰墩墩引爆购买潮 北京冬奥组委:会源源不断供货北京冬奥会吉祥物冰墩墩近日引爆购买潮,导致一墩难求