新浪科技讯 12月23日午间音尘，近日，智源磋商院发布国表里100余个开/闭源话语、视觉话语、文生图、文生视频大模子笼统及专项评测效劳。评测发现，2024年下半年开yun体育网，大模子发展更聚焦笼统才智普及与履行诓骗。多项评测效劳中，字节率先多项AI才智率先，阿里巴巴、百度等大厂派AI均得到优异进展。
据评测效劳，针对一般汉文场景的灵通式问答或生成任务，话语模子才智已趋于填塞清醒，然则复杂场景任务的进展，国内头部话语模子仍然与国外一活水平存在显耀差距。在汉文才智交融上，字节率先Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排行第五。
在视觉话语多模态模子才智评测效劳中，一些较好的开源模子在图文交融雇务上正在减轻与头部闭源模子的才智差距，而长尾视觉知识与笔墨识别以及复杂图文数据分析才智仍有普及空间。评测骄傲，OpenAI GPT-4o-2024-11-20与字节率先Doubao-Pro-Vision-32k-241028先后率先于Anthropic Claude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro紧随后来。
此外，文生图多模态模子本年上半年参评模子无数无法生成正确的汉文笔墨，但这次参评的头部模子依然具备汉文笔墨生成才智，但举座无数存在复杂场景东说念主物变形的情况，针对学问或知识性推理任务，小于3的数目关连任务进展存所普及，大于3的数目关连依然无法管制。评测效劳骄傲，腾讯Hunyuan Image位列第一，字节率先Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可图次之。
在文生视频多模态模子，画质进一步普及，动态性更强，镜头话语更丰富，专场更畅通，但无数存在大幅度手脚变形，无法交融物理限定，物体消亡、骄傲、穿模的情况。评测效劳骄傲，快手可灵1.5（高品性）、字节率先即梦P2.0 pro、爱诗科技PixVerse V3、MiniMax海螺AI、Pika 1.5位列前五。
据先容，本次评测依托智源磋商院自2023年6月上线的大模子评测平台FlagEval，历程数次迭代，现在已遮掩世界800多个开闭源模子，包含20多种任务，90多个评测数据集，超200万条评测题目。（文猛）
海量资讯、精确解读，尽在新浪财经APP
拖累剪辑：石秀珍 SF183开yun体育网