AI周报 | MiniMax 发布万亿参数模型;首个AI程序员Devin被质疑造假

更新时间:2024-04-21 21:56:54作者:橙橘网

AI周报 | MiniMax 发布万亿参数模型;首个AI程序员Devin被质疑造假

MiniMax 发布万亿参数模型

4月17日,稀宇科技MiniMax宣布推出abab 6.5系列模型。abab 6.5系列包含两个模型:abab 6.5和abab 6.5s。据介绍,abab 6.5包含万亿参数,支持200k tokens的上下文长度;abab 6.5s跟abab 6.5使用了同样的训练技术和数据,但是更高效,支持200k tokens的上下文长度,可以1秒内处理近3万字的文本。在各类核心能力测试中,abab 6.5开始接近GPT-4、Claude-3、Gemini-1.5等大语言模型。

MiniMax此次发文提到,在升级至万亿参数的过程中,找到了越来越多加速实现Scaling Laws(尺度定律)的途径,包括改进模型架构,重构数据 pipeline,训练算法及并行训练策略优化等,此次发布的 abab 6.5 和 abab 6.5s 就是加速 Scaling Laws 过程的阶段性成果。

点评:要把模型做大不是一件简单的事情。在MiniMax之前,阶跃星辰是国内第一个对外公开万亿参数模型的创业公司,不过当时发布的是预览版。在万亿参数规模上,根据阶跃星辰数据,至少需要等效 A800 万卡单一集群,高效稳定的训练,十万亿tokens 高质量的数据,加上驾驭新颖的MoE 架构,任何一环出现短板,就很难将模型提升至万亿参数,业内只有极少数公司能做到。

Meta或开源4000亿参数模型

当地时间4月18日,Meta发布了Llama 3开源大模型,包括Llama 3 8B和Llama 3 70B。据Meta称,Llama 3是迄今为止功能最强的开源LLM(大语言模型)。Meta同时透露,目前其最大参数模型已超400B(4000亿)参数,但还在训练。业界认为Llama 3超4000亿参数版本后续可能开源。英伟达科学家Jim Fan表示,即将推出的Llama 3 400+B将意味着开源社区获得GPT-4级别的模型开放权重访问,这将是一个分水岭时刻,将改变许多研究工作和初创公司的发展方式。

点评:Llama 3 8B和Llama 3 70B推出后,不少业界人士期待后续可能开源的超4000亿参数版本。Jim Fan提取了Claude 3 Opus、GPT-4 Turbo、Gemini Ultra 1.0、Gemini Pro 1.5 、Llama 3 400+B早期Checkpoint(检查点)的多项基准得分发现,Llama 3 400+B多项得分低于但已接近GPT-4和Claude 3 Opus。阿里云首席智能科学家丁险峰认为,开源的Llama 3有如安卓,一夜之间打掉所有闭源手机操作系统:PalmOS、Windows mobile、symbian,伟大的时代要来临了。不难看出业界对大模型开源的期待,开源潮流涌动或也对闭源的OpenAI造成更大压力。

首个AI程序员Devin被质疑造假

Cognition Labs今年3月发布AI编程产品Devin,Devin有全球首位AI程序员之称。Cognition官网发布的演示视频里,Devin只需一句指令,就能端到端地处理整个开发项目,还可以按照用户需求同时执行多步骤工作流程。近日有网络博主复现了Devin的演示视频并提出质疑,包括Devin所展示的编程能力存在一定欺骗性,Devin在操作过程中虽然看似修复了许多问题,但这些问题很多是Devin“自导自演”。

点评:Cognition Labs团队共10人,此前已获得Founders Fund基金领投的2100万美元A轮融资。该网络博主表示,他并非反对AI,而是想谴责Devin团队的炒作行为。虽然AI能否真的作为“程序员”完成人类的所有工作仍有讨论空间,但AI在代码生成方面已在辅助人类程序员。百度27%代码由智能代码助手生成,此前“通义灵码”新员工则入职阿里云,阿里云相关负责人不久前表示,未来20%的代码将由通义灵码编写。

内嵌个人智能体,联想连发10余款AI PC

4月18日,联想发布了10余款AI PC并用“元启版”来统一称呼,涵盖联想ThinkPad、ThinkBook、YOGA、小新等产品线,针对个人消费者及商业用户多场景AI需求,价格最低的小新Pro16 AI元启为5999元。同时,AI PC个人智能体“联想小天”也正式亮相,目前相关AI应用包括AI画师、AI PPT、文档总结、知识问答、AI识图、会议纪要等等。和过去的PC不同,AI PC的五个特征包括内嵌个人大模型与用户自然交互的智能体,个人知识库,本地异构AI算力(CPU/GPU、NPU),开放的人工智能应用生态,个人数据和隐私安全保护。联想中国区总裁刘军透露,联想将持续投入、加速发展天禧、万全和擎天三个生态,联合产业头部生态伙伴发起筹备产业生态联盟,打造普惠的AI终端生态产品、算力系统和企业智能体及行业智能体解决方案。

点评:在PC行业去库存进入尾声、正在重回增长轨道的当下,AI PC对于PC行业的整体带动尤为重要。与此同时,AI PC在技术创新、成本控制、生态建设、用户市场教育等方面仍需时间。业界预计,在2024年出货的PC中,AI PC占比将会接近五分之一(20%)。到2027年,得益于换机动能和全新本地体验,这一比例将迅速增长到60%以上。比起消费者,企业将更积极地采用AI技术。到2027年,AI PC出货量的60%将应用到商用领域。

百度文心大模型推理成本降至原来的1%

百度召开Create百度AI开发者大会,百度创始人、董事长兼首席执行官李彦宏介绍了近一年来的进展:文心大模型算法训练效率提升至原来的5.1倍,周均训练有效率达98.8%,推理性能提升105倍,推理成本降到原来的1%。目前文心大模型用户数据超2亿、API日均调用量超2亿、服务客户达8.5万、利用千帆平台开发的AI原生应用数超19万。李彦宏还透露,百度每天新增代码中,有27%由智能代码助手Comate自动生成,该代码助手基于文心大模型。

点评:一年前,百度成为国内最早入局大模型的科技厂商之一。一年后,文心大模型变强,市场环境也在变化。大模型赛道出现了月之暗面等备受关注的创业企业,大模型开源也形成另一股力量。李彦宏在此次会上还表示,一些特定场景中,经过精调后的小模型使用效率可以达到大模型的效果。通过基础模型降维裁剪出的模型,比直接拿开源调出来的模型,同等尺寸下效果更好,同等效果下成本更低。在大模型场景下,开源是最贵的。对于闭源比开源好的观点,李彦宏依然坚持。

波士顿动力推全新电动Atlas人形机器人

就在波士顿动力(Boston Dynamics)发布《再见,液压Atlas》视频,宣告液压驱动双足人形机器人Atlas退役的后一天,4月18日,波士顿动力推出了一款全新的纯电动人形机器人。新的Atlas机器人在设计上与以往版本不同,拥有更轻巧的机械骨架和更灵活的动作,如可以从地面自行站立,头部可以180度旋转,其灵活性确实无与伦比。且电动Atlas机器人比前身更具科技感,外观更轻便、简洁,头部设计为功能性圆形屏幕,没有人脸特征。在Atlas的新视频放出后,短短十几小时内,就已经有一百多万观看。

波士顿动力介绍,新一代的Atlas基于数十年研究积累的成果,“我们从未忘记打造当前工业中最强大、最实用的移动机器人以解决最棘手问题的承诺。”波士顿动力希望通过新版Atlas机器人证明,人形外形并不会限制机器人的双足移动能力。

点评:波士顿动力是人形机器人领域当之无愧的探索者和领先者,其研发的液驱Atlas是世界首个能后空翻的人形机器人。如今波士顿动力从液压向电驱的转变,某种程度上是机器人行业一个时代的结束,预示着更为实用和经济的机器人技术时代到来。此前有行业人士告诉第一财经,虽然液压驱动力更强,但其动辄上百万的成本并不是商业落地最好的选择,如今随着电驱技术的逐渐进步,电驱方案的机器人越来越成为主流,如重视落地的特斯拉的擎天柱(Optimus)就选择了这一方案。从液压驱动到电驱,是Atlas机器人走向实际应用的重要一步。

伊以冲突或影响以色列半导体产业

据新华社消息,当地时间14日凌晨,伊朗伊斯兰革命卫队开始对以色列目标发动大规模导弹和无人机袭击。随后伊朗常驻联合国代表团在社交媒体上称,伊朗对以色列的攻击“可以被视为已经结束”。以色列坐落着英伟达、英特尔、高通等目前在发力AI的多家半导体公司研发中心,此外,以色列近年涌现出不少半导体创业企业,包括Habana、Mobileye、Mellanox等。这些企业被半导体巨头收购后,成为这些巨头发力AI的着力点。英特尔等半导体巨头还未公开回应受伊以冲突的影响。

点评:多家被半导体巨头收购的以色列芯片企业,为半导体巨头撑起一片新天地。英特尔最近推出的Gaudi 3 AI芯片来自Habana团队,Mobileye则是最早应用于自动驾驶的AI芯片之一,收购网络技术供应商Mellanox则是英伟达布局高速网络的一笔重要收购,撑起了后来英伟达的高性能集群计算。有半导体分析人士认为,以色列当地芯片制造产能有限,当地较多的芯片设计公司或部门受冲突影响理应较小。以色列半导体产业形成偏重芯片设计的特点也与所处环境有关,不太适合需要环境稳定、供应链完善的半导体制造业。

昆仑万维开源4000亿参数模型

4月17日,昆仑万维在其官方公众号宣布,开源4000亿参数的大模型天工3.0,这超越了马斯克此前开源的3140亿参数的Grok-1,是全球最大的开源MoE(混合专家模型)大模型。昆仑万维提到,在MMBench等多项权威多模态测评结果中,天工3.0超越GPT-4V。天工3.0在语义理解、逻辑推理、通用性、泛化性、不确定性知识、学习能力等领域拥有突破性的性能提升。

此外,在“天工”大模型一周年之际,昆仑万维还宣布“天工SkyMusic”音乐大模型正式开启公测。官方表示,“天工SkyMusic”是中国首个音乐SOTA模型,综合性能超越Suno V3。

点评:在开源模型参数方面,上一次破纪录的更新是3月18日,马斯克旗下大模型公司 xAI 在官网宣布开源 3140 亿参数的大模型Grok-1。不过此前开源大模型中影响力较大的还是 Meta开源的Llama 2,虽然只有700亿参数。对于开源圈的密集更新,有业内人士对第一财经表示,大家竞争会越来越激烈,好现象是大家是良性竞争。不过参数越大,消耗越大,竞争其实就是钱的竞争。此外,大模型并非参数越大越好,也要看数据质量,“没数据没有意义”。

微软宣布向阿联酋AI巨头投资 15 亿美元

当地时间4月15日,微软宣布向阿拉伯联合酋长国人工智能公司G42投资15亿美元(约合人民币109亿元)。根据合作协议,微软总裁布拉德·史密斯(Brad Smith)将加入G42董事会,而G42将使用微软的Azure云来开发其人工智能应用。此次投资使微软获得了G42的少数股权。此外,两家公司将建立一个10亿美元的基金,以提高阿联酋及更广泛地区的人工智能技能。微软称合作显著推进了 G42 为金融服务、医疗保健、能源、政府和教育领域一系列客户提供生成式 AI、下一代基础设施和服务的战略。

点评:G42是一家成立于2018年的人工智能和云计算公司,总部位于阿布扎比,业务涵盖从云计算到无人驾驶汽车等各个领域。自2018年成立以来,G42已与OpenAI、戴尔、IBM、微软、英伟达、甲骨文等大公司建立了合作伙伴关系。今年2月,G42出售在TikTok母公司字节跳动等中国公司的股份,撤出其所有在华投资。

百川智能回应新一轮融资消息报道:存在误差

近期,有媒体报道称,由王小川创立的百川智能进行新一轮数亿美元融资,将成为国内2024年最大AI领域融资之一。报道称来自参与的投资人证实,百川智能今年以来估值已超18亿美元(约130亿元)。对此,4月16日,百川智能方面回应称,报道存在一定误差,将在适当的时候向公众披露准确的融资信息。

点评:此前百川智能估值约12亿美元,若融资落实,百川智能将成为又一个估值超百亿元的明星独角兽公司。2023年3月,王小川联合前搜狗COO、清华1998级校友茹立云创立百川智能,成立之初王小川就获得5000万美元启动资金,随后百川智能再获得由腾讯、小米、金山、清华控股、好未来、深创投、红点中国、顺为资本等十余家联合投资的3亿美元融资,2024年1月,百川智能发布超千亿参数大模型Baichuan 3,并表示在中文任务上超越了GPT-4。

AI 学者李飞飞团队发布《2024 年人工智能指数报告》

近日由华裔女科学家李飞飞联合领导的斯坦福大学以人为本 AI 研究所(Stanford HAI)发布了《2024 年人工智能指数报告》。报告追踪了 2023 年全球 AI 发展的十大趋势:AI 在某些任务上胜过人类,但并非在所有任务上;比起学术界,产业界继续主导人工智能前沿研究;前沿 AI 模型将更加昂贵,OpenAI的GPT-4使用了价值约7800万美元的算力进行训练,而谷歌的Gemini Ultra花费了1.91亿美元的算力;美国成为顶级 AI 模型主要来源国,2023年,61款著名人工智能模型来自美国机构,数量远远超过欧盟的21款和中国的15款。对于大语言模型,可靠和标准化的责任评估缺失;生成式 AI 投资激增;AI 比打工人更有生产力,工作质量更高;AI 推动科学进步加速;美国 AI 法规数量急剧增加;人们对 AI 潜在影响认识更深刻,也更加焦虑。

点评: 虽然全球对人工智能的私人投资连续第二年减少,但对生成式人工智能的投资却急剧上升。财富 500 强企业财报电话会议中提及人工智能的次数比以往任何时候都多,而且新的研究表明,人工智能明显提高了打工人的生产率。Stanford HAI 研究项目主任 Vanessa Parli 表示,“我认为最令人兴奋的人工智能研究优势是将这些大型语言模型与机器人或智能体(agent)相结合,这标志着机器人在现实世界中更有效地工作迈出了重要一步。”

法国AI独角兽Mistral AI寻求新一轮融资

据媒体援引知情人士的消息报道,法国人工智能独角兽公司Mistral AI正在与投资者接洽,希望以50亿美元的估值再进行一轮数亿美元的融资。Mistral AI成立于2023年5月,三位创始人曾在谷歌Deepmind和Meta平台任职,目前被视为OpenAI的竞争对手之一。这家公司于今年2月推出了与GPT-4竞争的Mistral Large模型,并先后脚获得了微软的投资。

去年12月,Mistral AI筹集了4.15亿美元,当时的投资者包括赛富时和英伟达,融资完成后,Mistral的估值达到了20亿欧元。今年2月,微软向Mistral投资了1600万美元,双方随即开展了合作,微软宣布将向其Azure云服务的客户提供Mistral AI的最新模型。此前Mistral的主要投资者还有安德森霍茨基金(Andreessen Horowitz)、光速创投(Lightspeed Venture Partners)等。

点评:AI初创公司能进行连续多轮融资,反映了投资者对AI市场的重视和看好,愿意押注潜在的高增长公司。与此同时,烧钱的大模型初创公司也需要大量融资续命,以支撑创新和激烈的竞争,而作为行业对标对象的OpenAI,也在面临更大的压力。

“联想系”大模型公司诺谛智能完成近亿元融资

4月16日,专注于“AI+制造”的行业大模型及应用企业诺谛智能宣布正式完成Pre-A轮融资,本轮融资由武岳峰科创领投,三叶虫创投、清智资本跟投,联想集团追加投资,共计融资金额近亿元。据悉,本轮融资主要用于诺谛支点行业大模型面向行业机理的持续迭代与优化,“AI+制造”场景解决方案的持续打磨与市场拓展,以及优秀人才的引进。

诺谛智能成立于2021年10月,为联想集团孵化的人工智能企业。创始人胡长建为联想研究院人工智能实验室(AI Lab)高级总监,曾带领团队在2017年研发了应用于联想移动海外服务的AI对话系统MOLI。联想集团高级副总裁、首席技术官、诺谛智能董事长芮勇博士表示,未来,诺谛智能将继续保持独立运营与发展,直至上市;但上市不是目的,更重要的是将自身打造成一个引领时代的AI企业与事业。

点评:在大模型出现后,各行各业都有了被重塑的可能,不止一位行业人士曾对第一财经表示,国内独有的制造业基础,是大模型探索落地中一块合适的土壤。官方推文中,清华大学智能产业研究院院长助理、清智资本创始合伙人张煜也提到,制造业作为国民经济的重要支柱,其智能化水平提升对经济发展具有重要意义,清智资本长期关注和支持AI同制造业的结合。

调查称智算数据中心能耗大幅提升

市场调研机构IDC发布《中国半年度液冷服务器市场(2023全年)跟踪》,该报告显示, 2023全年中国液冷服务器市场规模达到15.5亿美元,与2022年相比增长52.6%。预计2023-2028年,中国液冷服务器市场年复合增长率将达到45.8%,2028年市场规模将达到102亿美元。随着中国人工智能企业和组织对智算中心的建设要求、算力供给需求越来越高,此类数据中心的IT设备能耗大幅上升,更加需要高效的冷却系统来维持适宜的操作温度。

点评:近期关于AI功耗高的话题备受关注,功耗高导致的一个问题就是温度过高,这是液冷服务器市场增长的背景。IDC报告显示,互联网行业依然是2023年中国液冷服务器市场最大买家,占整体46.3%市场份额,且有望在未来几年持续加大液冷服务器的采购力度。IDC中国服务器市场研究经理辛一认为,面对日益增长的数据浪潮,智算和通用计算都需要大量高功耗芯片提供必要的算力服务,服务器厂商与国内人工智能芯片企业展开合作,积极寻求适合本土异构计算的液冷解决方案。