有关GPT-5的音讯最近又火起来了。

从最一开端的爆料,说OpenAI正在隐秘练习GPT-5,到后来Sam Altman澄清;再到后来说需求多少张H100 GPU来练习GPT-5,DeepMind的CEO Suleyman采访「实锤」OpenAI正在隐秘练习GPT-5。

然后又是新一轮的猜想。

中间还穿插了Altman的斗胆猜想,什么GPT-10会在2030年前呈现,超过全人类的才智总和,是真实的AGI云云。

再到最近OpenAI名叫Gobi的多模态模型,强势叫板谷歌的Gimini模型,两家巨子的竞赛剑拔弩张。

一时间,有关大言语模型的最新进展成了圈内最热门的话题。

套用一句古诗词,「犹抱琵琶半遮面」来形容,还挺贴切的。便是不知道,什么时分能真的「千呼万唤始出来」。

时间线回忆

今日要聊的内容和GPT-5直接相关,是咱们的老朋友Gary Marcus的一篇分析。

中心观念就一句话:GPT-4到5,不是光扩展模型规划那么简略,是整个AI范式的变化。而从这一点来看,开发出GPT-4的OpenAI并纷歧定是先抵达5的那一家公司。

换句话说,当范式需求革新的时分,之前的积累可迁移性不大。

不过在走进Marcus的观念之前,咱们还是简要温习一下最近有关传说中的GPT-5都产生什么了,舆论场都说了些什么。

一开端是OpenAI的联合创始人Karpathy发推表明,H100是巨子们追捧的热门,大家都关怀这东西谁有,有多少。

马库斯锐评GPT-5:急需新范式OpenAI并无优势

然后便是一大波评论,各家公司需求多少张H100 GPU来练习。

马库斯锐评GPT-5:急需新范式OpenAI并无优势

大概便是这样。

GPT-4或许在大约10000-25000张A100进步行了练习

Meta大约21000 A100

Tesla大约7000 A100

Stability AI大约5000 A100

Falcon-40B在384个A100进步行了练习

有关这个,马斯克也参与了评论,依据马斯克的说法,GPT-5的练习或许需求30000到50000个H100。

此前,摩根士丹利也说过相似的猜想,不过总体数量要比马斯克说的少一点,大概是25000个GPU。

当然这波把GPT-5放到台面上去聊,必定少不了Sam Altman出来辟谣,表明OpenAI没在练习GPT-5.

有斗胆的网友猜想,OpenAI之所以否定,很有或许仅仅把下一代模型的名字给改了,并不叫GPT-5罢了。

马库斯锐评GPT-5:急需新范式OpenAI并无优势

横竖依据Sam Altman的说法,正是由于GPU的数量缺乏,才让许多方案被耽搁了。乃至还表明,不希望太多人运用GPT-4。

整个业内对GPU的渴求都是如此。据统计,所有科技巨子所需的GPU加起来,得有个43万张还要多。这可是一笔天文数字的money,得差不多150亿美元。

但经过GPU的用量来倒推GPT-5有点太迂回了,于是DeepMind的创始人Suleyman直接在采访中「锤」了,表明OpenAI便是在隐秘练习GPT-5,别藏了。

当然在完整的访谈中,Suleyman还聊了不少业内大八卦,比方说在和OpenAI的竞赛中,DeepMind为啥就落后了,分明时间上也没滞后太多。

还有不少内部音讯,比方其时谷歌收买的时分产生了什么。但这些跟GPT-5怎样着关系就不大了,有爱好的朋友可以去自行了解。

总而言之,这波是业内大佬下场聊GPT-5的最新进展,让大伙不由疑云陡起。

在这之后,Sam Altman在一场1对1连线中又表明,「我觉得2030年之前,AGI要呈现,叫GPT-10,超过全人类的才智总和。」

马库斯锐评GPT-5:急需新范式OpenAI并无优势

一方面斗胆猜想,一方面否定在练习GPT-5,这让他人很难真实知道OpenAI在做些什么。

在这场连线中,Altman设想了许多归于未来的图景。比方他自己怎样了解AGI,什么时分会呈现AGI,真呈现AGI了OpenAI会怎样办,全人类又该怎样办。

不过就实践进展来说,Altman是这么规划的,「我和公司中的员工说,咱们的方针便是每12个月能让咱们的原型产品功能提升10%。」

「假如把这个方针设定到20%或许就会有些过高了。」

马库斯锐评GPT-5:急需新范式OpenAI并无优势

这算是个具体安排。可是10%、20%和GPT-5之间的联络又在哪,也没说得很清楚。

最有含金量的还是下面这个——OpenAI的Gobi多模态模型。

重点在于谷歌和OpenAI之间的白热化竞赛,到了哪个阶段。

说Gobi之前,先得说说GPT-vision。这一代模型就很厉害了。拍个草图照片,直接发给GPT,网站分分钟给你做出来。

写代码那更不用说了。

马库斯锐评GPT-5:急需新范式OpenAI并无优势

而GPT-vision完了,OpenAI才有或许会推出更强大的多模态大模型,代号为Gobi。

跟GPT-4不同,Gobi从一开端便是按多模态模型构建的。

这也让围观大众的爱好一下被勾起来了——Gobi便是传说中的GPT-5吗?

马库斯锐评GPT-5:急需新范式OpenAI并无优势

当然现在咱们还不知道Gobi练习到哪一步了,也没有切当音讯。

而Suleyman还是坚定地以为,Sam Altman最近说过他们没有练习GPT-5,或许没有说实话。

Marcus观念

开宗明义,Marcus首先表明,很有或许,在科技史上,没有任何一款预发布的产品(iPhone或许是个破例)比 GPT-5被寄予了更多的期望。

这不仅仅是由于顾客对它的热捧,也不仅仅是由于一大批企业正方案着环绕它自食其力,乃至就连有些外交政策也是环绕GPT-5制定的。

此外,GPT-5的面世也或许加重刚刚进一步晋级的芯片战争。

Marcus表明,还有人专门针对 GPT-5 的预期规划模型,要求其暂停出产。

当然也是有不少人十分达观的,有一些人幻想,GPT-5或许会消除,或者至少是极大地消除人们对现有模型的许多担忧,比方它们的不可靠、它们的偏见倾向以及它们倾吐权威性废话的倾向。

但Marcus以为,自己历来都不清楚,仅仅建立一个更大的模型是否就能真实解决这些问题。

今日,有国外媒体爆料称,OpenAI的另一个项目Arrakis,旨在制作更小、更高效的模型,但由于没有到达预期方针而被高层取消。

Marcus表明,咱们简直所有人都以为,GPT-4之后会赶快推出GPT-5,而一般幻想中的GPT-5要比GPT-4强大得多,所以Sam最初否定的时分让大伙大吃一惊。

人们对此有许多猜想,比方说上面说到的GPU的问题,OpenAI手上或许没有满意的现金来练习这些模型(这些模型的练习本钱是出了名的高)。

但话又说回来了,OpenAI的资金充裕程度简直不亚于任何一家初创公司。对于一家刚刚融资100亿美元的公司来说,即便进行5亿美元的练习也不是不或许。

另一种说法是,OpenAI 意识到,无论是练习模型还是运转模型,本钱都将十分高昂,并且他们不确定能否在这些本钱下盈余。

这么说如同有点道理。

第三种说法,也是Marcus的看法是,在Altman上半年5月份演讲的时分,OpenAI就已经进行过一些概念验证方面的测试了,但他们对得到的成果并不满意。

最后他们的结论或许是这样:假如GPT-5仅仅GPT-4的扩展版罢了的话,那么它将无法满意预期,和预设的方针差的还远。

假如成果只会令人失望乃至像个笑话相同,那么练习GPT-5就不值得花费数亿美元。

事实上,LeCun也是这么个思路。

GPT从4到5,不仅仅是4plus那么简略。4到5应该是划时代的那种。

这儿需求的便是全新的范式,而不是单纯扩展模型的规划。

所以说,就范式上的革新来讲,当然还是越有钱的公司越有或许实现这个方针。但差异在于,纷歧定是OpenAI了。由于范式的革新是全新的赛道,过往的经历或者积累并纷歧定能派上多少用场。

相同,从经济的角度来讲,假如真如Marcus所言,那么GPT-5的开发就相当于被无限期的推迟了。谁也不知道新技术何时到来。

就如同,现在新能源轿车普遍续航几百公里,想要续航上千,就需求全新的电池技术。而新技术由谁来打破,往往除了经历、资金外,或许还需求那么一点点运气,和机缘。

但不管怎样说,假如Marcus想的是对的,那么未来有关GPT-5的各种商业价值想必会缩水不少。

此时快讯

【以太坊L2 TVL上升至118.6亿美元,7日涨幅10.86%】金色财经报道,据L2BEAT数据显示,当前以太坊Layer2总锁仓量(TVL)暂报118.6亿美元,7日涨幅达10.86%。
其中,锁仓量前五分别为:Arbitrum One(65.4亿美元,7日涨幅11.76%);OP Mainnet(29.7亿美元,7日涨幅12.09%);Base(5.73亿美元,7日涨幅3.97%);zkSync Era(4.47亿美元,7日涨幅3.69%);dYdX(3.52亿美元,7日涨幅64.726%)。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注