看书123

手机浏览器扫描二维码访问

436 新的冲击 deeeek(第2页)

原本性能差了closeai许多的诸多大厂们,都在过去的这段时间里大大缩短了大模型性能之间的差距。

“从根本上来看,硬件设备对我的限制其实远超软件算法。”孟繁岐此前一直认为自己失去先知优势后,无法继续软件上的突破将会是最大的问题。

如今看来并非如此,随着与孟繁岐关系亲近的那个男人下台,拜老登政府限制英伟达的计算设备出口中国。

这让一心想要走在算法技术最前沿倍感压力。

虽然以他和老黄以及英伟达的关系,可以通过诸多方式绕开此禁令。可不论如何,这都称得上是巨大的困扰。

倍感无奈的孟繁岐开始向内寻求算法突破,以期待能够降低自己对显卡设备的需求。

可原本孟繁岐比较看好的两个技术方向,都没有取得预期的成功。

其一,孟繁岐很早就意识到,早期深度学习模型大多依赖于FP32(32位浮点数)的高精度计算,虽然结果准确,但计算量和存储需求巨大。

根据前世的经验,孟繁岐早早就推动了FP16(16位浮点数)训练和推理。这种格式可以节约一半的计算资源,虽然会稍稍影响模型的性能,但在针对性的优化下几乎可以忽略不计,这也是前世的主流训练模式。

如今,被计算设备所限制的孟繁岐被迫探索准确度更差的FP8(8位浮点数)。

前世的通识是,该模式计算效率极高,但精度损失更大,适用范围非常有限。

往往是在训练完成之后,进行FP8的格式转换,以节约模型的推理使用成本。直接在训练的时候采用这种格式是从未被证实过的。

为此,黄仁勋甚至在显卡的硬件设计上对FP8提供了一定的优化可支持,但半年的时间过去了,孟繁岐并没有看到自己预期的效果。

另一方面上,孟繁岐同时在寻求“稀疏”这一概念。这一条技术路线开启得更早,(见368-369章)。毕竟他很早就知晓,随着AI技术的发展,两个超级大国之间势必会因为世界地位的争夺而脱钩。

一旦形成对抗,硬件设备无疑将会被限制封锁。

可若要孟繁岐从根本上助力中国的硬件发展......他却也没有那个本事。

能做的,唯有投资点钱罢了。

国内的芯片技术,显然不可能跳过几代的制程,直接赶上英伟达。

换句话说,孟繁岐清楚国内硬件厂商所能提供的算力必然不如英伟达,这才提议了模型“稀疏”这一概念,以求节省资源。

模型稀疏与神经网络一样,都是对大脑行为的模仿。

从生物角度上说,大脑中的神经元连接并非全连接,而是高度稀疏的。每个神经元只与少数其他神经元相连,这种稀疏性使得大脑能够在低能耗下高效处理信息。

这给了大脑极高的能量效率,大脑在极低的能耗下完成复杂任务,部分得益于其稀疏的连接方式。

人体的总功耗才70-300w,其中大脑才仅仅只有15-30w。显卡动辄就300-500w,却完全无法与人脑的能力相比拟。

孟繁岐认为这是对计算资源的极大浪费,也已经取得了一定的成果证明稀疏方向的概念,可以在不怎么影响性能的情况下成倍地减少计算消耗。

但这件事情,却又被硬件的发展大大减缓了。

传统硬件常年来仅仅只针对密集计算优化,难以高效处理稀疏数据。

孟繁岐开发并证明技术的可行性,仅仅只用了两个多月的时间,可想要硬件良好支持,批量生产,不再等个一年,却是不大可能。

正在这AI领域逐渐陷入沉寂,总是只有小修小补的时刻,DeepSeek-R1的发布像是巨石入水,掀起了巨浪。

而令孟繁岐极为懊恼的事情是,DeepSeek取得巨大成功所依赖的技术方向,竟与他本人设想相差无几。

娱乐:让你上台卖惨,没让你笑场  巧克力女孩  莫名其妙爱上你  你要不要跟我告白  狂舞巔峰  华娱:导演的快乐就这么简单  JULIET  来自宇宙的情书  冷暴力恐怖份子  无解  黑天使  弹琴不谈情  倾世狂妃:驯服腹黑王爷  忘记  荒岛求生后假千金爆火了  桂林山水甲阳朔  夜之牙一  西有鹿鸣  我不花心,只是多情  反派手挽手,八零抖一抖  

热门小说推荐
宠妻狂魔别太坏全文免费阅读

宠妻狂魔别太坏全文免费阅读

被亲妹妹算计,抢走家族荣誉还不算,连青梅竹马的未婚夫也被抢走!夏小汐发誓,要报仇!伙同男闺蜜制造复仇计划,咦?结婚证上这是谁?一不留神嫁给男闺蜜的舅舅墨夜霆!墨夜霆是谁?那个富可敌国权势滔天的男人!据说还是个GAY!管他呢,先虐了渣渣再说。可是,虐完渣以后呢?离婚该提上日程了,可他对她却日日宠,夜夜宠,化身宠妻狂魔。十天有八天起不来床的夏小汐,欲哭无泪,不是说他是GAY吗?GAY你大爷!...

从王子到神豪

从王子到神豪

重生为土豪王子,第一件事做什么?先花它一个亿。性格慵懒的凌洲,重生为王子,本想快乐地享受奢侈生活的他,从第一次提取到一个‘未来片段’开始,从此一发不可收拾。从一名纨绔王子,一步步变成世界顶级神豪。书风格相对轻松一些。...

回到爱你的那天

回到爱你的那天

结婚三年,他第一次碰她,她以为她的爱情柳暗花明,却不料他翻脸无情,一纸离婚协议砸落在她身上,他说离婚吧,你要的我已经给你了。她错愕,顿时从天堂掉进地狱,第一次为这段无望的爱情泪眼婆娑。签下离婚协议,她凄然转身离开,带走了她的爱情,同时也带走了他的爱情...

第一名门:总裁,试婚吗

第一名门:总裁,试婚吗

还没结婚,蓝清沐就从天上掉下来一个儿子,婚事告吹,受尽了冷嘲热讽。北夜寒,你儿子你自己养,我养不起!北夜寒神色淡淡没事,我养你,你养儿子。儿子,过来喊妈!你儿子不是我生的,我未婚!未...

重修洪荒之逆生诀

重修洪荒之逆生诀

这是一部关于洪荒的小说,却是不一样的洪荒,鸿钧不是坏的,准提不是无耻的,原始也不是心胸狭窄的。洪荒也不是小说的终点。所有的内容尽量抛弃那些写烂的老套情节,力求写出新意,如果觉得好的帮忙收藏推荐吧。感谢起点论坛封面组提供封面!朋友帮忙建了个群202052728。欢迎加入交流!...

大神祖王

大神祖王

关于大神祖王缘何为虚,缘何为无?缘何为仙,缘何为神?虚无归源,仙神异路。神登绝巅,御世缔神。太极太素太始太初太易,五太驭宇百神谱上,昆仑守灵执掌乾坤探寻宇世五太,揭见神祇之妙,就在大神祖王。企鹅群292651220,验证为书名。...

每日热搜小说推荐