手机浏览器扫描二维码访问
原本性能差了closeai许多的诸多大厂们,都在过去的这段时间里大大缩短了大模型性能之间的差距。
“从根本上来看,硬件设备对我的限制其实远超软件算法。”孟繁岐此前一直认为自己失去先知优势后,无法继续软件上的突破将会是最大的问题。
如今看来并非如此,随着与孟繁岐关系亲近的那个男人下台,拜老登政府限制英伟达的计算设备出口中国。
这让一心想要走在算法技术最前沿倍感压力。
虽然以他和老黄以及英伟达的关系,可以通过诸多方式绕开此禁令。可不论如何,这都称得上是巨大的困扰。
倍感无奈的孟繁岐开始向内寻求算法突破,以期待能够降低自己对显卡设备的需求。
可原本孟繁岐比较看好的两个技术方向,都没有取得预期的成功。
其一,孟繁岐很早就意识到,早期深度学习模型大多依赖于FP32(32位浮点数)的高精度计算,虽然结果准确,但计算量和存储需求巨大。
根据前世的经验,孟繁岐早早就推动了FP16(16位浮点数)训练和推理。这种格式可以节约一半的计算资源,虽然会稍稍影响模型的性能,但在针对性的优化下几乎可以忽略不计,这也是前世的主流训练模式。
如今,被计算设备所限制的孟繁岐被迫探索准确度更差的FP8(8位浮点数)。
前世的通识是,该模式计算效率极高,但精度损失更大,适用范围非常有限。
往往是在训练完成之后,进行FP8的格式转换,以节约模型的推理使用成本。直接在训练的时候采用这种格式是从未被证实过的。
为此,黄仁勋甚至在显卡的硬件设计上对FP8提供了一定的优化可支持,但半年的时间过去了,孟繁岐并没有看到自己预期的效果。
另一方面上,孟繁岐同时在寻求“稀疏”这一概念。这一条技术路线开启得更早,(见368-369章)。毕竟他很早就知晓,随着AI技术的发展,两个超级大国之间势必会因为世界地位的争夺而脱钩。
一旦形成对抗,硬件设备无疑将会被限制封锁。
可若要孟繁岐从根本上助力中国的硬件发展......他却也没有那个本事。
能做的,唯有投资点钱罢了。
国内的芯片技术,显然不可能跳过几代的制程,直接赶上英伟达。
换句话说,孟繁岐清楚国内硬件厂商所能提供的算力必然不如英伟达,这才提议了模型“稀疏”这一概念,以求节省资源。
模型稀疏与神经网络一样,都是对大脑行为的模仿。
从生物角度上说,大脑中的神经元连接并非全连接,而是高度稀疏的。每个神经元只与少数其他神经元相连,这种稀疏性使得大脑能够在低能耗下高效处理信息。
这给了大脑极高的能量效率,大脑在极低的能耗下完成复杂任务,部分得益于其稀疏的连接方式。
人体的总功耗才70-300w,其中大脑才仅仅只有15-30w。显卡动辄就300-500w,却完全无法与人脑的能力相比拟。
孟繁岐认为这是对计算资源的极大浪费,也已经取得了一定的成果证明稀疏方向的概念,可以在不怎么影响性能的情况下成倍地减少计算消耗。
但这件事情,却又被硬件的发展大大减缓了。
传统硬件常年来仅仅只针对密集计算优化,难以高效处理稀疏数据。
孟繁岐开发并证明技术的可行性,仅仅只用了两个多月的时间,可想要硬件良好支持,批量生产,不再等个一年,却是不大可能。
正在这AI领域逐渐陷入沉寂,总是只有小修小补的时刻,DeepSeek-R1的发布像是巨石入水,掀起了巨浪。
而令孟繁岐极为懊恼的事情是,DeepSeek取得巨大成功所依赖的技术方向,竟与他本人设想相差无几。
弹琴不谈情 忘记 桂林山水甲阳朔 荒岛求生后假千金爆火了 巧克力女孩 莫名其妙爱上你 你要不要跟我告白 反派手挽手,八零抖一抖 华娱:导演的快乐就这么简单 我不花心,只是多情 夜之牙一 冷暴力恐怖份子 JULIET 倾世狂妃:驯服腹黑王爷 狂舞巔峰 西有鹿鸣 黑天使 无解 来自宇宙的情书 娱乐:让你上台卖惨,没让你笑场
言可心前世错信渣男,最终家破人亡!到了最后一秒才发现,原来最爱自己的,竟然是自己最害怕的那人!今生,得此机会重生的言可心发誓一定要远离渣男,珍惜白北泽对自己的一片痴心!可事实却是言可心朝着白北泽开心的走过去,,而对方却面色冷淡,擦身而过,朝着身后她那个的妹控哥哥走去言可心摔倒,白北泽伸出一双手,却不是为了扶她,而是,企划书给我就连她平生第一次被白爷公主抱,换来的评价是,又重又脏我靠!她上辈子怎么没发现,这个男人比想象中还难搞定!言可心,累觉不爱,绝望瘫倒,本打算继续和白爷保持纯洁的社会主义兄妹情,结果。。。...
书海阁小说网免费提供作者书音倾倾的经典小说我的财迷小田妻最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临wwwshgtw观看小说大一新生何小茉因为突如其来的末世穿越古代,成了大丰村何家的小农女,前有恶毒奶奶势利伯母,后有残疾爹爹柔弱娘亲,且看她手握空间卖烤串,走出绣锦人生!只是偶然救起的病书生实际上会武功,进可撩人退可宠妻,赖上她就不撒手,于清贫中相识,他却许她百里红妆再后来马车停在她烤串的摊位前,众人跪下高呼皇后娘娘千岁无忧!...
命运天定?不,它只是随着指尖起舞的精灵。悲伤的无奈,心灵的挣扎,黑暗的未来,看不到光明的希望,得与失之间的恐惧,都会随着黎明降落的星辰,让宿命丑陋的轨迹,划过优美的弧线!当坐在王座之上,左手掌控命运,右手赐予造化!...
她是天赋异禀的天才设计师,却被闺蜜和丈夫联合算计而死。重活一世,她手撕白莲花,放手虐渣渣,顺利开挂,就连清心寡欲不近女色的帝国总裁陆寒霆也对她宠之入骨。女人,过来。某男一脸邪魅。某女欲哭无泪我,腿软。重生前,尹小艾见到陆寒霆就腿软,被他吓的。重生后,见到他,还是腿软,尹小艾颤抖着双腿扶墙而走。谁说他不近女色了?...
作者美焱的经典小说系统在手,美颜我有最新章节全文阅读服务本站更新及时无弹窗广告小说系统在手,美颜我有一次意外,让她带着自行研制的系统穿越成了丑妃温念。误打误撞换上美颜,如鱼得水扩揽人脉,套路恶惩蛇蝎继母,什么小白莲,什么诡诈奸计?系统在手,统统失效!一路逆袭飒飒归来,不成想却半路折在了狼子野心的孤傲王爷手中,简直赔了人又折兵。...
...