登录发现更多内容
首页
讨论研究
知名厂商
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录
立即登录
立即注册
其他登录
QQ
微信
首页
Portal
讨论研究
知名厂商
金鉴实验室官网
搜索
搜索
本版
文章
帖子
群组
用户
好友
帖子
收藏
道具
勋章
任务
广播
群组
排行榜
设置
我的收藏
退出
首页
›
「人间琐事」
›
「社会新闻」
›
AI热潮汹涌,算力需求爆炸,GPU“一卡难求” ...
0赞
赞赏
手机版
扫码打开手机版
把文字装进口袋
返回列表
AI热潮汹涌,算力需求爆炸,GPU“一卡难求”
[ 复制链接 ]
西洋刘abc
2023-4-10 17:24:44
人工智能热潮之下,新涌入这一赛道的公司意识到了一个大问题:想做大模型的公司太多,GPU已经不够用了。
有媒体近期获悉,用于训练AI的GPU的需求激增,包括亚马逊、微软、谷歌和甲骨文等主要云服务供应商,都已经开始限制算力供给,此外,服务器硬件也越来越难租到了,有公司对媒体表示,租赁硬件需要等待数月之久。
GPU需求爆炸让AI淘金浪潮的“卖铲人”英伟达赚得盆满钵满,也大受资本市场认可。今年以来,英伟达股价累计涨超88%。
AI引爆GPU需求
风险投资公司Root Ventures的工程师Yasyf Mohamedali对媒体表示,他已经花了数周时间试图从亚马逊AWS和谷歌云租赁一台AI服务器,但一直没有成功。直到最近才好不容易从一家小初创企业那里通过转租拿到了一台。
他认为:
“除非你已经(和主要云服务供应商)签订了现有合同,或者预付了费用,否则几乎不可能租到服务器。“
据两名知情人士对媒体表示,由于GPU短缺,亚马逊的新客户很难立即获得GPU服务器。亚马逊的客服建议他们租用搭载亚马逊内部芯片Trainium的服务器,但绝大多数开发团队都更习惯使用GPU服务器。
而微软甚至在尝试说服一些客户放弃已经预付款但还未投入使用的GPU服务器,以便将这些服务器转售给其他公司。
此外,规模更小的甲骨文在过去一个月里,拒绝了所有AI新客户,理由是GPU服务器容量有限。
有市场分析指,这次的“缺芯”难题和2020年下半年开始的车企缺芯潮不一样,
GPU的主要供应商英伟达并不存在供应链方面的阻碍。GPU短缺主要是因为云厂商没有预见到AI需求会如此强劲,没有订购足够的芯片。
去年科技企业集体降本过冬,也是导致本轮GPU短缺的因素之一。
Wedbush Securities分析师Matt Bryson认为,由于云厂商支出增长放缓,因此在过去一年缩减了新建服务器的规模。
不过,他也表示,
目前英伟达积压的订单在2-3个月左右,随着产品的逐渐交付,GPU短缺难题在未来或有所缓解。
创业公司前来救援
在亚马逊、微软、谷歌、甲骨文等巨头之外,一些小厂商开始涌入这一赛道“救急”。这些公司通过大批量从英伟达那里下单获得GPU,然后再把GPU转租出去来赚钱。它们的方案往往比云服务巨头更有性价比。
例如,主要云服务的收费模式是按季度、年的时间来收费,但服务器通常不会24小时运转,这就意味着买了云服务的公司,是在为他们没有使用的服务器容量付费。
而初创公司Banana则以使用的秒数来租赁GPU服务器,对体量不大的开发团队而言颇具吸引力。
据媒体报道,目前类似RunPod、Crusoe、Lambda Labs等GPU提供商的服务器容量都已接近上限,这些公司都在加紧扩容。Lambda Labs在3月获得了4400万美元融资,全部投入于购买更多芯片。
<li style=";" id="PIC" class="clearfix">
100%加速,300%爆率,刀刀暴击,刀刀光柱,3分钟挂出50W元宝
高爆打金服
广告
了解详情
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
立即登录
点评
本版积分规则
回帖并转播
回帖后跳转到最后一页
综合
最新
热度
发表评论
西洋刘abc
关注
主题数862
2022年全国人口减少85万人!61年来首次负增长
阅读 5472
官方人士确认胡鑫宇遗体在粮库院内露天树林被发现,围墙阻断下如何进入仍是谜
阅读 5464
深圳一公司年会送员工保时捷,网友:现在投简历还来得及吗?
阅读 4997
发布新话题
首页
讨论研究
知名厂商
我的
返回顶部