您现在的位置是:首页 > 焦点新闻焦点新闻
算力供应趋紧 中长期涨价潮要来了?
鸿象有喜2023-11-16【焦点新闻】16536人已围观
中贝通信在昨日公告中表示,与北京中科新远科技有限公司签订算力服务框架合同,合同总金额为3.46亿元(含税6%),单价为18万元/P/年,合同价格为算力租用价格含技术服务与支持有关费用。
回溯其9月公示的订单,该公司算力租赁费用大涨50%。彼时,中贝通信与青海联通签订算力服务框架协议,服务费按照含税12万元/P/年计算,总金额为含税3.46亿元。
就在前一天,汇纳科技宣布,将英伟达A100芯片算力服务收费价格上调100%。
国盛证券在今日发布的研报中指出,算力涨价潮即将开启,火山引擎、腾讯云、微软Azure的A100租赁零售价相较此前的市场平均价均有不同程度上涨。在AI应用加速迭代等各方面因素作用下,此次算力集体提价并非短期波动,而是在开启中长期的涨价潮。
▌算力供应趋紧 需求不断上行
算力涨价是供应趋于紧张以及需求不断上行的直接结果。
从需求层面来看,AI大模型正在加速“燃烧”算力,AI芯片需求持续旺盛。据国信证券测算,以1750亿参数的ChatGPT大模型为例,按照一周日访客数量2500万、单字消耗350ms等标准计算,每天需要3.04万片英伟达A100 GPU同时计算,才可满足当前ChatGPT的访问量。
另外,随着各家大模型陆续向多模态迭代,训练、推理阶段的算力需求进一步提升。
多模态大模型训练阶段在数据源、模型结构、计算操作方面更加复杂,这导致其需要更大量的训练数据,从而进一步增加算力消耗。据国泰君安测算,GPT-4对于算力的需求在同等训练时长下相比GPT-3增长445倍,GPT-4训练成本或达上亿美元。
推理成本则受到计算集群的规模、能力、使用效率、批次大小以及集群的管理策略等因素的影响。上述机构进一步指出,GPT-4V计算集群庞大,推理成本远超GPT-3。随着应用场景的丰富,并发需求的增长,推理端所需的算力将持续提升。
供应层面,人工智能领域的主流芯片英伟达A100、H100持续供不应求,且价格高昂。以H100为例,近期,H100在eBay平台的售价已经高达4.5万美元,且货源较上半年也显著减少。业内代理商亦透露,英伟达GPU交货周期也被拉长。
▌算力云化、调优、调度或成关键步骤
历经数个月供不应求后,算力芯片的需求仍尚未见顶。
OpenAI开发者大会结束后不久,由于访问量远超预期,ChatGPT和API服务经历了将近2小时的故障,OpenAI的最大竞争对手Anthropic也遇到了服务器无法响应的问题。
OpenAI首席执行官Sam Altman在X平台上宣布,将暂时暂停新的ChatGPT Plus注册。“开发日后使用量的激增超出了我们的承受能力,我们希望确保每个人都有良好的体验。”他表示。
对此,国盛证券认为,云化、调优、调度是将纸面算力变为可用算力的先期步骤,云化使算力变成用户可以便捷调用的“数字能源”,调优则是从通信和模型层面压榨GPU利用率,实现算力降本增效的必经之路。调度是将全国乃至全球的算力资源统筹分配,实现成本优化、入网即有算力的核心环节。
具体来看,由于大模型训练时的主要壁垒依然是数据并行下的通信瓶颈和长期积累的AI大工程经验,这三个涉及显卡数据交换与流通的环节的竞争壁垒将不断提高,其发挥的价值也将持续显现——OpenAI单位token成本降低,或因OpenAI解决了此前算力利用率低、GPU平均故障时间较长的问题,算力调优从降本维度加速了AI飞轮的旋转。
相关文章
猜你喜欢
-
多部门强化监测预警筑牢防线 写好雨雪冰冻天气“温暖答卷”
科技创业1月31日至2月5日,2009年以来冬季最强雨雪冰冻天气影响我国中东部地区。中央气象台2月6日06时继续发布暴雪蓝色预警、冰冻黄色预警。正值春节前返乡出行高峰,连日来,多部门聚焦重点领域、关键环节,全力做好监测预报预警服务。 据中央气...
阅读更多 -
引领安全智能签署!麒麟信安与安证通携手打造“自主操作系统+电子签章”国产化办公解决方案
能源环保日前,麒麟信安操作系统V3、麒麟信安桌面操作系统V3与北京安证通信息科技股份有限公司(简称:安证通)旗下EASPro电子签章认证系统V8.0、OFDSign电子签章软件V2.0、悦文云文档完成产品兼容性互认证。基于双方产品兼容性良好、稳定运行、性能卓越,麒...
阅读更多 -
东莞市优化调整普通住房价格标准
旅游消费证券时报记者 吴家明 临近春节假期,东莞再度对楼市政策进行优化调整。东莞市住房和城乡建设局官网发布了《关于调整我市普通住房价格标准的通知》(以下简称《通知》),对东莞市普通住房价格标准有关问题予以明确。 《通知》将东莞享受优惠政策的普通住房实际成交价格按园区、...
阅读更多 -
【企业动态】太和水新增1件行政处罚,被罚款150万元
旅游消费行政处罚决定书文号:沪【2024】6号 被处罚当事人:上海太和水科技发展股份有限公司 被处罚原因:经查明,太和水存在以下违法事实: 2017年起,太和水在江西省抚州市承做梦湖及凤岗河水生态治理项目,太和 水未审慎考虑凤岗河项目的治理争议对收入确认的影响...
阅读更多 -
法本信息:公司与客户的合作信息涉及商业保密协议的约束,不便透露
旅游消费投资者:你好,请问贵公司有配套鸿蒙系统软件开发技术吗? 法本信息董秘:尊敬的投资者,您好!公司致力于为客户提供先进的数字化平台、技术和解决方案,以数字化技术为依托,以咨询为驱动,以技术和方案为牵引,以交付为手段,全力为客户提供全域化、全业务、全效能的数字化服务...
阅读更多
热门文章
最近发表
标签列表
- 股票 (1278)
- 投资 (2838)
- 汽车 (1013)
- 新能源汽车 (355)
- 新能源 (685)
- 能源 (983)
- 债券 (517)
- 中国人民银行 (119)
- 宏观经济 (206)
- 时政 (162)
- 半导体 (177)
- 金融 (1466)
- 实体经济 (248)
- 利润 (867)
- 会计 (219)
- 医疗 (564)
- 基金 (691)
- 养老 (160)
- 科技 (1435)
- 股东大会 (153)
- 股东 (615)
- 期货 (137)
- 药品 (174)
- 银行 (736)
- 证券 (847)
- 法律 (435)
- 经济 (1233)
- 人民币 (216)
- 农业 (231)
- 建筑 (180)
- 电商 (174)
- 董事会 (114)
- 利率 (154)
- 大数据 (142)
- 上海 (266)
- 保险 (467)
- 互联网 (193)
- 科学 (286)
- 疫情 (250)
- 民生 (112)
- 交通 (310)
- 董事 (121)
- 手机 (156)
- 保险公司 (187)
- 商业 (272)
- 健康 (341)
- 大学 (132)
- 文化 (271)
- 花 (284)
- 专利 (143)