亚马逊云科技陈晓建:2025年将推出下一代AI训练芯片Amazon Trainium3

C114讯 12月23日消息(南山)“在生成式AI时代,我们经常听到一句话:生成式AI能够重塑每一个行业。我相信这给所有IT从业者带来了巨大的机会,其中也包括初创企业。”近日在亚马逊云科技2024 re:Invent中国行北京站,亚马逊云科技大中华区产品部总经理陈晓建发表主题演讲时指出。

亚马逊云科技是生成式AI技术创新的先行者,早在2019年就推出了首款推理芯片Amazon Inferentia,2022年推出了首款训练芯片Amazon Trainium1,近期搭载Amazon Trainium2训练芯片的Amazon EC2 Trn2实例已在海外区域正式发布。陈晓建介绍,和上一代基于GPU的实例相比,Amazon Trainium2的性价比提升了30% ~ 40%。

每个Amazon EC2 Trn2服务器配置16块Amazon Trainium2芯片,这些芯片通过NeuronLink的高带宽、低延时技术互联,使得每个Amazon EC2 Trn2实例可以提供 20.8 petaFlops 的惊人性能,赢得了Adobe等知名公司的青睐。

其中,Adobe在使⽤Trainium2测试其Firefly frontier图像模型时已获得了令⼈振奋的初步成果。Poolside计划在Trainium2上训练其未来的模型,预计训练成本可降低40%。Databricks计划使⽤Trainium2为双方共同客户带来更好的效果,同时将TCO(总体拥有成本)降低30%。⾼通也看好Trainium2 能帮助开发者通过⾼通AI Hub构建具有成本效益的⾼性能模型,并实现在边缘设备上的便捷部署。

陈晓建介绍,Amazon EC2 Trn2 UltraServer可通过NeuronLink互连技术将4个Trn2实例(共64个Trainium2芯⽚)连接在⼀起,单个计算节点的峰值计算性能超过83Petaflops。这不仅能为超⼤规模模型提供更好的推理性能,还能让构建超⼤规模训练集群的过程更加⾼效。

亚⻢逊云科技与Anthropic正在合作打造⼀个名为Rainier项⽬的Trn2 UltraServer集群,该集群将使用数十万个Trainium2芯片,规模是其之前集群的五倍以上。

“下一代芯片Amazon Trainium3,将会在明年晚些时候推出。这是我们⾸款采⽤3纳⽶制程⼯艺的芯⽚,相比Amazon Trainium2计算速度提⾼到2倍,能效最⾼提升40%,这样客户就能以更低的成本构建规模更⼤、性能更强的应⽤。”陈晓建透露。

除了计算领域令人印象深刻的创新,陈晓建还介绍了亚马逊云科技在存储、数据库等领域的最新成果。他表示,亚马逊云科技不仅在云的核心服务层面持续创新,更在从芯片到模型,再到应用的每一个技术堆栈取得突破,让不同层级的创新相互赋能、协同进化。

其中在生成式AI领域,亚马逊云科技全面强化基础设施、模型和应用三层技术栈,推出Amazon Nova六款基础模型,Amazon Bedrock新接入100多款模型,通过更低的训练和推理成本、更多的模型选择、更深入场景的应用全面加速企业应用生成式AI创新。

Amazon Nova基础模型包括Nova Micro、Nova Lite、Nova Pro和Nova Premier基础模型,以及用于生成高质量图像的Nova Canvas和生成高质量视频的Nova Reel。在各自智能类别中,Amazon Nova Micro、Lite和Pro应用成本比Amazon Bedrock中表现最佳的模型至少降低75%,同时也是Amazon Bedrock中对应类别速度最快的模型。

打开APP阅读更多精彩内容