NG体育2024 年剩余时间有望成为数据中心芯片市场繁忙的一年，因为竞争对手芯片制造商都在准备发布新处理器。
分析师表示，AMD 和英特尔预计将推出新的竞争性数据中心 CPUng体育电ng体育电，而包括超大规模厂商和初创公司在内的其他芯片制造商计划推出新的AI芯片，以满足 AI 工作负载不断飙升的需求。比如英特尔在本周二确认其用于人工智能训练和推理的新型 Gaudi 3 人工智能加速器预计将于 2024 年第三季度全面上市，而 Meta 在周三宣布其下一代人工智能推理处理器现已投入生产并已在其数据中心使用。
Omdia数据中心 IT 首席分析师 Manoj Sukumaran 表示，虽然服务器销量预计将增长 6%，从 2023 年的 1080 万台服务器出货量增长到 2024 年的 1150 万台，但 2024 年服务器收入预计将同比增长 59%，这表明处理器仍然是一个热门且不断增长的市场。事实上，在未来五年内，服务器收入预计将增加一倍以上，到 2028 年达到 2700 亿美元。
“尽管单位出货量没有大幅增长，但收入增长相当快，因为这些服务器内部装有大量芯片，因此服务器价格大幅上涨，”Sukumaran 告诉Data Center Knowledge。 “这对芯片供应商来说是一个巨大的机会。”
数据中心运营商对“协处理器”有很大的兴趣——旨在补充和增强主处理器功能的微处理器。
Sukumaran 表示，传统上，数据中心服务器市场以 CPU 为中心ng体育电，CPU 是通用服务器中最昂贵的组件。他表示，2020 年只有超过 11% 的服务器拥有协处理器，但到 2028 年，预计超过 60% 的服务器将配备协处理器，这不仅可以提高计算能力，还可以提高效率。
Nvidia H100 和 AMD MI300 GPU、谷歌云张量处理单元(TPU) 等协处理器以及其他定制专用集成电路 (ASIC) 很受欢迎，因为它们能够实现 AI 训练、AI 推理、数据库加速、网络卸载和安全功能和视频转码，Sukumaran 说。
分析师指出，视频转码是一个使 Netflix、YouTube 和其他流媒体能够优化从电视到智能手机等不同用户设备的视频质量的过程。
AMD 和 Intel 与 ARM CPU的 CPU 市场仍然利润丰厚。英特尔仍然是市场份额的领先者，但来自初创公司Ampere和其他云服务提供商的 AMD 和基于 Arm 的 CPU 近年来已经削弱了英特尔的主导地位。
Omdia 的数据显示，虽然英特尔拥有 61% 的 CPU 市场份额，但 AMD 已经获得了显著的吸引力，从 2020 年服务器出货量的不到 10% 增长到 2023 年的 27%。 Arm CPU 去年占据了 9% 的市场份额。
Sukumaran 表示：“过去几年，Arm 软件生态系统已经相当成熟，Arm CPU 的低功耗和高核心密度对云服务提供商很有吸引力。”
事实上，谷歌云周二宣布其首款基于 Arm 的 CPU（称为Google Axion 处理器）将于今年晚些时候向客户提供。
英特尔今年的目标是通过发布下一代服务器处理器来重新在CPU市场站稳脚跟。带有 E 核的全新英特尔至强 6 处理器（之前代号为“Sierra Forest”）预计将于 2024 年第二季度上市，专为需要功效和性能的超大规模企业和云服务提供商而设计。
紧随其后的是推出带有 P 核的全新 Intel Xeon 6 处理器，以前的代号为 Granite Rapids，主打高性能ng体育电。然而，AMD 并没有坐以待毙，计划发布名为 Turin 的第五代 EPYC CPU。
Moor Insights & Strategy 副总裁兼首席分析师马特·金博尔 (Matt Kimball) 表示：“AMD 毫无疑问是性能领先者，并且在从英特尔手中夺取市场份额方面表现出色。”几乎所有这些都已通过超大规模企业存储在云端，AMD 也希望进一步扩大其在本地企业中的收益。 2024 年，从性能角度来看，您将看到英特尔在服务器端 CPU 方面再次具有竞争力。”
各个垂直领域的公司都在竞相构建人工智能模型，因此人工智能培训的规模仍然很大。但 Tirias Research 创始人兼首席分析师 Jim McGregor 表示，到 2024 年，人工智能推理芯片市场将开始出现。
“正在向推理处理转变，”他说。 “我们看到大量人工智能工作负载和生成式人工智能工作负载的出现。他们已经训练了模型。现在，他们需要一遍又一遍地运行它们，并且希望尽可能高效地运行这些工作负载。因此，期待看到供应商推出新产品。”
McGregor 表示，Nvidia 凭借其 GPU 在人工智能领域占据主导地位，但 AMD 已于 12 月发布了用于人工智能训练和推理的 Instinct MI300 系列 GPU，推出了可行的竞争产品。
虽然 GPU 甚至 CPU 都用于训练和推理，但越来越多的公司（包括高通、Amazon Web Services (AWS) 和Meta等超大规模企业，以及 Groq、Tenstorrent 和 Untether AI 等 AI 芯片初创公司）已经构建或正在开发专门用于人工智能推理的芯片。分析师还表示，这些芯片更加节能。
Kimball 表示，当组织部署 Nvidia H100 或 AMD MI300 时，这些 GPU 非常适合训练，因为它们很大，具有大量内核，并且具有高带宽内存，具有高性能。
“推理是一项更轻量级的任务。他们不需要 H100 或 MI300 的强大功能，”他说。
AMD 首席执行官苏姿丰在 2023 年第四季度财报电话会议上表示AMD 计划在 2024 年下半年推出下一代服务器处理器 Turin。 Turin基于该公司新的Zen 5核心。
“Turin 是现有第四代 EPYC 平台的直接替代品，通过添加下一代 Zen 5 核心、新的内存扩展功能和更高的核心数量，扩展了我们的性能、效率和 TCO 领先地位，”她在会上表示财报电话会议。
目前还没有该产品的具体细节。但 Moor Insights & Strategy 分析师 Kimball 表示，这款产品将具有重要意义。他表示：“AMD 将寻求从性能和每瓦性能的角度进一步将自己与英特尔区分开来。”自去年 12 月推出以来，AMD 也看到了对其 Instinct MI300 加速器（包括 MI300X GPU）的巨大需求。 苏姿丰在财报电话会议上表示，该公司计划今年为云、企业和超级计算客户积极提高 MI300 的产量。
英特尔高管计划今年发布几款主要芯片：Gaudi 3 AI 加速器和下一代 Xeon 服务器处理器。
Gaudi 3将用于AI训练和推理，瞄准企业市场。它的设计目的是与 Nvidia 和 AMD 的 GPU竞争。英特尔表示这款 AI 芯片将比其前身 Gaudi 2 提供四倍的人工智能计算能力和 1.5 倍的内存带宽。
英特尔高管补充道，与 Nvidia 的 H100 GPU 相比，Gaudi 3 预计训练和推理时间将加快50%，推理能效将提高 40%。
至于下一代Intel Xeon 6处理器，Sierra Forest将包括一个具有288个核心的版本，这将是业界最大的核心数量。这也是该公司首款“E-core”服务器处理器，旨在平衡性能与能源效率。
Granite Rapids 是一款“P 核”服务器处理器，专为实现最佳性能而设计。该公司表示，与 Sapphire Rapids 相比，它将为 AI 工作负载提供两到三倍的性能提升。
英特尔发言人表示，Gaudi 3 将于 2024 年第二季度向 OEM 供应，预计在第三季度全面上市。 Sierra Forest（现称为具有 E 核的英特尔至强 6 处理器）预计将于 2024 年第二季度上市。英特尔发言人表示，Granite Rapids（现在称为带有 P 核的英特尔至强 6 处理器）预计将“很快”推出。
3月中旬，英伟达宣布将于今年晚些时候开始出货下一代Blackwell GPU，分析师表示，这将使这家芯片巨头能够继续主导AI芯片市场。
Blackwell GPU 的新系列专为云提供商和企业而设计，在单个 GPU 上提供 20 petaflops 的 AI 性能，使组织能够以四倍的速度训练 AI 模型，将 AI 推理性能提高 30 倍，并使用多达 25高管们表示，能效比 Nvidia 上一代 Hopper 架构芯片高出数倍。
Nvidia 还将在 2024 年第二季度发货基于 Hopper 的 H200。该公司最近宣布了新的基准测试，表明它是运行生成式人工智能工作负载的最强大的平台。该公司表示，在推理 700 亿个参数的Llama 2模型时，H200 的性能比 H100快 45% 。
去年 5 月，这家由英特尔前总裁 Renee James 领导的初创公司宣布了一个新的定制设计、与 Arm 兼容的服务器处理器系列。具有多达 192 个核心。该公司高管表示，该处理器名为AmpereOne，专为云服务提供商而设计，可同时提供高性能和高能效。
AWS 是与 Nvidia、AMD 和 Intel 等大型芯片制造商合作的超大规模提供商之一，并使用他们的处理器为客户提供云服务。但他们也发现构建自己的定制芯片来为自己的数据中心供电并为客户提供云服务是有利且具有成本效益的。
AWS 今年将推出Graviton4，一种用于通用工作负载的基于 Arm 的 CPU，以及用于人工智能训练的 Tranium2。 AWS 安纳普尔纳实验室产品和业务开发高级总监 Gadi Hutt 表示，去年，该公司还推出了第二代人工智能推理芯片 Inferentia2。
“我们的目标是为客户提供选择的自由，并以显著降低的成本为他们提供高性能ng体育电，”赫特说。
该公司表示，Maia AI 加速器专为 AI 训练和推理而设计，而 Cobalt CPU 是一款节能芯片，旨在提供良好的每瓦性能。
Google Cloud 是超大规模领域的开拓者，于 2013 年首次推出了定制张量处理单元 (TPU)。TPU 专为人工智能训练和推理而设计，可在 Google Cloud 上向客户提供。这些处理器还支持 Google 服务，例如搜索、YouTube、Gmail 和Google 地图。
该公司去年年底推出了第五代 TPU 。该公司表示，Cloud TPU v5p 训练模型的速度比其前身快 2.8 倍。
分析师 Kimball 预计，随着谷歌云开始为其客户部署自己的 CPU，AMD 和英特尔的收入将受到打击。
宣布，Meta 今年已在其数据中心部署了用于人工智能推理的下一代定制芯片。
下一代人工智能推理芯片之前代号为Artemis，是该公司为 Meta 的人工智能工作负载设计的元训练和推理加速器 (MTIA) 系列定制芯片的一部分。
Meta去年推出了第一代人工智能推理芯片MTIA v1。该公司表示，与第一代芯片相比，新的下一代芯片的性能提高了三倍，每瓦性能提高了1.5倍。
人工智能硬件初创公司 Cerebras Systems于 3 月中旬推出了第三代人工智能处理器 WSE-3。这款晶圆级芯片的性能是其前身的两倍，并在高端人工智能训练市场与英伟达展开竞争。
该公司在三月中旬还与高通合作，为其客户提供人工智能推理服务。在 Cerebras 硬件上训练的模型经过优化，可在 Qualcomm Cloud A100 Ultra 加速器上运行推理。
Groq是一家位于加利福尼亚州山景城的人工智能芯片初创公司，它构建了 LPU 推理引擎来运行大型语言模型、生成式人工智能应用程序和其他人工智能工作负载。
Groq 于 2020 年发布了首款人工智能推理芯片，目标客户是超大规模企业、公共部门、人工智能初创公司和开发商。公司发言人表示，该公司将于 2025 年发布下一代芯片。
Tenstorrent是一家总部位于多伦多的人工智能推理初创公司，有着悠久的历史：其首席执行官是 Jim Keller，一位芯片架构师，曾在苹果、AMD、特斯拉和英特尔工作，帮助设计了 AMD 的 Zen 架构以及早期苹果 iPad 和 iPhone 的芯片。
Tenstorrent 战略和企业传播副总裁 Bob Grim 表示，该公司今年已开始接受 Wormhole AI 推理芯片的订单，并将于今年晚些时候正式推出。
他说，Tenstorrent 正在向企业、实验室和任何需要高性能计算的组织销售由 32 个 Wormhole 芯片驱动的服务器。 Grim 表示，Tenstorrent 目前专注于人工智能推理，但其芯片也可以为人工智能训练提供支持，因此该公司计划未来也支持人工智能训练。
Untether AI是一家总部位于多伦多的人工智能芯片初创公司，致力于打造节能人工智能推理芯片。
该公司发言人表示，该公司的总裁是前英特尔公司副总裁兼总经理 Chris Walker，该公司于 2021 年推出了首款产品，并计划于今年推出第二代 SpeedAI240 芯片。
该发言人表示，Untether AI 的芯片专为各种外形尺寸而设计，从用于嵌入式应用的单芯片设备到 4 芯片 PCI-Express 加速卡，因此其处理器可用于从边缘到数据中心的各个环节。
