行业专家 - AI系统大师CPU的简短Intel Xeon 6新处理?

1。Xeon 6和Nvidiagpu与AI异质计算体系结构之间的合作硬件基础，Intel Xeon 6处理器作为主要CPU，可以与新的Nvidia GPU合作。根据NVIDIA网站的官方信息，DGXB300系统目前选择Xeon 6776p作为CPU的主要控制，采用了双通道配置，并通过UPI总线实现了CPU之间的相互关联。这8个GPU与NVLink高速相互连接，DGX具有相对较高的性能，设计用于训练和其他应用。作为主要CPU，它与GPU结合使用，并且该系统的性能受许多因素的影响。这里列出的最重要的因素是I/O，主要性能，内存（包括带宽和容量），预处理或卸载功能INCPU，一般CPU系统的RAS以及各种硬件的设计设计。这将影响ENTI的端到端性能RE AI系统，因此AI系统通常更为复杂。提高该设计性能的主要要点是：1。该行业的双通道Xeon 6最多可提供192个PCIE5频道。频道。在SP平台上，英特尔还提供了多种产品，该产品将提供更丰富的I/O（Richi/或Onesocket）到一个CPU插槽，总共有136个PCIE频道，并且单个空间与许多加速卡和存储设备相连，适用于侧端的“侧末”“预先启动的情况”，可以将较大的记忆型组合起来，可容纳较大的记忆力范围，该效率可以构成较大的型号。 senoteworthy，灵活的核心调整可确保充分利用资源并满足不同的需求。p至8个高频（PCT）核心。在DGXB300场景中，该技术直接满足“ CPU驱动的GPU”的典型需求，并实现了高频核心的准确安排：当GPU需要快速获得预处理数据时3.9GHz），与全核涡轮增压（3.6GHz）相比增加了28％。此功能缩短了从CPU到GPU的数据传输的延迟。 3。资源分配的灵活性可以通过BIOS工具或SST -TF结论PCT内核的数量，并且客户可以根据实际的加载-customers可以根据需要在使用时根据需要选择8、6、4或2 PCT核心进行调整。例如，在中国工作只需要4个GPU，可以配置4个PCT核心以防止浪费资源。与上一代MA的区别Xturbo技术是，PCT允许整个核心在线（不需要一半的核心入睡），并且可以保持TDP（350W）和冷却设计，从而确保Hardwa兼容性并降低客户的扩张成本。 4。更强大的内存体系结构兼容性较高的内存带宽对于AI工作负载至关重要，因为AI工作流是一个完整的数据处理管道，而不是单个链接。在此过程中，CPU首先负责预处理，从内存中读取数据并进行初始处理，然后将数据传输到GPU。例如，Xeon 6支持12通道DDR5-6400内存中的8通道，并且还支持MRDIMM，这可以提供30％的带宽。在LLM的生成推理（例如顺序文本）中，自我整合机制的机制需要生成和存储每个处理的令牌，即kvcache的矩阵的键和值。 kvcache避免重复 - 历史令牌对历史的关注在阶段phasecode处的令牌，但是它将随着订单的长度而连续增加，这涵盖了大量的GPU视频内存，并且需要将其卸载到下一级别的存储级别。对于CXL内存，使用的常见情况是KVCACHE安装。通过用CXL内存替换SSD，KVCache访问速度显着加速，从而提高了性能。 5。在业务级别培训方案中的RAS和数据预处理，系统可靠性直接影响计算和TCO强度的使用。 Xeon 6 RAS系统涵盖了所有硬件链接，RAS属性可以改善I/O稳定性，系统内存稳定性，UPI链路稳定性，CPU稳定性和平台。 CPU安装是针对MOE（混合专家）模型优化的另一种方式。市场上有很多情况下，关于通过AMX矩阵技术在XX处理器中某些MOE模型上的专门层的存在层。 2。为什么最强的6776p？双通道Xeon的基本价值6776p由NVIDIADGX B300选择，其中I/O领先行业的功能，顶部带宽内存，大型内存容量以及用于特定AI负载的领先RAS优化功能。它的4.6GHz涡轮频率能力极大地促进了数据处理。 PCT核心以4.6GHz的频率（例如文本和图像解码单词）加速数据的预处理，通过高速PCIE通道将数据发送到GPU，形成了“ CPU预处理→GPU计算”的管道作业。该处理器在单个通道上具有88个PCIE通道，在双通道上有176个。 NVIDIA选择了2DPC的体系结构（每个CPU提供8个存储通道和每个通道2个DIMM）进行调整。双通道系统可以由32 DIMM使用，最大8TB存储器容量。摘要：开放生态学的实际意义是开放性和兼容性的主要优势。客户可以独立选择，并且可以改变 - 以避免成本来引用锁定单个供应商。在软件生态系统兼容性的层面上，Xeon 6还完全支持主要的AI框架（例如Tensorflow，Pytorch）和云本地技术，而无需再生适应层，从而降低了移动技术的成本。从选择NVIDIA的逻辑来看，DGXB300的Xeon 6采用不应该是性能取向，而是全面专用的生态开放性，技术成本和时间控制。作为质量制作的产品，Xeon 6已被大型数据中心证明。 NVIDIA GPU场景中的Xeon 6的值本质上是由于“ CPU纸”的清晰定位：核心或涡轮频率的数量取决于GPU的需求。也可以根据用户的不同需求选择不同的CPU模型。在临界路径（例如高频数据传递，较大的记忆能力和系统稳定性）中，Xeon 6可以实现准确的优化。对于企业客户，他的意味着，随着AI基础架构的构建，可以通过标准化硬件获得预期的性能提高，同时避免了冗余运营的额外成本。 “以需求为导向的路线”这可能是它一直是NVIDIA CPU的主要控制的主要原因。