NVIDIA представила решение по совместному проектированию AI-памяти, увеличив пропускную способность вывода до 30 раз

NVIDIA объявила, что с увеличением масштабов AI-моделей и распространением приложений для интеллектуальных агентов, давление на память GPU возрастает, поставки HBM становятся ограниченными, а цены растут. NVIDIA предложила повысить эффективность использования памяти за счет совместного проектирования GPU, CPU, сети, хранения и программного обеспечения, а не просто увеличивать объем памяти GPU. В частности, NVIDIA сжимает веса модели и KV Cache с помощью формата низкой точности NVFP4, перемещая временно неактивные контексты в более дешевые уровни хранения и используя распределенное развертывание на нескольких GPU для освобождения пространства HBM. В тестах SemiAnalysis AgentX, единичная стоимость вывода для GB300 NVL72 при определенных рабочих нагрузках достигала 10-кратного уровня платформы H200; Vera Rubin NVL72 по сравнению с GB300 NVL72 увеличила единичную стоимость вывода до 30 раз, в то время как объем HBM на одном GPU увеличился всего на 3%.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.