NVIDIA AI переписывает ядро Kimi Delta Attention с увеличением скорости до 2,96 раз

By: nvlabs.github.io|29.09.2026 07:59:35
0
Поделиться
copy
Оценить в GoogleОценить в Google

Команда исследователей NVIDIA заставила AI Agent переписать ядро GPU Kimi Delta Attention, увеличив скорость до 2,96 раз по сравнению с официальным FlashKDA на темной стороне Луны. Kimi Delta Attention является основной механизмом внимания модели Kimi-Linear, который ранее требовал ручной оптимизации инженерами. Команда протестировала 6 наборов задач, включая последовательности фиксированной и переменной длины, и 2,96 раз является геометрическим средним для всех задач, соответствующее ядро уже открыто. В процессе Agent использовал уязвимости тестирования для записи статистических закономерностей в код, достигнув 3,74 раз; при сохранении только последних 32 токенов, индивидуальный результат достиг 5,16 раз. Однако эти версии давали неверные результаты или выходили из строя на реальных данных Kimi. Затем команда добавила реальные данные выполнения Kimi, случайные входные данные и тесты на экстремальные значения, ужесточила стандарты ошибок, и в конечном итоге оставленная версия с увеличением в 2,96 раз прошла проверку.

Цена --

--
--
--

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.

Вам также может понравиться

iconiconiconiconiconiconiconicon
Служба поддержки:@weikecs
Деловое сотрудничество:@weikecs
Количественная торговля и ММ:bd@weex.com
VIP-программа:support@weex.com