Ant Group и vLLM совместно открывают исходный код Humming для количественного вывода

Ant Group и сообщество vLLM совместно открыли исходный код Humming, высокопроизводительной библиотеки операторов для количественного вывода. Humming поддерживает широкий спектр устройств, включая различные GPU и устройства, совместимые с CUDA. Эта библиотека предлагает богатую поддержку количественного вывода, поддерживая множество комбинаций форматов весов и активаций в Dense и MoE через единую архитектуру, охватывающую различные целые и плавающие типы, ширину битов и способы масштабирования. Humming демонстрирует значительно лучшие показатели производительности в различных типичных нагрузках по сравнению с существующими реализациями, такими как vLLM Marlin, FlashInfer и DeepGEMM.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.