Hugging Face ретвитнул инструмент turboquant-gpu, заявляя о предоставлении 5.02-кратного сжатия кеша KV

robot
Генерация тезисов в процессе

ME News Новости, 6 апреля (UTC+8), Hugging Face недавно ретвитнул сообщение, опубликованное anirudhbv_ce, объявив о запуске инструмента turboquant-gpu. Этот инструмент утверждает, что может обеспечить сжатие кеша KV до 5.02 раз на любой GPU (включая RTX, H100, A100, B200). В статье говорится, что его особенности включают: совместимость с библиотекой Hugging Face Transformers; предоставление минималистичного API, заявляя, что для сжатия и генерации требуется всего 3 строки кода; использование технологии сжатия KV Lloyd-Max с 3-битным объединением, достигая косинусного сходства 0.98. В статье отмечается, что его производительность превосходит MXFP4 (сжатие в 3.76 раза) и другой неуказанный方案。(Источник:InFoQ)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить