Как я ускорял реранкер на своем компьютере

Когда я включил реранкер по умолчанию, поиск по смыслу в WireCat стал отвечать за 5.1 секунды вместо 1.9. Батчи почти не помогли и поменяли оценки, нативный ONNX Runtime ускорил оценку в 2 раза, а не в 10, а DLL для Windows я нашел только внутри npm-архива.

На этой странице

Коротко

4.6 с → 3.2 с
--discover на реальном архиве, через WebAssembly и нативно
≤ 15%
максимум, что дали батчи, и оценки при этом поплыли
113.5 МБ
весит npm-архив, из которого я достаю одну DLL для Windows
5 + Alpine
систем, где CI запускает модели нативно, Alpine остается на WebAssembly
Пачка из 50 распечатанных сообщений с надписью top 50, одно читают под лупой, 5 лежат по порядку, первое отмечено зеленым, секундомер показывает 3.2 секунды

Когда я включил реранкер в поиске WireCat по умолчанию, search messages --discover на моем архиве стал отвечать за 5.1 секунды вместо 1.9. Я попробовал 2 очевидные вещи: батчи и нативный ONNX Runtime вместо WebAssembly. Батчи почти ничего не дали, еще и оценки поменяли, а натив ускорил оценку в 2 раза, хотя по прикидкам выходило 4-10. Плюс на Windows нужная DLL нашлась только внутри npm-архива на 113.5 МБ, и мне пришлось доставать ее оттуда.

--discover ищет кандидатов по смыслу и по словам, а потом маленькая модель mMARCO (8 бит) читает первые 50 и расставляет их по порядку, это и называется реранкер. Все крутится локально на машине пользователя, без облака.

Батчи дали 15% и сдвинули оценки

Сначала я попробовал не гонять модель 50 раз по одной паре (вопрос и сообщение), а давать ей пары пачками. В WebAssembly это сэкономило максимум 15%, и то если отсортировать пары по длине. А когда в пачке пары разной длины, становится даже медленнее, потому что каждую дополняют до самой длинной и это дополнение считается как обычный текст.

И оценки поменялись. Одна и та же пара получила 0.04, когда шла одна, 0.48, когда ее дополнили до 200 токенов, и 0.34 рядом с другой парой. Мне кажется, 8-битная модель подбирает диапазон значений по всему входу за прогон (динамическое квантование), и соседи по пачке двигают оценку. Это гипотеза, глубже я не копал. Но даже если причина другая, порядок результатов зависел бы от того, какие сообщения случайно попали в одну пачку, поэтому я оставил по одной паре на прогон.

50 пар разной длиныВремяМаксимальный сдвиг оценки
По одной1.54 с
Пачки по 5, отсортированы по длине1.33 с1.01
Пачки по 5, как пришли2.12 с0.78
Одна пачка из 502.37 с0.85

Текст в этом замере синтетический, оценки в логитах. Самый быстрый вариант еще и сдвигает оценки сильнее остальных в таблице, а пачки по 25 сдвигали до 1.34. Мерил я только в WebAssembly, ведут ли себя так же батчи в нативной библиотеке, не проверял.

Натив ускорил оценку в 2 раза, а не в 10

Дальше я запустил те же модели через нативную библиотеку ONNX Runtime, а не через WebAssembly. Я ждал ускорения в 4-10 раз, потому что Python-версия на коротких синтетических парах оценивала 50 пар за 0.2 секунды, а WebAssembly у меня тратил на то же 0.9-1.7. Но это я сравнивал разные рантаймы из разных прогонов. Когда я прогнал Node с нативной библиотекой и WebAssembly на одних и тех же парах, вышло 0.25-0.30 секунды против 0.60, т.е. в 2-2.4 раза.

На реальном архиве получилось так же. Реранкер читает не только сообщение, к нему еще добавляются чат, автор и сообщение, на которое ответили, поэтому медиана получилась 153 токена против 48 в синтетике, а каждая десятая пара длиннее 762. В пересчете на пару натив быстрее в 2-2.5 раза, но вся команда --discover ускорилась с 4.58 до 3.20 секунды (медиана 18 вызовов), т.е. на 30%. Остальное время уходит на загрузку моделей и токенизаторов (17 МБ JSON, одинаково в обоих рантаймах), сборку мусора и сам поиск.

Ответы при этом остались те же. На моих 6 контрольных вопросах прямой ответ был в первой пятерке и там и там, а из 30 результатов в топ-5 совпали 29. Порядок почти равных результатов иногда меняется, потому что рантаймы считают одну и ту же пару чуть по-разному. Стартовая цифра здесь 4.58, а не 5.1, потому что это другая сборка и другая нагрузка на машину, так что сравнивать с 5.1 можно только грубо.

Еще я заметил, что реранкер иногда вообще не видел найденное сообщение. Это я мерил отдельно, на одном чате. Там в 18 из 119 пар с ответом все 512 токенов модели занимало сообщение, на которое ответили. Я обрезал его до 300 символов, про это напишу отдельно. С обоими изменениями --discover в max 0.81.0 отрабатывал за 2.91 секунды нативно и за 4.10 через WebAssembly.

Как раздать натив без новых пакетов

Обычно нативную библиотеку раздают через npm отдельным пакетом под каждую платформу. Я не хотел плодить пакеты и раздувать установку тем, кто модели вообще не качает. Сам onnxruntime-node в распакованном виде весит 288 МБ, потому что в нем лежат библиотеки сразу всех систем.

Под каждую платформу там 2 части: биндинг на 0.3-0.4 МБ и сама библиотека. Биндинг ищет библиотеку в своей же папке, этим я и воспользовался - биндинги положил в пакет @wirecat/cli-core-onnx, который и так публикуется, а библиотека качается вместе с моделями из официального релиза Microsoft и сверяется с зашитым sha256. Сам поиск ничего не качает, библиотека появляется только после models download, а если ее нет или она не загрузилась, все работает через WebAssembly, как раньше. Оценки я сверил на 450 парах, с библиотекой из релиза Microsoft они совпали с npm-версией бит в бит.

На Windows DLL пришлось доставать из npm-архива

На Windows этот трюк не прокатил. Биндинг для Windows берет из onnxruntime.dll функцию не по имени, а по номеру 4, и это функция для DirectML (слой Windows для видеокарты). В релизе Microsoft лежит обычная CPU-сборка без нее, и Windows на попытку загрузки отвечала только "The operating system cannot run %1", без слова о том, чего не хватает.

DirectML-сборку версии 1.30.0 я нашел только внутри npm-архива самого onnxruntime-node, а он весит 113.5 МБ. В NuGet она тоже есть, но только до версии 1.24.4. Поэтому на Windows models download один раз качает этот архив, достает из него одну DLL и сверяет ее с зашитым sha256. Сам DirectML.dll подгружается, только если он нужен, так что на CPU все работает и без него. Получился колхоз, конечно, зато новых пакетов не понадобилось.

До этого CI запускал через npm-пакет только крошечную тестовую модель, а models download и то, что после него реально работает у пользователя, не проверял нигде. Теперь отдельный workflow качает библиотеку и запускает 2 крошечные тестовые модели нативно на 5 системах: Linux и Windows на x64 и arm64 плюс macOS на Apple silicon. А на Alpine, для которого сборки нет, проверяет, что натив даже не предлагается и все идет через WebAssembly. Intel Mac тоже остается на WebAssembly, под него библиотеки в пакете нет (и в CI его тоже нет).

Что я бы сделал по-другому

  • Я бы сравнивал рантаймы на одних и тех же парах и на реальной длине входа. 4-10 раз у меня получились потому, что я сравнивал разные прогоны.
  • Квантованную модель я бы батчами не гонял, если оценки разных пар потом сравниваются между собой.
  • Нативную библиотеку можно качать по требованию, с зашитым хешем и WebAssembly на случай, если она не загрузилась. Мне пакет под каждую платформу так и не понадобился.
  • То, что файлы лежат в пакете, еще не значит, что библиотека загрузится. У меня это теперь проверяет CI, который реально запускает модель на каждой из 5 систем.

Что я не мерил

  • Скорость натива на Windows, macOS и Linux arm64. CI проверяет, что он там работает, но время не замеряет.
  • MCP-сервер, где модели уже загружены и ускорится только сама оценка.
  • Модель без квантования (fp32), которая не должна зависеть от соседей по пачке, но больше и медленнее.

Синтетические замеры, условия и скрипты лежат в cli-testing, их можно повторить. От моего реального архива там только итоговые цифры, сами вопросы и строки по каждому вопросу закрыты. Если у вас натив на длинных текстах вышел быстрее, напишите, на чем мерили, я сравню со своими цифрами.

Поделиться

Автор

Вячеслав Пцарев

AI Engineer, WireCat author

Помогает стартапам автоматизировать процессы и повышать конверсию. Делает ботов и графы знаний — и WireCat, открытые инструменты, которые дают ИИ-агентам доступ к вашим сообщениям, почте и заметкам.

Обсудить в группе в Telegram

Новые посты на почту

Посты о том, как подключать личные данные к ИИ-агентам, о приватности, памяти агентов и замерах. Одно письмо на пост, и больше ничего.