Когда я включил реранкер в поиске WireCat по умолчанию, search messages --discover на моем архиве стал отвечать за 5.1 секунды вместо 1.9. Я попробовал 2 очевидные вещи: батчи и нативный ONNX Runtime вместо WebAssembly. Батчи почти ничего не дали, еще и оценки поменяли, а натив ускорил оценку в 2 раза, хотя по прикидкам выходило 4-10. Плюс на Windows нужная DLL нашлась только внутри npm-архива на 113.5 МБ, и мне пришлось доставать ее оттуда.
--discover ищет кандидатов по смыслу и по словам, а потом маленькая модель mMARCO (8 бит) читает первые 50 и расставляет их по порядку, это и называется реранкер. Все крутится локально на машине пользователя, без облака.
Батчи дали 15% и сдвинули оценки
Сначала я попробовал не гонять модель 50 раз по одной паре (вопрос и сообщение), а давать ей пары пачками. В WebAssembly это сэкономило максимум 15%, и то если отсортировать пары по длине. А когда в пачке пары разной длины, становится даже медленнее, потому что каждую дополняют до самой длинной и это дополнение считается как обычный текст.
И оценки поменялись. Одна и та же пара получила 0.04, когда шла одна, 0.48, когда ее дополнили до 200 токенов, и 0.34 рядом с другой парой. Мне кажется, 8-битная модель подбирает диапазон значений по всему входу за прогон (динамическое квантование), и соседи по пачке двигают оценку. Это гипотеза, глубже я не копал. Но даже если причина другая, порядок результатов зависел бы от того, какие сообщения случайно попали в одну пачку, поэтому я оставил по одной паре на прогон.
| 50 пар разной длины | Время | Максимальный сдвиг оценки |
|---|---|---|
| По одной | 1.54 с | |
| Пачки по 5, отсортированы по длине | 1.33 с | 1.01 |
| Пачки по 5, как пришли | 2.12 с | 0.78 |
| Одна пачка из 50 | 2.37 с | 0.85 |
Текст в этом замере синтетический, оценки в логитах. Самый быстрый вариант еще и сдвигает оценки сильнее остальных в таблице, а пачки по 25 сдвигали до 1.34. Мерил я только в WebAssembly, ведут ли себя так же батчи в нативной библиотеке, не проверял.
Натив ускорил оценку в 2 раза, а не в 10
Дальше я запустил те же модели через нативную библиотеку ONNX Runtime, а не через WebAssembly. Я ждал ускорения в 4-10 раз, потому что Python-версия на коротких синтетических парах оценивала 50 пар за 0.2 секунды, а WebAssembly у меня тратил на то же 0.9-1.7. Но это я сравнивал разные рантаймы из разных прогонов. Когда я прогнал Node с нативной библиотекой и WebAssembly на одних и тех же парах, вышло 0.25-0.30 секунды против 0.60, т.е. в 2-2.4 раза.
На реальном архиве получилось так же. Реранкер читает не только сообщение, к нему еще добавляются чат, автор и сообщение, на которое ответили, поэтому медиана получилась 153 токена против 48 в синтетике, а каждая десятая пара длиннее 762. В пересчете на пару натив быстрее в 2-2.5 раза, но вся команда --discover ускорилась с 4.58 до 3.20 секунды (медиана 18 вызовов), т.е. на 30%. Остальное время уходит на загрузку моделей и токенизаторов (17 МБ JSON, одинаково в обоих рантаймах), сборку мусора и сам поиск.
Ответы при этом остались те же. На моих 6 контрольных вопросах прямой ответ был в первой пятерке и там и там, а из 30 результатов в топ-5 совпали 29. Порядок почти равных результатов иногда меняется, потому что рантаймы считают одну и ту же пару чуть по-разному. Стартовая цифра здесь 4.58, а не 5.1, потому что это другая сборка и другая нагрузка на машину, так что сравнивать с 5.1 можно только грубо.
Еще я заметил, что реранкер иногда вообще не видел найденное сообщение. Это я мерил отдельно, на одном чате. Там в 18 из 119 пар с ответом все 512 токенов модели занимало сообщение, на которое ответили. Я обрезал его до 300 символов, про это напишу отдельно. С обоими изменениями --discover в max 0.81.0 отрабатывал за 2.91 секунды нативно и за 4.10 через WebAssembly.
Как раздать натив без новых пакетов
Обычно нативную библиотеку раздают через npm отдельным пакетом под каждую платформу. Я не хотел плодить пакеты и раздувать установку тем, кто модели вообще не качает. Сам onnxruntime-node в распакованном виде весит 288 МБ, потому что в нем лежат библиотеки сразу всех систем.
Под каждую платформу там 2 части: биндинг на 0.3-0.4 МБ и сама библиотека. Биндинг ищет библиотеку в своей же папке, этим я и воспользовался - биндинги положил в пакет @wirecat/cli-core-onnx, который и так публикуется, а библиотека качается вместе с моделями из официального релиза Microsoft и сверяется с зашитым sha256. Сам поиск ничего не качает, библиотека появляется только после models download, а если ее нет или она не загрузилась, все работает через WebAssembly, как раньше. Оценки я сверил на 450 парах, с библиотекой из релиза Microsoft они совпали с npm-версией бит в бит.
На Windows DLL пришлось доставать из npm-архива
На Windows этот трюк не прокатил. Биндинг для Windows берет из onnxruntime.dll функцию не по имени, а по номеру 4, и это функция для DirectML (слой Windows для видеокарты). В релизе Microsoft лежит обычная CPU-сборка без нее, и Windows на попытку загрузки отвечала только "The operating system cannot run %1", без слова о том, чего не хватает.
DirectML-сборку версии 1.30.0 я нашел только внутри npm-архива самого onnxruntime-node, а он весит 113.5 МБ. В NuGet она тоже есть, но только до версии 1.24.4. Поэтому на Windows models download один раз качает этот архив, достает из него одну DLL и сверяет ее с зашитым sha256. Сам DirectML.dll подгружается, только если он нужен, так что на CPU все работает и без него. Получился колхоз, конечно, зато новых пакетов не понадобилось.
До этого CI запускал через npm-пакет только крошечную тестовую модель, а models download и то, что после него реально работает у пользователя, не проверял нигде. Теперь отдельный workflow качает библиотеку и запускает 2 крошечные тестовые модели нативно на 5 системах: Linux и Windows на x64 и arm64 плюс macOS на Apple silicon. А на Alpine, для которого сборки нет, проверяет, что натив даже не предлагается и все идет через WebAssembly. Intel Mac тоже остается на WebAssembly, под него библиотеки в пакете нет (и в CI его тоже нет).
Что я бы сделал по-другому
- Я бы сравнивал рантаймы на одних и тех же парах и на реальной длине входа. 4-10 раз у меня получились потому, что я сравнивал разные прогоны.
- Квантованную модель я бы батчами не гонял, если оценки разных пар потом сравниваются между собой.
- Нативную библиотеку можно качать по требованию, с зашитым хешем и WebAssembly на случай, если она не загрузилась. Мне пакет под каждую платформу так и не понадобился.
- То, что файлы лежат в пакете, еще не значит, что библиотека загрузится. У меня это теперь проверяет CI, который реально запускает модель на каждой из 5 систем.
Что я не мерил
- Скорость натива на Windows, macOS и Linux arm64. CI проверяет, что он там работает, но время не замеряет.
- MCP-сервер, где модели уже загружены и ускорится только сама оценка.
- Модель без квантования (fp32), которая не должна зависеть от соседей по пачке, но больше и медленнее.
Синтетические замеры, условия и скрипты лежат в cli-testing, их можно повторить. От моего реального архива там только итоговые цифры, сами вопросы и строки по каждому вопросу закрыты. Если у вас натив на длинных текстах вышел быстрее, напишите, на чем мерили, я сравню со своими цифрами.
