Владимир Бескоровайный
Архитектор корпоративного ИИ, 17 лет в ИИ и BI, автор книги Enterprise AI: The KATA Way. Пишу о прикладном и локальном ИИ.
Askbase появился из замера, а не из идеи. В 2026 году я опубликовал бенчмарк открытых моделей на своём железе на наборе BIRD, по фиксированному протоколу и с провалами в составе результатов. Важным оказалось не место в рейтинге, а форма кривой: лёгкий рецепт закрывает часть разрыва с облачными системами, а техники, которые литература считает обязательными, не выдержали парного теста значимости.
Из того же бенчмарка растёт право этого продукта вообще что-то утверждать о точности. Цифра без протокола это реклама.
Публикации
- How Far Do On-Prem Open LLMs Get on Text-to-SQL? A Cross-Family Size x Technique Frontier on BIRD, arXiv:2606.29733. Код и результаты в Zenodo, DOI 10.5281/zenodo.20952794.
- Enterprise AI: The KATA Way, издание для Kindle 12 марта 2026 года, первое место Amazon в разделе ИИ. KATA это аббревиатура: Knowledge, Assessment, Technical Architecture, Accountability.
Опыт, на котором это построено
Промышленная система NL2SQL на открытых моделях, около 85% точности, более 500 витрин данных, Qwen2.5-Coder-32B. Инженерные вопросы Askbase пришли оттуда: как модель ведёт себя на схеме, которую никто не проектировал под неё, и что она делает, когда имена столбцов ничего не значат.
Отдельный открытый бенчмарк pii-roundtrip сравнивает инструменты обезличивания на замороженных отложенных наборах с предрегистрацией порогов и журналом однократных прогонов. Askbase использует ту же дисциплину для своих замеров, и причина видна в сравнении: в этой области опубликованные цифры почти всегда непроверяемы.