Локальная модель на своём железе
Основной наш инструмент — языковая модель на 27 миллиардов параметров, работающая на собственной видеокарте с 32 ГБ памяти. Она обслуживает внутренние сервисы круглосуточно: разбор документов, суммаризацию звонков, генерацию текстов, помощь в разработке. Контекст — 128 тысяч токенов, то есть модель держит в памяти документ на сотню страниц целиком.
Практический вывод, который мы вынесли и который повторяем заказчикам: одной видеокарты потребительского класса хватает, чтобы закрыть работу небольшой компании. Разговоры про «нужен кластер» начинаются там, где счёт пользователей идёт на сотни.
Телефония: 2254 звонка через локальную расшифровку
С марта по август 2026 через нашу систему прошло 2254 звонка. Каждый расшифровывается локальной моделью распознавания речи с разделением по говорящим, затем локальная языковая модель делает выжимку: о чём говорили, что обещали, требуется ли реакция. Записи и расшифровки — персональные данные, поэтому они шифруются в базе, а срок хранения ограничен регламентом.
Антифрод: 60% трафика оказались ботами
Наша система защиты стоит на пяти сайтах, включая наши собственные. Обработано событий и вынесено вердиктов:
| Показатель | Значение |
|---|---|
| Обработано событий | 108 789 |
| Классифицировано как боты | 65 853 |
| Доля ботового трафика | 60% |
| Сайтов под защитой | 5 |
Шесть событий из десяти — автоматика, а не люди. Мы приводим эту цифру не как «средний показатель по рынку»: это наши сайты и наш трафик, и в вашей нише доля будет другой. Но порядок величины объясняет, почему рекламные бюджеты утекают незаметно — подробнее в статье что такое клик-фрод.
Мониторинг: 58 узлов и один канал алёртов
За инфраструктурой следит собственный сторож: 58 узлов — сервисы, диски, видеопамять, очереди, сертификаты, свежесть резервных копий. Проверки не ограничиваются «процесс жив»: например, к языковой модели периодически идёт синтетический запрос, потому что процесс может работать, а отвечать перестать.
- •Резервные копии проверяются восстановлением, а не фактом создания файла,
- •Алёрты идут в один канал — иначе их перестают читать,
- •Каждая авария заканчивается разбором причины, а не перезапуском сервиса.
Что из этого следует для вас
Мы не продаём того, чего не проверили на себе. Если предлагаем поставить модель в ваш контур — значит, сами живём без внешних API. Если говорим, что боты съедают заметную долю трафика — значит, видим это на своих счётчиках. Любую цифру с этой страницы мы готовы разобрать на демонстрации и показать, откуда она берётся.
Как устроен сервер под такую задачу и сколько он стоит — на странице локального AI-сервера, а как считать окупаемость — в статье как внедрить нейросеть в бизнес.