Корпоративный ИИ

Локальные итоги встреч

Компактная модель готовит итоги встреч на рабочей видеокарте вместо двух серверных A100. Компания экономит около 4 млн ₽ капитальных затрат, а записи остаются внутри её инфраструктуры.

Поставил задачу локальной суммаризации, подготовил выборку и руководил разработкой компактной модели для корпоративных встреч.

≈4 млн ₽экономии на закупке оборудования

2025 — 2026В эксплуатации

Компактная модель развивается внутри команды под моим руководством.

Задача

Для локальной обработки встреч предусматривались две видеокарты A100 общей стоимостью около 4 млн ₽.

Решение

Компактная модель формирует структурированные итоги на RTX 3060 12 GB стоимостью около 50 тыс. ₽ внутри инфраструктуры компании.

Практическая польза

Доступное оборудование

Рабочая видеокарта справляется с задачей подготовки итогов.

Закрытые обсуждения

Расшифровки обрабатываются внутри компании.

Готовый черновик

Сотрудник получает структурированный итог для проверки и использования.

Результат

Модель обрабатывает длинные расшифровки на RTX 3060 12 GB. Разница в стоимости оборудования по сравнению с двумя A100 — около 4 млн ₽.
На двух встречах, не использованных в обучении, оценка верности фактам составила 90,7%, полноты — 56,45%.

Подробности

Как устроено

Технологии

Python
Transformers
LoRA
Vikhr
bitsandbytes
FastAPI
CUDA

Последовательность обработки

транскрипт
4-bit Vikhr + LoRA
краткое содержание
ручная проверка

Данные и проверка

Данные

расшифровки встреч
проверенные итоги встреч
обезличенные примеры для обучения

Результаты проверки

Модель работает на RTX 3060 12 GB стоимостью около 50 тыс. ₽ вместо двух A100 общей стоимостью около 4 млн ₽.
На двух встречах, не использованных при обучении, 90,7% утверждений соответствовали исходным встречам; покрытие важных фактов — 56,45%.

Критерии качества

сохранение ключевых решений
объем ручных правок
скорость локальной обработки

Ограничения

Пропускная способность зависит от длины расшифровки и доступной памяти видеокарты.