Локальная суммаризация встреч без передачи данных внешним LLM
Компактная языковая модель для суммаризации встреч в закрытом контуре. Решение позволяет автоматически получать краткие итоги созвонов без отправки корпоративных обсуждений во внешние LLM-сервисы и снижает зависимость от дорогих универсальных моделей.
Бизнес-контекст
Компании всё чаще хотят автоматически обрабатывать встречи: получать краткие итоги, решения, договорённости, задачи и следующие шаги. Но в корпоративной среде у этого процесса есть важное ограничение: не все данные можно отправлять во внешние облачные LLM-сервисы.
На встречах обсуждаются клиенты, договоры, финансы, внутренние планы, персональные данные, коммерческие условия и управленческие решения. Для части компаний это означает, что обработка встреч должна происходить в закрытом контуре или хотя бы не зависеть полностью от внешнего провайдера.
Есть и экономический фактор. Если встреч много, регулярная обработка через большие универсальные модели может становиться дорогой. При этом сама задача часто повторяется: из расшифровки нужно получить структурированный итог в одном и том же формате.
Типовые проблемы:
  • корпоративные встречи нельзя свободно отправлять во внешние сервисы;
  • стоимость обработки растёт вместе с количеством встреч;
  • универсальная LLM решает задачу хорошо, но избыточна для повторяющегося формата;
  • качество итогов нужно привести к единому шаблону;
  • компании хотят больше контроля над данными и инфраструктурой;
  • для закрытого контура нужна модель, которую можно запускать локально.

До автоматизации
Без специализированной модели процесс обычно строится одним из двух способов.
Первый вариант — итоги встреч пишет человек. Он читает расшифровку, выделяет главное, формулирует summary, задачи, решения и договорённости. Это долго и плохо масштабируется при большом количестве встреч.
Второй вариант — используется внешняя большая языковая модель. Это быстрее, но возникает зависимость от провайдера: данные уходят наружу, стоимость обработки зависит от тарифа, а модель остаётся универсальной и не всегда стабильно придерживается нужного корпоративного формата.

После автоматизации
Решение строится вокруг компактной модели суммаризации, обученной под конкретный формат встреч и ожидаемый результат.
На вход подаются:
  • расшифровки встреч;
  • примеры качественных итогов;
  • корпоративный шаблон summary;
  • структура нужного протокола;
  • данные для обучения и проверки качества.
На выходе модель формирует:
  • краткое содержание встречи;
  • основные темы обсуждения;
  • решения;
  • договорённости;
  • задачи;
  • следующие шаги;
  • структурированный итог в заданном формате.
Главная идея — не использовать большую универсальную модель для каждой повторяющейся операции, а обучить более компактную модель под конкретный бизнес-процесс.

Как работает ИИ
ИИ используется для переноса задачи суммаризации в более контролируемый и дешёвый контур.
Сначала формируется обучающий набор: расшифровки встреч и эталонные итоги. Затем модель обучается на задаче преобразования длинного транскрипта в короткий структурированный результат. В отличие от обычного “сделай summary”, модель учится выдавать итог в нужной структуре: темы, решения, задачи, договорённости и следующие шаги.
На практике такая модель не должна “понимать всё на свете”. Её задача уже и конкретнее: стабильно обрабатывать повторяющийся тип корпоративных встреч и выдавать результат в заданном формате.
Это позволяет заменить часть обращений к большой внешней LLM специализированной локальной моделью.

Бизнес-эффект
Главная ценность решения — контроль над данными, стоимостью и инфраструктурой.
Компания получает:
  • возможность обрабатывать встречи внутри своего контура;
  • снижение зависимости от внешних LLM-провайдеров;
  • более предсказуемую стоимость обработки большого количества встреч;
  • единый формат итогов;
  • модель, адаптированную под собственный тип встреч;
  • основу для коробочного или on-premise решения;
  • меньше рисков при работе с чувствительной корпоративной информацией.
Если компания регулярно обрабатывает десятки или сотни встреч в месяц, специализированная модель может быть экономически выгоднее постоянного использования большой универсальной LLM.

Где применимо ещё
Такой подход применим в любых задачах, где есть повторяющийся формат текста и регулярная потребность в структурированной выжимке.
Примеры применимости:
  • суммаризация проектных встреч;
  • автоматическое формирование протоколов;
  • обработка клиентских брифов;
  • подготовка итогов интервью;
  • HR-собеседования;
  • разбор инцидентных встреч;
  • внутренние совещания руководителей;
  • закрытые корпоративные контуры;
  • on-premise AI-решения;
  • обработка юридически или коммерчески чувствительных обсуждений;
  • снижение затрат на регулярные LLM-запросы;
  • замена части внешних LLM-вызовов специализированной моделью.

Результат
Результат — подход к локальной суммаризации встреч, который позволяет не каждый раз отправлять корпоративные обсуждения во внешнюю большую модель.
Компания получает специализированный AI-компонент под конкретную задачу: взять расшифровку встречи и превратить её в структурированный итог. Такой кейс показывает, что не все AI-задачи нужно решать дорогой универсальной LLM. Иногда эффективнее обучить компактную модель под узкий, повторяемый и коммерчески значимый процесс.

Стек
Python, PyTorch, HuggingFace Transformers, дообучение языковых моделей, обработка естественного языка, суммаризация текста, подготовка датасетов, FastAPI, Docker.
Контакты:
+7 (931) 390-78-71
german_leontiev@mail.ru
Made on
Tilda