HR Tech

Аналитика рабочих встреч

Текстовая и голосовая аналитика помогает найти эпизоды для разбора в длинной записи встречи. Каждый сигнал связан с аудио и расшифровкой.

Разработал компоненты текстовой и голосовой аналитики и API для командного продукта; связал сигналы с точными фрагментами записи.

Нужный эпизодизменение речи → фрагмент записи → контекст

Открыть разбор встреч

2022 — настоящее времяРазработано

Компоненты аналитики разрабатывались в составе командного продукта для анализа встреч.

Задача

Чтобы найти сложный момент разговора, руководителю приходилось последовательно прослушивать длинную запись.

Решение

Модели оценивают тональность текста и напряжённость голоса. Руководитель открывает отмеченный эпизод, читает расшифровку и проверяет контекст.

Практическая польза

Меньше сплошного прослушивания

Начать разбор с отмеченных эпизодов, сохранив возможность открыть полную запись.

Обратная связь на примерах

Обсудить конкретную реплику вместе с её контекстом, а не только общий балл встречи.

Результат

Разработаны текстовые и голосовые модели и API для продукта анализа встреч.
Оценки связаны с временными метками: от сигнала можно перейти к реплике и прослушать её в контексте.

Подробности

Как устроено

Технологии

Python
HuggingFace Transformers
PyTorch
HuBERT
Vanilla JS

Последовательность обработки

расшифровка и тайм-коды
локальные текстовые модели
локальная голосовая модель
агрегация по окнам
аналитический API
защищённый интерфейс

Данные и проверка

Данные

30 открытых официальных записей общей длительностью 4 часа 29 минут
стенограммы и временные метки для проверки распознавания и реплик говорящих

Результаты проверки

Обработано 30 записей общей длительностью 4 часа 29 минут.
В демонстрации отобраны 18 эпизодов из шести встреч. Каждый связан с 45-секундным аудиофрагментом, расшифровкой и объяснением сигнала.

Критерии качества

точность расшифровки и разделения реплик говорящих
связь модельной оценки с соответствующим фрагментом записи
смысловая проверка выделенных эпизодов по тексту и аудио

Ограничения

Индексы моделей не являются вероятностью, диагнозом или оценкой человека.
Диаризация разделяет голоса и может ошибаться на наложениях речи и коротких репликах; публичное имя показывается только после сверки с официальной стенограммой.
Официальные совещания отличаются от внутренних командных встреч; перенос выводов требует отдельной проверки на данных заказчика.