Компьютерное зрение

Фотоаудит рекламы

Модель сравнивает фотоотчёт с конкретным макетом рекламной кампании. Фотографии с уверенным прогнозом получают статус автоматически, спорные проверяет сотрудник.

Для проекта Ростелекома выбрал попарное сравнение изображений, подготовил данные и обучил модель проверки рекламных размещений.

12 000 ч/годэкономии на ручной проверке фотоотчётов

Проверка размещения

Нужный макет, а не просто тот же бренд

Каждый фотоотчёт сравнивается с эталоном кампании. Заказанный макет — совпадение; другое объявление того же бренда — несовпадение.

Эталонный фиолетовый рекламный макет Ростелекома для сравнения с фотоотчётами — **Макет найден**
Эталон и фотоотчёт относятся к одному рекламному макету.

Реальный фотоотчёт с искомым фиолетовым макетом Ростелекома на доске объявлений — **Макет найден**
Эталон и фотоотчёт относятся к одному рекламному макету.

Реальный фотоотчёт с другими объявлениями, но без искомого фиолетового макета Ростелекома — **Нужного макета нет**
Фотоотчёт содержит другие объявления, но не заданный макет.

июль — октябрь 2024Разработано

Проект для Ростелекома. В моей зоне — архитектура сравнения, сбор и синтетическое расширение данных, обучение и проверка на новых макетах.

Задача

Каждый фотоотчёт открывали вручную и сравнивали с макетом кампании. При тысячах фотографий проверка занимала значительную часть рабочего времени.

Решение

Система сравнивает эталон и фото, отделяет совпадения от несовпадений и направляет пограничные случаи в ручную очередь.

Практическая польза

Проверить заказанный макет

Другая реклама того же бренда считается несовпадением.

Разобрать массовый поток

Фотографии с уверенным прогнозом получают статус без ручной проверки.

Сосредоточиться на спорном

Сотрудник проверяет фотографии, по которым модели не хватает уверенности.

Результат

Экономия на ручной проверке фотоотчётов — 12 000 часов в год.
На внутреннем отложенном наборе модель дала 94,1% верных ответов; F1 = 0,94, ROC AUC = 0,9904.

Подробности

Как устроено

Технологии

Python
PyTorch
Torchvision
ResNet18
OpenCV
CVAT
Albumentations
TorchScript
YOLO

Последовательность обработки

эталонный макет
фотоотчёт
две ветки ResNet18
объединение признаков
классификация пары
ручная очередь

Данные и проверка

Данные

реальные фотоотчёты
эталонные рекламные макеты
четырёхточечная CVAT-разметка
синтетические положительные и сложные отрицательные пары

Результаты проверки

На внутреннем отложенном наборе получено 94,1% верных ответов, F1 = 0,94 и ROC AUC = 0,9904.

Критерии качества

доля верных ответов, F1 и ROC AUC на отложенных парах
доля спорных случаев
устойчивость к новым макетам, ракурсу, свету и перекрытиям

Ограничения

Метрики относятся к одному внутреннему отложенному набору и не гарантируют того же результата на новой кампании.
Качество зависит от ракурса, освещения и частичных перекрытий.
Модель классифицирует пару и не локализует объект рамкой.