Как превратить данные с камер видеонаблюдения в инструмент управления? В статье показываем, как устроено решение для подсчета людей на базе AI, чем отличаются модели PET и CLIP-EBC и как результаты анализа интегрируются в бизнес-процессы.
Введение
Сегодня камеры видеонаблюдения есть практически везде: в магазинах, аэропортах, бизнес-залах, на производственных объектах и во многих других местах. Они помогают контролировать происходящее и разбирать инциденты, но сами по себе редко отвечают на вопросы, важные для бизнеса:
- сколько людей находится в каждой зоне
- как меняется загрузка пространства
- где начинает формироваться очередь
- когда потребуется вмешательство сотрудников
- хватает ли ресурсов для обслуживания посетителей
Чтобы получать эти данные автоматически, мы разработали модуль анализа фото- и видеопотока на базе AI-моделей CLIP-EBC и PET.
Решение преобразует видеопоток в показатели загрузки, которые можно использовать в оперативном управлении. Оно помогает не просто подсчитать количество людей, а оценивать состояние пространства, прогнозировать перегрузку и запускать управленческие сценарии.
Проблема: данные есть, оперативной картины нет
Обычно загрузку пространств контролируют вручную: оператор следит за изображением с камер, сотрудник оценивает длину очереди на месте, а руководитель узнает о перегрузке уже после жалоб клиентов или нарушения нормативов обслуживания.
Такой подход далеко не идеален:
- человек не может непрерывно контролировать несколько зон одновременно
- визуальная оценка субъективна и зависит от опыта сотрудника
- проблемы становятся заметны уже после того, как очередь сформировалась или пространство оказалось перегружено
Можно предположить, что эту задачу решат датчики на входе. Однако они показывают лишь сколько людей вошло или вышло, но не позволяют определить:
- как люди распределены внутри пространства
- где именно образовалось скопление
- относится ли группа людей к очереди или просто проходит через зону
- насколько загружены отдельные участки большого помещения
Эта информация уже содержится в видеопотоке. Задача AI — извлечь ее и превратить в данные, пригодные для оперативного управления.
Пример использования: бизнес-зал аэропорта
Рассмотрим работу системы на примере бизнес-зала аэропорта.
Решение оценивает общую загрузку зала, плотность людей в отдельных зонах, скорость заполнения и прогнозирует достижение предельной вместимости. Если интегрировать его с оперативными системами авиакомпании, модель можно дополнительно учитывать статус рейсов, время посадки, ожидаемое количество пассажиров и другие производственные данные.
В результате авиакомпания получает не просто информацию о текущем количестве людей, а полную операционную картину:
- когда возникает пиковая нагрузка
- какие рейсы ее формируют
- как долго сохранится перегрузка
- какой будет загрузка в ближайшее время
- насколько быстро зал возвращается к нормативному состоянию
На основе этих данных можно оперативно перераспределять ресурсы, управлять доступностью услуг, а в отдельных сценариях — использовать динамическое ценообразование.
Как AI встраивается в бизнес-процессы
Основная задача — превратить результаты работы AI-модели в данные, на основе которых можно принимать управленческие решения. Для этого информация проходит несколько этапов обработки.
1. Получение данных
Система получает видеопоток с одной или нескольких камер. Для каждой камеры задаются контролируемые зоны (очередь, вход, кассовая линия и т.д.) и периодичность анализа. Обрабатывать каждый кадр не требуется: для большинства задач достаточно анализировать 5–10 кадров в минуту.
Результат: кадры для анализа, привязанные к заданным зонам наблюдения и при необходимости сохраненные для последующего разбора.
2. Анализ изображения
AI-модель определяет количество людей и, если требуется, строит карту плотности. Затем результаты нескольких кадров агрегируются и фильтруются, чтобы исключить влияние случайных факторов — например, кратковременных перекрытий или проходящих групп людей.
Результат: данные о количестве людей и плотности в каждой контролируемой зоне.
3. Расчет бизнес-метрик
На основе этих данных рассчитываются показатели, необходимые для оперативного управления:
- текущая загрузка зон
- процент заполнения
- скорость изменения загрузки
- тренд и оценка времени выхода на пороги
- прогноз достижения пороговых значений
- продолжительность превышения допустимой нагрузки
Здесь же данные дополняются информацией из других систем — например, о рейсах, времени посадки и ожидаемом количестве пассажиров.
Результат: бизнес-метрики, дополненные производственным контекстом и готовые для принятия решений.
4. Поддержка принятия решений
Полученные показатели анализируются с учетом бизнес-правил, исторических данных и оперативных событий. Результаты передаются в оперативные системы, где сотрудники видят текущую ситуацию, проблемные зоны и прогнозы их развития.
Результат: интерпретация данных, необходимая для оперативного управления
5. Запуск действий
При достижении заданных порогов система формирует уведомление или создает событие для исполнения. После выполнения необходимых действий изменения фиксируются системой при последующем анализе видеопотока.
Результат: сигнал или управленческое событие, которое запускает необходимые действия и позволяет оценить их эффект.
Таким образом формируется замкнутый контур управления: система обнаруживает отклонения, помогает инициировать необходимые действия, а затем оценить их результат.
Как AI определяет количество людей
В основе системы лежат модели компьютерного зрения, которые оценивают количество людей на изображении. Сегодня для таких задач применяются разные архитектуры. В демонстрационном стенде мы использовали два подхода — PET и CLIP-EBC. Они решают одну задачу, но делают это по-разному, поэтому подходят для разных сценариев использования.
PET: подсчет с локализацией людей
PET (Point quEry Transformer) рассматривает задачу подсчета людей как последовательность точечных запросов к изображению.
Как это работает
Представьте инспектора, который осматривает площадь сверху. Сначала он делит ее на несколько крупных участков. Если людей немного, этого достаточно, чтобы отметить каждого. Если участок заполнен плотно, он делит его на более мелкие части и рассматривает каждую отдельно. Благодаря этому больше внимания уделяется сложным зонам, а вычислительные ресурсы не расходуются на пустые области.
Технически модель начинает с набора запросов, каждый из которых анализирует свою область изображения. Если область оказывается сложной или содержит много людей, она автоматически разбивается на более мелкие участки (адаптивное quadtree-разбиение). В результате модель увеличивает детализацию только там, где нужно.
В отличие от моделей, которые возвращают только итоговое количество людей, PET одновременно решает две задачи: подсчет и приблизительную локализацию. На выходе получается не только число людей, но и набор точек, соответствующих предполагаемому положению каждого человека.
Когда использовать PET
PET подходит, если важно не только знать общее количество людей, но и понимать, где именно они находятся. Например, когда необходимо:
- определить количество людей внутри произвольной области изображения
- анализировать распределение людей по подзонам
- отделять очередь от проходящего потока
- использовать данные о расположении людей в прикладной логике
(пример: модель PET определила 3486 человек)
Ограничения
Точность PET зависит от качества локальной визуальной информации. При сильном размытии, сложных ракурсах или экстремально высокой плотности отдельные головы могут быть плохо различимы. Кроме того, дополнительная детализация плотных участков увеличивает вычислительную нагрузку.
CLIP-EBC: оценка плотности без локализации людей
CLIP-EBC использует другой подход. Модель оценивает не положение каждого человека, а плотность людей на изображении. В ее основе — визуальные признаки CLIP и архитектура Enhanced Blockwise Classification (EBC).
Как это работает
Представьте карту загруженности помещения. Изображение разбивается на небольшие блоки, для каждого из которых модель оценивает, сколько людей в нем находится. Затем оценки всех блоков объединяются, формируя общее количество людей.
В отличие от PET, CLIP-EBC не пытается определить координаты каждого человека. Зато она остается устойчивой в ситуациях, когда отдельные головы плохо различимы: люди находятся далеко от камеры, частично перекрывают друг друга или качество изображения невысокое.
Технически CLIP-EBC использует визуальные представления модели CLIP, предварительно обученной на большом объеме пар «изображение — текст». Эти признаки адаптируются для задачи оценки плотности толпы. На выходе модель формирует карту плотности и итоговую оценку количества людей. Карта показывает распределение нагрузки по изображению, но не предназначена для определения точных координат людей.
Когда использовать CLIP-EBC
CLIP-EBC подходит, если важны подсчет людей и анализ загрузки зон, а локализация каждого человека не требуется. Например, когда необходимо:
- определить общее количество людей;
- анализировать плотные скопления с сильными взаимными перекрытиями;
- сравнивать загрузку зон и ее изменение во времени;
- строить тепловые карты и анализировать распределение нагрузки.
(пример: модель CLIP-EBC определила 3402 человека)
Ограничения
Для бизнес-залов, секторов аэропорта и больших зон ожидания карта плотности часто оказывается более информативной, чем набор отдельных точек. Однако она показывает распределение нагрузки, а не положение каждого человека, поэтому не подходит для сценариев, где требуется локализация.
Enterprise-архитектура, безопасность и эксплуатация
Разработка AI-модели — лишь часть задачи. На практике ее необходимо встроить в существующую ИТ-инфраструктуру, обеспечить надежную эксплуатацию и соблюдение требований по безопасности данных.
В True Engineering мы рассматриваем AI-модель как один из компонентов enterprise-решения. В зависимости от задач заказчика она может работать как самостоятельный сервис, быть частью оперативных систем или передавать результаты анализа в системы поддержки принятия решений. При необходимости мы адаптируем архитектуру и интеграцию под существующий ИТ-ландшафт компании.
Решение разворачивается локально и может работать без доступа к интернету. Предобработка видеоданных может выполняться как во внешних компонентах, так и внутри AI-модуля. При этом система анализирует отдельные кадры, а не видеопоток целиком, что позволяет снизить объем обрабатываемых данных.
Для подсчета людей и оценки загрузки не требуется идентификация личности. Система не использует распознавание лиц и не формирует биометрические профили. При этом мы учитываем требования законодательства и внутренних политик заказчика: поддерживаем минимизацию обрабатываемых данных, разграничение доступа, настройку сроков хранения и интеграцию с корпоративными системами хранения и аудита.
Что дает бизнесу подсчет людей
Количество людей — не конечный управленческий результат. Сам по себе этот показатель не сокращает очереди, не улучшает сервис и не повышает эффективность бизнеса. Но без объективных данных невозможно понять, что происходит в реальности, и вовремя на это отреагировать.
Чтобы видеоаналитика приносила пользу, недостаточно просто подсчитать людей в кадре. Результаты подсчета нужно связать с производственным контекстом, бизнес-правилами и действиями сотрудников.
Тогда видеоаналитика становится инструментом управления. На основе рассчитанных показателей можно автоматически формировать алерты, прогнозировать изменения, запускать нужные сценарии и оценивать, как принятые меры влияют на бизнес-показатели.
Именно такие решения мы разрабатываем в True Engineering. Мы создаем инструменты, которые помогают бизнесу эффективнее управлять процессами, поддерживают ежедневную работу команд и позволяют принимать обоснованные решения.