Экспертиза и контроль строительства
Стройка XXI века: нейронная сеть различает цвета и считает прогульщиков
Виктор Субботин, генеральный директор компании «Бета», эксперт в разработке специализированного ПО и создании интеллектуальных систем на основе машинного обучения, видеоаналитики и IoT, рассказывает, как он обучал нейронную сеть помогать строителям.
Сфера видеонаблюдения сегодня серьезно трансформируется и совершенствуется. Но пока в большинстве случаев не только обзор, но и анализ данных с камер, например на строительных площадках и других крупных объектах, отдается на откуп людям — операторам и супервайзерам.
Основная проблема такого подхода — в субъективной оценке, влиянии на нее человеческого фактора. Это может быть не только усталость, невнимательность, лень или болезнь, но и бытовая коррупция, договоренности «по дружбе».
Современные видеокамеры сами частично способны «заниматься» аналитикой с помощью встроенного софта. Производители и поставщики заявляют, что их камеры умеют считать посетителей, определять пол и возраст, распознавать госномера автомобилей, анализировать работу сотрудников. Во многом это действительно так. Например, транспортная сфера очень продвинутая в вопросах применения возможностей видеоаналитики, где распознавание государственных номеров — давно решенная задача, и об этом знает каждый автовладелец, который получал «письма счастья» от ГИБДД по поводу нарушений.
Мы не привязаны к конкретным вендорам, поэтому я могу говорить, что эти параметры влияют на эффективность оборудования всех производителей. Когда поставщики говорят, что камеры с встроенным аналитическим ПО умеют определять пол, возраст и считать людей, они немного лукавят. Если не брать в расчет дорожно-транспортную отрасль (где, кстати, все еще есть проблемы), эффективное применение «встроенной» видеоаналитики возможно только в идеальных или близких к ним условиях. Например, на складах и в помещениях с искусственным освещением.
Когда речь заходит о применении таких решений в других отраслях, например на протяженных строительных площадках и открытых объектах, идеального решения не может предложить никто. И этот технологический лаг способны преодолеть нейронные сети.
1) Несоблюдение техники безопасности. Речь идет об использовании персоналом касок, жилетов, а в отдельных случаях и дополнительных средств индивидуальной защиты везде, где это предусмотрено регламентом.
2) Воровство стройматериалов. Это, увы, обычное дело, когда по бумагам материалы приехали на склад в полном объеме, а по факту машина субподрядчика даже не была на объекте.
3) Несоответствие заявленного количества рабочих фактическому. Когда в смену должно было выйти 20 рабочих, а вышло пять, зато с пятнадцатью ключ-картами (чтобы отметиться за тех, кто не пришел).
4) Срыв запланированных сроков. Особенно это актуально для удаленных от городов строек и протяженных объектов, например энергетических.
1) Виртуальное зонирование объекта: зона разгрузки, зона склада, зона строительства, зона отдыха, зоны работы техники. В зависимости от того, сколько времени и где проводят сотрудники или техника, можно сделать выводы о их продуктивности и времени простоя.
2) Трекинг рабочих и строительной техники в разных зонах. Фиксировать перемещения сотрудников и время работы техники можно разными способами: с помощью видеоаналитики, различных датчиков и т.п. Мы использовали RFID-метки, потому что это быстро, недорого и удобно. Их можно вшить в спецодежду или закрепить на касках.
3) Идентификация разных типов спецодежды. На строительной площадке это каски и жилеты. Отдельно мониторятся, например, белые (прорабы) и оранжевые (рабочие). Сотрудники без спецодежды тоже идентифицируются. Если интегрировать этот мониторинг в систему контроля и управления доступом (СКУД), то информация не только о посторонних людях на площадке, но и тех сотрудниках, которые носят пропуск за себя и за друга, легко собирается в общую картину продуктивности.
4) Фиксация времени нахождения машин субподрядчиков на объекте: по номерному знаку, габаритам транспортного средства и цвету. Здесь мы использовали свой опыт работы в дорожно-транспортной отрасли. ПО распознает транспортные номера и цвет авто в системе контроля передвижения автотранспорта. Нейронная сеть сопоставляет фактические данные по транспорту субподрядчиков на стройке и планируемые данные по поставкам. В результате можно увидеть, кто не довез материалы и исключить подделку документов.
5) Визуализация аналитики. Интерфейсы отображения аналитики могут быть практически любыми: графики, таблицы, тепловая карта.
Как учить нейронную сеть
Нейронная сеть учится по датасету (набор данных, в нашем случае изображений, которые она должна уметь распознавать). Например, если есть видео с нужными объектами, то его надо будет разбить на ключевые кадры. Чем больше данных, тем выше точность работы нейронной сети. Мы, например, использовали, в среднем, 1500 фотографий на каждый паттерн.
Главное отличие нейронной сети от встроенного ПО в том, что в случае ошибки идентификации (причин для этого может быть очень много), алгоритм софта нужно дорабатывать. Нейронная сеть совершенствуется сама и непрерывно.
Сколько времени нужно
Время обучения нейронной сети, включая подготовку датасета, занимает от двух недель до шести месяцев. Основная сложность прикладной видеоаналитики — в уникальности отраслевых процессов и отсутствии готовых данных.
Например, для одного решения РЖД нужно было научить нейронку распознавать шпалы, рельсы и отличать баллоны с пропаном от баллонов с кислородом. В открытых источниках таких данных в нужном количестве нет. Это пример того, что на текущем этапе развития технологии большинство b2b-решений на базе машинного обучения и нейросетей очень индивидуальные. Однако часто можно использовать видеоматериал с имеющихся систем видеонаблюдения предприятий, что заметно сокращает сроки решения нестандартных задач.
Перспективы метода
Технология востребована далеко за пределами описываемой области. Глобальные ИТ-лидеры сейчас работают над агрегацией очень разрозненной информации, призывая озаботиться этим специалистов по всему миру. Например, компания Google, которая имеет в арсенале огромные возможности для развития технологий машинного обучения, поняла, что необходим глобальный поисковик по датасетам Dataset Search, бета-версию которого представила в июле 2018 года. Месяцем раньше открытую библиотеку датасетов опубликовала Microsoft.
