Более трех тысяч видеокамер городской сети видеонаблюдения подключили к системе распознавания лиц. Видеоизображение автоматически анализируется в режиме реального времени: система может установить личность человека на видео, его пол и возраст.

Московскую систему видеонаблюдения научили распознавать лица. Благодаря алгоритму, основанному на использовании нейросетей, видеозаписи с городских камер проходят анализ в режиме реального времени. Лица на записях сканируются, чтобы их при необходимости можно было сравнить с информацией в различных базах данных — например, в фотобазах правоохранительных органов, когда речь идет о поиске правонарушителя. Кроме того, такая аналитическая система может помочь правоохранительным органам при поимке преступника выстроить маршрут его передвижения по городу. Система сама подберет нужные видеозаписи с разных камер наблюдения, идентифицировав подозреваемого на видео. Столичная сеть состоит из 160 тысяч видеокамер и охватывает 95 процентов подъездов жилых домов. До конца года горожане смогут самостоятельно устанавливать на своих домах камеры и подключать их к единой системе видеонаблюдения.

«Внедрение видеоаналитики является мощным драйвером повышения эффективности как частных, так и городских систем видеонаблюдения. У жителей города появился дополнительный уровень защиты, — рассказал руководитель Департамента информационных технологий Москвы Артем Ермолаев. — Разумеется, все эти возможности должны внедряться очень ответственно. Наш приоритет — баланс между конфиденциальностью и безопасностью, и мы придерживаемся строгой внутренней политики контроля, гарантирующей соблюдение прав граждан».

Сейчас к системе городского наблюдения подключены порядка 16 тысяч пользователей — это сотрудники правоохранительных органов, государственных и муниципальных организаций. Для каждого установлен свой уровень доступа, что позволяет соблюдать конфиденциальность информации. Правоохранители могут получить необходимые данные по запросу в рамках действующего законодательства, а сотрудники госучреждений получают доступ к видеокамерам только с тех территорий и маршрутов, за которые они несут ответственность. Каждое обращение к системе слежения фиксируется.

Функция распознавания лиц работает в режиме онлайн, процесс идентификации личности занимает несколько секунд. В случае если алгоритм обнаружит человека, чье лицо загружено в базу данных, он отправит оповещение в правоохранительные органы.

В Департаменте также отметили, что внедрение функции распознавания лиц уже повысило эффективность расследования правонарушений и поиска преступников. Во время пилотных испытаний с ее помощью было обнаружено и задержано более 50 процентов нарушителей закона, которых разыскивали с использованием аналитических алгоритмов. До этого некоторых из них не могли найти в течение многих лет.

Москвичи смогут подключать свои камеры наблюдения к общей городской сети. Эту опцию реализуют до конца года. Видео с таких камер будет передаваться в единый центр хранения и обработки данных (ЕЦХД), а записи с них могут быть использованы в качестве юридически значимого доказательства в суде.

В этом году к единому центру хранения и обработки данных дополнительно подключили более 3,5 тысячи камер. К единой системе подключены подъездные видеокамеры, камеры, установленные на территории и в зданиях школ и детских садов, на станциях МЦК, стадионах, остановках общественного транспорта и автовокзалах, а также в парках. Кроме того, до июня 2018 года в 25 подземных пешеходных переходах столицы появятся камеры видеонаблюдения. Записывающие устройства установят в подземных переходах, не связанных со станциями метрополитена и находящихся в ведении ГБУ «Гормост».

Что говорить, если в одной только Москве уже работает сеть из более 150 000 камер наружного видеонаблюдения. От них никуда не скрыться, и это заставляет людей задумываться, но масштабы «слежки» не настолько велики. Сеть использует мощную систему распознавания лиц, но для ее работы необходимо много энергии, поэтому в режиме реального времени работают всего 2-4 тысячи камер. Массовым слежением за населением пока только пугают, поэтому стоит сосредоточиться на реальных плюсах работы данной технологии. Но обо всем по порядку.

Как работает система распознавания лиц?

Никогда не задумывались о том, как вы сами узнаете лицо, распознаете его? А как это делает компьютер? Конечно, у человеческих лиц есть определенные свойства, которые легко описать. Расстояние между глазами, положение и ширина носа, форма надбровных дуг и подбородка - все эти детали вы подмечаете бессознательно, когда смотрите на другого человека. Компьютер же делает все это с определенной эффективностью и точностью, потому что, совмещая все эти метрики, получает математическую формулу человеческого лица.

Итак, насколько хорошо работает система распознавания лиц в настоящее время? Вполне неплохо, но иногда ошибается. Если вы когда-нибудь сталкивались с ПО, распознающим лица на Facebook или на другой платформе, вы наверняка замечали, что забавных результатов бывает столько же, сколько и точных. И все же, хотя технология работает не со 100-процентной точностью, она достаточно хороша, чтобы найти широкое применение. И даже заставить понервничать.

Пол Хоуи из NEC говорит, что их система распознавания лиц сканирует лица на предмет индивидуальных идентификаторов:

«К примеру, многие считают расстояние между глазами уникальной характеристикой. Или же это может быть расстояние от подбородка до лба и другие компоненты. Мы, в частности, учитываем 15-20 факторов, которые считаются важными, а также другие факторы, уже не настолько значимые. Создается трехмерное изображение головы человека, поэтому даже если она частично будет закрыта, мы все равно сможем получить точное соответствие. Затем система берет сигнатуру лица и пропускает ее через базу данных».

Стоит ли переживать о программах, распознающих лица?

Прежде всего, распознавание лиц - это данные. Данные можно собирать и хранить, зачастую без разрешения. Как только информация собрана и сохранена, она открыта и для взлома. Платформы с ПО, распознающим лица, пока не подвергались серьезным взломам, но по мере распространения технологий ваши биометрические данные оказываются в руках все большего числа людей.



Существуют также вопросы владения. Большинство людей не знают, что когда они регистрируются в социальных медиаплатформах вроде Facebook, их данные с этого момента принадлежат этой самой Facebook. Поскольку число компаний, использующих распознавание лиц, постоянно растет, очень скоро даже не придется загружать собственные фотографии в Интернет, чтобы оказаться скомпрометированным. Они уже там хранятся, и хранятся давно.

Говоря о программном обеспечении, все они работают по-разному, но в основе своей используют похожие методы и нейросети. У каждого лица есть множество отличительных признаков (в мире невозможно найти два идентичных лица, а ведь сколько их было за всю историю человечества!). К примеру, программное обеспечение FaceIt определяет эти признаки как узловые точки. Каждое лицо содержит примерно 80 узловых точек, схожих с теми, что мы упоминали прежде: расстояние между глазами, ширина носа, глубина глазных впадин, форма подбородка, длина челюсти. Эти точки измеряются и создают числовой код - «отпечаток лица» - который затем попадает в базу данных.

В прошлом распознавание лиц опиралось на двумерные снимки для сравнения или идентификации других двумерных снимков из базы данных. Для пущей эффективности и точности изображение должно было быть лицом, прямо смотрящим в камеру, с небольшой дисперсией света и без особого выражения лица. Конечно, работало это чертовски плохо.

В большинстве случаев снимки не создавались в подходящей среде. Даже небольшая игра света могла снизить эффективность системы, что приводило к высоким показателям отказа.

На смену 2D пришло 3D-распознавание. Эта недавно появившаяся тенденция в программном обеспечении использует 3D-модель, обеспечивающую высокую точность распознавания лица. Запечатлевая трехмерное изображение поверхности лица человека в реальном времени, ПО выделяет отличительные черты - где больше всего выдаются жесткие ткани и кость, например, кривые глазного гнезда, носа и подбородка - для идентификации субъекта. Эти области уникальны и не меняются со временем.



Используя глубину и ось измерения, на которые не влияет освещение, система трехмерного распознавания лиц может даже использоваться в темноте и распознавать объекты под разными углами (даже в профиль). Подобное программное обеспечение проходит через несколько этапов, идентифицируя человека:

• Обнаружение : получение снимка при помощи цифрового сканирования существующей фотографии (2D) или видео для получения живой картинки субъекта (3D).
• Центровка : определив лицо, система отмечает положение головы, размер и позу.
• Измерение : система измеряет кривые на лице с точностью до миллиметра и создает шаблон.
• Репрезентация : система переводит шаблон в уникальный код. Этот код задает каждому шаблону набор чисел, представляющих особенности и черты лица.
• Сопоставление : если снимок в 3D и база данных содержит трехмерные изображения, сопоставление пройдет без изменений снимка. Но если же база данных состоит из двумерных снимков, трехмерное изображение раскладывается на разные составляющие (словно сделанные под разными углами двумерные снимки одних и тех же черт лица), и они конвертируются в 2D-изображения. И затем находится соответствие в базе данных.
• Верификация или идентификация : в процессе верификации снимок сравнивается только с одним снимков в базе данных (1:1). Если целью же стоит идентификация, снимок сравнивается со всеми снимками в базе данных, что приводит к ряду возможных совпадений (1:N). Применяется тот или иной другой метод по необходимости.

Где используются системы распознавания лиц?

В прошлом системы распознавания лиц находили применение в основном в сфере правоохранения, поскольку органы использовали их для поиска случайных лиц в толпе. Некоторые правительственные учреждения также использовали подобные системы для безопасности и для устранения мошенничества на выборах.

Однако есть много других ситуаций, в которых такое программное обеспечение становится популярным. Системы становятся дешевле, их распространение растет. Теперь они совместимы с камерами и компьютерами, которые используются банками и аэропортами. Туристические агентства работают над программой «бывалого путешественника»: с ее помощью они проводят быстрый скрининг безопасности для пассажиров, которые добровольно предоставляют информацию. Очереди в аэропортах будут продвигаться быстрее, если люди будут проходить через систему распознавания лиц, сопоставляющую лица с внутренней базой данных.

Другие потенциальные применения включают банкоматы и терминалы выдачи наличных денег. Программное обеспечение может быстро проверить лицо клиента. После разрешения клиента банкомат или терминал делает снимок лица. Программное обеспечение создает отпечаток лица, защищающий клиента от кражи личных данных и мошеннических транзакций, - банкомат просто не выдаст деньги человеку с другим лицом. Даже ПИН-код не потребуется.

Волшебство? Технологии!

Особенно важным и интересным может быть развитие технологии распознавания лиц в сфере банковских переводов. На днях российский банк «Открытие» представил собственное уникальное решение, разработанное под технологическим брендом Open Garage: перевод денег по фотографии . Вместо того чтобы вбивать номер карты или телефона, достаточно просто сфотографировать человека, которому нужно сделать перевод. Система распознавания лиц сравнит фото с эталонным (делается, когда банк выдает карту) и подскажет имя и фамилию. Останется только выбрать карту и ввести сумму. Что особенно важно, клиенты сторонних банков также могут использовать эту функцию для переводов клиентам «Открытия» - отправитель переводов может пользоваться картой любого российского банка.

«Использование фотографии клиента вместо номера банковской карты - это принципиально новый подход к онлайн-переводам, основанный на использовании нейросетевой системы распознавания лиц, которая позволяет с высокой степенью точности идентифицировать клиента по его биометрическим данным, - говорит начальник Управления развития партнерских систем банка «Открытие» Алексей Матвеев. - Сервис открывает для пользователей совершенно новые жизненные сценарии для выполнения денежных переводов. В настоящее время ни один из участников финансового рынка в мире не предлагает подобного сервиса своим клиентам».

Мобильное приложение «Открытие. Переводы» можно .

Пожалуй нет ни одной другой технологии сегодня, вокруг которой было бы столько мифов, лжи и некомпетентности. Врут журналисты, рассказывающие о технологии, врут политики которые говорят о успешном внедрении, врут большинство продавцов технологий. Каждый месяц я вижу последствия того как люди пробуют внедрить распознавание лиц в системы которые не смогут с ним работать.

Тема этой статьи давным-давно наболела, но было всё как-то лень её писать. Много текста, который я уже раз двадцать повторял разным людям. Но, прочитав очередную пачку треша всё же решил что пора. Буду давать ссылку на эту статью.

Итак. В статье я отвечу на несколько простых вопросов:

Как вы думаете, откуда создатели алгоритмов взяли эти базы?

Маленькая подсказка. Первый продукт NTech, который они сейчас - Find Face, поиск людей по вконтакту. Думаю пояснения не нужны. Конечно, вконтакт борется с ботами, которые выкачивают все открытые профили. Но, насколько я слышал, народ до сих пор качает. И одноклассников. И инстаграмм.

Вроде как с Facebook - там всё сложнее. Но почти уверен, что что-то тоже придумали.
Так что да, если ваш профиль открыт - то можете гордиться, он использовался для обучения алгоритмов;)

Про решения и про компании

Сейчас остальные лидеры - 1-2 китайских компании и 1 американская, Vocord что-то сдал в рейтингах.

Еще российские в рейтинге itmo, 3divi, intellivision. Synesis - белорусская компания, хотя часть когда-то была в Москве, года 3 назад у них был блог на Хабре. Ещё про несколько решений знаю, что они принадлежат зарубежным компаниям, но офисы разработки тоже в России. Ещё есть несколько российских компаний которых нет в конкурсе, но у которых вроде неплохие решения. Например есть у ЦРТ. Очевидно, что у Одноклассников и Вконтакте тоже есть свои хорошие, но они для внутреннего пользования.

Короче да, на лицах сдвинуты в основном мы и китайцы.

NTech вообще первым в миру показал хорошие параметры нового уровня. Где-то в конце 2015 года . VisionLabs догнал NTech только только. В 2015 году они были лидерами рынка. Но их решение было прошлого поколения, а пробовать догнать NTech они стали лишь в конце 2016 года.

Если честно, то мне не нравятся обе этих компании. Очень агрессивный маркетинг. Я видел людей которым было впарено явно неподходящее решение, которое не решало их проблем.

С этой стороны Vocord мне нравился сильно больше. Консультировал как-то ребят кому Вокорд очень честно сказал «у вас проект не получится с такими камерами и точками установки». NTech и VisionLabs радостно попробовали продать. Но что-то Вокорд в последнее время пропал.

Выводы

На сегодняшний день нельзя верить всем сказкам о том, что можно ловить всех преступников, или наблюдать всех в городе. Но важно помнить, что такие вещи могут помогать ловить преступников. Например чтобы в метро останавливать не всех подряд, а только тех кого система считает похожими. Ставить камеры так, чтобы лица лучше распознавались и создавать под это соответствующую инфраструктуру. Хотя, например я - против такого. Ибо цена ошибки если вас распознает как кого-то другого может быть слишком велика.

В NtechLab в мае этого года вложился фонд Impulse, связанный с Романом Абрамовичем. А в VisionLabs инвестировал в 2016 г. венчурный фонд АФК «Система» Sistema VC.

По данным исследовательской компании MarketsandMarkets, которые приводит Bloomberg, к 2021 г. объем рынка распознавания лиц достигнет $6,84 млрд. В 2016 г. он был вдвое меньше – $3,35 млрд.

Мошенники не пройдут

Григорий Бакунов, занимающий в «Яндексе» должность директора по распространению технологий, создал сервис, проектирующий уникальный случайный макияж, позволяющий избежать идентификации. Об этом он сообщал в своем telegram-канале. Проект команды основывался на алгоритме, который на основе оригинальной фотографии подбирал новый образ по принципу «антисходства». Затем на основе полученного результата визажист составлял план макияжа, после чего он наносился на лицо модели. Но затем разработчик решил свернуть проект. Объяснил он этот шаг соображениями совести: «Слишком уж велик шанс использовать продукт не для добра, а вовсе с другими целями». Алгоритмы, которые тестировали этот макияж, уже устарели, а современные алгоритмы распознают лицо даже с таким макияжем, уверяет представитель VisionLabs.

Самое масштабное внедрение технологии распознавания лиц среди российских банков произошло у «Почта банка» (создан ВТБ и «Почтой России»), рассказывает генеральный директор компании VisionLabs Александр Ханин. Сейчас 50 000 рабочих мест сотрудников банка оборудованы специальными камерами, которые умеют распознавать лицо, рассказывает советник предправления «Почта банка» Павел Гурин. В банке есть три базы изображений – фотографии сотрудников, клиентов банка и мошенников. Каждая фотография хранится в зашифрованном виде, как набор символов. Перед началом работы с клиентами сотрудник должен войти в систему банка. Для подтверждения личности он не только вводит пароль, но и фотографирует себя. После этого специальная программа преобразует фотографию в код и сравнивает его с кодом, хранящимся в базе. Если они совпадают, сотрудник начинает работу. Систему распознавания лиц используют и для внутренней аттестации, чтобы один не проходил тесты за другого и чтобы никто не мог зайти под чужим паролем и провести незаконную транзакцию.

Когда приходит клиент, камера верифицирует его аналогичным образом. Кроме того, программное обеспечение сравнивает изображение клиента с базой мошенников. Она пополняется и собственными усилиями банка, и с помощью межбанковского взаимодействия.

Деньги по фотографии

У «Тинькофф банка» нет отделений. Но по закону представитель банка обязан провести личную встречу с клиентом, поэтому работники «Тинькофф» фотографируют его с помощью специального мобильного приложения, которое преобразует изображение в обезличенный код, рассказывает директор по коммуникациям «Тинькофф банка» Дарья Ермолина. Дальше система сравнивает код с базой данных. Это позволяет убедиться, что перед представителем именно тот человек, который подавал документы, и что он не мошенник, а также сократить время обработки заявки.

«Открытие» внедрило денежные переводы по фотографии с помощью технологии распознавания лиц, рассказал директор по инновациям банка «Открытие» Алексей Благирев. Для этого достаточно сфотографировать получателя в мобильном приложении или загрузить его фотографию – система сама найдет данные человека в базе, чтобы отправить ему деньги.

Распознавание в цифрах

1,5 млрд руб.
общая сумма кредитов, которую «Почта банк» не выдал мошенникам благодаря использованию технологии распознавания лиц
70%
правонарушений (включая нарушения на дорогах) раскрывается с помощью систем видеонаблюдения в Москве
1 млрд фотографий из базы способен в режиме реального времени распознавать алгоритм российского стартапа NtechLab
117 млн человек – их фотографии есть в полицейской базе распознавания лиц США, это примерно половина взрослых американцев

Сбербанк в июле установил в Москве тестовый банкомат, где для совершения операций со счетом нужно только сфотографироваться, а не прикладывать пластиковую карту, рассказал представитель банка. Эксперимент продлится до конца 2017 г., после чего банк решит, внедрять ли технологию дальше. «Тинькофф банк» также сообщил о тестировании идентификации клиентов в банках.

Сбербанк использует технологию распознавания лиц при выдаче кредитов с 2014 г.

Прививка от очередей

В ритейле распознавание лиц используется, чтобы мотивировать покупателей, говорит генеральный директор компании NtechLab Михаил Иванов. Если человека узнают на входе в магазин и видят его историю покупок, то сотрудники магазина лучше знают, что ему предложить, объясняет Иванов. Например, если он покупал в магазине электроники телевизор, сотрудник его узнает, обратится по имени и предложит приобрести новый пульт.

В «Дикси» тестировали распознавание лиц клиентов для определения гендерного состава клиентов и для таргетированной рекламы в кассовой зоне и торговом зале, говорит директор IT-департамента ГК «Дикси» Владимир Муравьев. В X5 Retail Group технологию распознавания лиц используют пока в тестовом режиме – чтобы уменьшать длину очередей на кассах и для оптимизации торгового пространства. Система распознавания лиц может определить, сколько человек стоит в очереди, и отправить сигнал о том, что необходимо открыть дополнительную кассу. Видеоаналитика помогает проследить, где в магазине проходит больше людей, на что они обращают внимание, чтобы потом правильно расположить товары и промоматериалы.

Зона повышенной безопасности

Самый развитой мировой рынок технологии распознавания лиц – в сфере безопасности, говорит Иванов. В США лицевая биометрия широко внедрена на государственном уровне и используется сотрудниками полиции – в том числе и для проверки при выдаче водительских прав, рассказывает он. Кроме того, США и Европа используют идентификацию по лицу на паспортном контроле при пересечении границы.

Российские компании также предлагают использовать технологию распознавания лиц в сфере безопасности. Так, среди основных клиентов отечественной компании «Центр речевых технологий» – крупные стадионы. Когда болельщик приходит на стадион и прикладывает к валидатору именной абонемент, камера над валидатором подтверждает, что войти на стадион пытается именно владелец абонемента. Система не позволяет войти на спортивный объект людям из черного списка фанатов. Также «Центр речевых технологий» внедрил технологию распознавания лиц в аэропорту Южно-Сахалинска: когда туда заходят люди, которые находятся в розыске, система отправляет уведомление полиции и службе безопасности аэропорта.

Компания Magic Ашота Габрелянова запустила игру, в которой для управления используется мимика пользователя, рассказал сам Габрелянов на своей странице в Facebook. В первой версии игры пользователю нужно уничтожать злых персонажей четырех разных цветов с помощью оружия, которое управляется мимикой – она распознается с помощью нейросетей. Например, для использования желтой пушки нужно изобразить радость, для красной – сделать рассерженное лицо.

NtechLab также разрабатывает продукт в области безопасности, который нужен госструктурам и спецслужбам: это софт, который находит людей по доступным базам, работает с их документами.

Большое будущее

В ближайшие годы технологии анализа лиц будут развиваться в двух направлениях, считает Ханин. Первое – переход к пониманию поведения человека: сейчас уже мало понимать, кто изображен на фотографии, важно знать, как человек себя ведет в разных ситуациях, например на собеседовании или при посадке на рейс. Второе направление – это встраивание чипов с компьютерным зрением в устройства, чтобы они смогли не только идентифицировать пользователя, но и проанализировать потоковое видео. Например, показать, когда конкретный человек заходил в помещение, или построить 3D-аватар прямо в телефоне.

Благодаря технологии распознавания многие удивительные вещи станут реальными: человек только посмотрит на чайник – и он автоматически нагреет воду, говорит Иванов.