Американские ученые заняты разработкой инновационной системы машинного зрения, способной проводить тщательный анализ картинки, поступающей с камеры наблюдения, и описывать происходящее с помощью кратких текстовых комментариев. Система под названием I2T (Image to Text), создается группой исследователей из Калифорнийского университета в Лос-Анжелесе, под руководством профессора Сонг-Чун Чжу (Song-Chun Zhu) в тесном сотрудничестве с компанией ObjectVideo.

Одним из ключевых компонентов системы I2T является анализатор изображений, отвечающий за разделение картинки на составные части. Этот механизм отделяет фон от важных объектов, таких как транспортные средства, люди или деревья. Некоторые объекты могут быть подвергнуты более доскональному разбору. К примеру, система способна воспринимать конечности человека или колеса автомобиля отдельно от объекта, которому они принадлежат.

На следующем этапе I2T идентифицирует каждый объект, используя для этого информацию из собственной базы данных, в которой содержится более двух миллионов изображений. Все объекты, запечатленные на изображениях, тщательно идентифицированы и рассортированы по 500 категориям. Наполнением базы занимались два десятка сотрудников некоммерческой организации Lotus Hill Institute, основанной профессором Чжу в китайском городе Ечжоу (Ezhou) в 2005 году.

Отдельного упоминания заслуживают специальные алгоритмы, позволяющие системе описывать перемещения объектов с привязкой к последовательностям кадров. I2T генерирует описания типа «машина 1 проследовала за машиной 2 в промежутке между 35:56 и 37:23» или «машина 3 приблизилась к перекрестку на 40:01». Эти механизмы помогут обнаруживать нужный фрагмент изображения путем ввода текстового запроса. А в некоторых случаях система способна «узнавать» объект, повторно оказавшийся в поле зрения камеры.

Несмотря на то, что I2T уже умеет распознавать многие типовые ситуации (к примеру, анализировать движение транспорта на городском перекрестке), система пока не готова к коммерческому использованию. Для того чтобы система могла без труда идентифицировать более широкий спектр объектов, необходимо расширение существующей базы данных.

По материалам сайта TechnologyReview.