Страница 7 из 23
Steinman R. M. Role of eye movements in maintaining a phenomenally clear and stable world // Eye movements and psychological processes. N. J.:
Erlbaum. 1976. P. 73–83. Underwood G. (Ed.). Eye Guidance in Reading, Driving and Scene Perception.
N.Y.:Elsever, 1998. Walls G. L. The evolutionary history of eye movements //Vis. Res. 1962. V 2. P. 69–80. col1_0 Eye Movement Disorders. Oxford: Oxford University Press, 2008.
Технологии айтрекинга: от видеорегистрации до наложения треков на изображение[3]
В. Н. Анисимов, А. В. Краснопёрое, Ф. Л. Серженко, Л. В. Терещенко
Нашим научным коллективом разработана установка для регистрации движений глаз на основе скоростной цифровой видеокамеры. Для обеспечения синхронизации компонентов системы, записи данных и их обработки создано оригинальное программное обеспечение. Преимуществом работы с нашей системой является доступ к полному циклу обработки регистрируемых данных, что позволяет быстро и эффективно решать задачи идентификации событий, а также визуально контролировать полученные результаты с помощью синхронного вывода видеозаписи изображения глаза. Также важной является возможность синхронизации регистрации треков движений глаз с внешними устройствами, например, с электроэнцефалографом или полиграфом. Известно, что подобная задача часто возникает при проведении научных или практических исследований и не всегда легко и корректно реализуется на основе решений, предлагаемых производителями айтрекеров.
Движения глаз регистрируются монокулярно с использованием цифровой видеокамеры Fastvideo-ЗОО (Стандартная система скоростной видеозаписи, электронный ресурс) производства компании «Фаствидео», Россия. Камера позволяет вести видеосъемку с частотой до 300 кадров в секунду при разрешении 640x480 пикселей и разрядности аналого-цифрового преобразования 10 бит. В основе камеры используется монохромный сенсор «ШРА-300» (Скоростная матрица ШРА-300, электронный ресурс), максимум спектральной чувствительности которого лежит в области длин волн порядка 700 нм, поэтому при работе применяется инфракрасная (ИК) подсветка. ИК подсветка также позволяет добиться максимальной контрастности зрачка на регистрируемом изображении. Камера соединена специальным высокочастотным кабелем с установленной в персональном компьютере (ПК) платой ввода изображения PIXCI® EB1 (PIXCI® EB1 PCI Express xl Base Camera Link Frame Grabber, электронный ресурс). Плата обеспечивает передачу управляющих сигналов в камеру, прием в непрерывном режиме захваченных кадров от камеры и сохранение кадров в оперативной памяти ПК. Обмен данными между камерой и платой ввода осуществляется по протоколу Base Camera Link, поток данных достигает 960 Мегабит в секунду при настройках камеры по умолчанию (640x480,10 бит, 300 кадров в секунду).
Для обеспечения синхронизации компонентов системы, записи данных и их обработки разработано оригинальное программное обеспечение. Оно включает в себя две программы: программное обеспечение Fastvideo Lab для скоростной видеосъемки (Программное обеспечение Fastvideo Lab для скоростной видеосъемки, электронный ресурс) и разработанная нами программа VisualStimulator.
Программное обеспечение, поставляемое с камерой, дает пользователю широкий спектр возможностей для ведения высокоскоростной съемки. Доступны, в частности, настройка режимов работы камеры – изменение области сканирования сенсора, частоты захвата кадров, времени экспозиции, выделение фрагмента кадра и др., просмотр изображения на экране монитора, непрерывная запись видеопотока в память ПК или в файл на жесткий диск, чтение, просмотр и преобразование записанных данных.
Регистрация движений зрачка в ИК свете, направленном под углом к оптической оси камеры, основана на эффекте «темного зрачка», когда вторичное отражение от сетчатки глаза не поступает в камеру. Отображение зрачка на кадре является, как правило, самой затемненной областью, интенсивность пикселей в которой меньше, чем интенсивность пикселей в других частях кадра. Наиболее распространенное и простое определение центра положения зрачка сводится к усреднению х и у координат пикселей, интенсивность которых не превышает заранее выбранного порогового значения. Заметим, что точность этого метода ограничена наличием светодиодных бликов подсветки на роговице глаза, так как положение этих бликов может совпадать с положением зрачка. Кроме того, на точность могут влиять области с еще большим затемнением (ресницы, затемнения у краев кадра и др.). С другой стороны, результат зависит от выбора порога бинаризации изображения, а фиксированное значение порога делает этот метод практически неприменимым в режиме реального времени из-за изменений затемнения зрачка в процессе съемки.
Стандартное программное обеспечение камеры было дополнено автоматическим алгоритмом (фильтром) распознавания зрачка на изображении (Программное обеспечение для видео нистагмографии, электронный ресурс), изначально разработанным «Фаствидео» для медицинских систем видеонистагмографии на основе аналоговых ИК камер (Видео нистагмограф, электронный ресурс). Координаты зрачка на изображении определяются по его эллиптическому контуру, который является проекцией контура зрачка на плоскость сенсора камеры при любом направлении взора испытуемого. Заметим, что метод нечувствителен к бликам ИК подсветки и работает в случаях, когда зрачок частично прикрыт веками или ресницами (рисунок 1).
Рис. 1
В используемой нами версии алгоритм был в значительной степени переработан с целью увеличения производительности, что позволило применять его в режиме реального времени со 100 %-й эффективностью при частоте работы камеры 300 кадров в секунду и выше и размерах изображения от 320x240 до 640x480 пикселей. Измерения показали, что время, необходимое для выделения зрачка на кадре с размером 640x480 пикселей, не превышает 3 мс на ПК с процессором уровня Intel® Core™ i7-920 (2,66 ГГц).
Предельная точность определения центра эллиптической области оценивалась в модельном эксперименте с изображением черного круга на белом фоне. Было установлено, что при различных проекциях изображения на плоскость матрицы видеокамеры, координаты центра определяются с точностью лучшей, чем один пиксель сенсора, что соответствует предельной точности угла поворота глаза 0,5 градуса. Эта точность ограничена шумами матрицы, механическими колебаниями установки, стабильностью освещенности изображения, а также точностью работы выбранного алгоритма.
В наших измерениях камера, программа и фильтр настраиваются на непрерывную съемку и запись видео в файл. Временная привязка координат зрачка ведется от момента запуска камеры по порядковому номеру кадра с учетом периода следования кадров. Координаты, время и номера кадров передаются в программу VisualStimualtor по мере регистрации с помощью интерфейса межпроцессного взаимодействия mailslot (Центр разработки Windows, электронный ресурс).
Для анализа движений глаз нами было разработано оригинальное программное обеспечение VisualStimulator, использующее в качестве предъявляемых стимулов статические изображения (рисунки), динамические ряды (видеофайлы), а также имеющее возможность реализовывать захват экрана монитора, на котором происходит предъявление. Последний пункт может быть очень важен при решении задач, связанных с процессами навигации по сайтам, анализу расположения элементов на рабочем столе и т. д.
3
Работа выполнена при поддержке Российского фонда фундаментальных исследований (грант № 15-04-05745)