Построение оптического потока. То, что вы хотели знать про оптический поток, но стеснялись спросить Смотреть что такое "Оптический поток" в других словарях

Яркостные картинки движутся вместе с наблюдаемыми объектами. Оптическим потоком называется кажущееся движение яркостной картинки. В идеале оптический поток соответствует полю движения, однако мы покажем ниже, что это не всегда так.

Рис. 12.2. Оптический поток, не всегда совпадающий с полем движения. а - гладкая сфера вращается при постоянном освещении - изображение не изменяется, хотя поле движения ненулевое; б - неподвижная сфера освещается движущимся источником - распределение освещенности изображения меняется, хотя поле движения равно нулю.

Рассмотрим идеально однородную сферу, вращающуюся перед объективом зрительной системы (рис. 12.2, а). Так как поверхность криволинейна, на изображении сферы будут наблюдаться пространственные изменения яркости. Однако эта яркостная картина не движется вместе с поверхностью и изображение не меняется во времени. В данном случае всюду оптический поток равен нулю, хотя поле движения отлично от нуля. Теперь рассмотрим неподвижную сферу, освещенную движущимся источником света (рис. 12.2, б). Яркости на изображении меняются с движением источника. В этом случае оптический поток, очевидно, ненулевой, хотя поле движения всюду равно нулю. Зеркальные отражения и тени дают другие примеры, когда оптический поток не совпадает с полем движения.

Нам доступен только оптический поток, и мы будем исходить из предположения, что в обычном случае оптический поток не слишком сильно отличается от поля движения. Это позволяет нам оценивать относительное движение, исходя из изменения изображения во времени.

Что мы понимаем под кажущимся движением яркостной картины? Рассмотрим на изображении точку Р, имеющую яркость Е в момент (рис. 12.3). Какая точка Р изображения будет соответствовать ей в момент иными словами, как движется яркостная картина в этом временном интервале? Обычно в окрестности точки Р находится много

точек с одинаковой яркостью Е. Если в интересующей нас части изображения яркость изменяется непрерывно, то точка Р будет лежать на линии равной яркости С. В момент ей будет соответствовать линия равной яркости С с тем же значением Е. Однако каково соответствие между точками линий С и С? На этот вопрос ответить непросто, так как при движении форма этой линии обычно изменяется.

Таким образом, отметим, что оптический поток на изменяющемся изображении неоднозначно определяется локальной информацией. Поясним это еще одним примером. Рассмотрим участок однородной яркости на изображении, который не изменяется со временем. «Самым правдоподобным» в этом случае будет нулевой оптический поток. На самом же деле внутри однородного пятна мы можем приписать точкам любые скорости, какие хотим. Хотя, по-видимому, мы предпочли бы простейшее объяснение наблюдаемых изменений изображения (в данном случае отсутствие таких изменений).

Пусть - освещенность в точке изображения в момент времени . Тогда, если и у-компоненты вектора оптического потока в этой точке, можно ожидать, что освещенность будет той же самой в момент в точке где Иными словами, для малого интервала времени Этого единственного ограничения недостаточно для однозначного определения двух неизвестных и и V. Ясно также, что нам хотелось бы воспользоваться тем, что поле движения почти везде непрерывно.

Если яркость изменяется гладко по и то мы можем разложить левую часть уравнения в ряд Тейлора и отсюда получить

где в содержит члены высших порядков малости по начиная

Рис. 12.3. Кажущееся движение яркостной картины.

Непросто решить, какая точка Р на линии уровня яркости С второго изображения соответствует данной точке Р на линии уровня яркости С первого изображения.

Рис. 12.4. Локальная информация о градиенте яркости и скорости ее изменения во времени, накладывающая на компоненты вектора оптического потока лишь одно ограничение. Необходимо, чтобы скорость потока была направлена вдоль прямой линии, перпендикулярной направлению градиента яркости. Мы можем определить только компоненту, направленную вдоль градиента яркоспт Ничего неитвестно относительно компоненты скорости потока в перпендикулярном направлении.

со второго. Сократим разделим на и перейдем к пределу при Тогда получим

Оптический поток - это изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены. Алгоритмы, основанные на оптическом потоке, - такие как регистрация движения, сегментация объектов, кодирование движений и подсчет диспаритета в стерео, - используют это движение объектов, поверхностей и краев.

Оценка оптического потока

Методы, основанные на оптическом потоке, вычисляют движение между двумя кадрами, взятыми в момент времени и, в каждом пикселе. Эти методы называются дифференциальными, так как они основаны на приближении сигнала отрезкомряда Тейлора; таким образом, они используют частные производные по времени и пространственным координатам.

В случае размерности 2D+t (случаи большей размерности аналогичны) пиксель в позиции с интенсивностьюза один кадр будет перемещен на,и, и можно записать следующее уравнение:

Считая, что перемещение мало, и используя ряд Тейлора, получаем:

Из этих равенств следует:

отсюда получается, что

Компоненты скорости оптического потока в ,

Производные изображения в в соответствующих направлениях.

Таким образом:

Полученное уравнение содержит две неизвестных и не может быть однозначно разрешено. Данное обстоятельство известно как проблема апертуры. Задачу решает наложение дополнительных ограничений -регуляризация.

Методы определения оптического потока:

Фазовая корреляция - инверсия нормализованного перекрестного спектра.

Блочные методы - минимизация суммы квадратов или суммы модулей разностей

Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала:

Алгоритм Лукаса - Канаде - рассматриваются части изображения и аффинная модель движения

Horn–Schunck - минимизация функционала, описывающего отклонение от предположения о постоянстве яркости и гладкость получаемого векторного поля.

Buxton–Buxton - основан на модели движения границ объектов в последовательности изображений

Общие вариационные методы - модификации метода Horn-Schunck, использующие другие ограничения на данные и другие ограничения на гладкость.

Дискретные методы оптимизации - поисковое пространство квантуется, затем каждому пикселю изображения ставится в соответствие метка таким образом, чтобы расстояние между последовательными кадрами было минимальным. Оптимальное решение часто ищется с помощью алгоритмов нахождения минимального разреза и максимального потока в графе, линейного программирования или belief propagation.

Трекинг при помощи оптического потока часто применяется при использовании стационарных камер, таких как камеры в аэропортах или зданиях, а также стационарные камеры-видеорегистраторы.

В данной работе был использован метод с использованием алгоритма Лукаса-Канаде (рис. 4-6)

Рис. 4 Основное окно модели

Рис. 5 Блоки модели

Рис. 6 Результат работы модели

Данная модель использует метод оценки оптического потока, чтобы определить векторы движения в каждом кадре видеофайла. Путём ограничения и морфологического приближения векторов движения, модель создает бинарные изображения признаков. Модель находит машину в каждом бинарном изображении через блок «Blob Analysis». Затем блок «Draw Shapes» чертит зелёный прямоугольник вокруг машин, которые проходят через белую линию.

Недостаток метода заключается в том, что камера должна быть неподвижна, иначе результат распознавания и трекинга становится непредсказуемым.

Построение оптического потока традиционно рассматривается как процедура оценки яркостно-геометрических изменений между настоящим (текущим) и предыдущим кадрами. Движение объектов перед неподвижной камерой, также как и движение камеры в окружающей обстановке приводят к соответствующим изменениям на изображении. Кажущееся движение видимого поля (двумерного распределения яркости), наблюдаемое при движении камеры относительно изображаемых объектов или объектов относительно камеры, называется оптическим потоком. Определим поле движения, приписав каждой точке изображения вектор скорости. В некоторый выбранный момент времени точка на изображении соответствует некоторой точке на поверхности объекта. Эти две точки связаны уравнениями проектирования. Точка объекта перемещается относительно камеры со скоростью. Это порождает движение соответствующей точки изображения. За время точка перемещается на расстояние, а ее изображение - на расстояние (см. рис. 1).

Рис. 1.

Яркостные распределения движутся вместе с наблюдаемыми объектами. Оптическим потоком, как уже упоминалось ранее, называется кажущееся движение яркостной картины. В идеале оптический поток соответствует определенному ранее полю движения, однако, на практике это не всегда так.

Пусть теперь - яркость пикселя в точке изображения в момент времени. Тогда, если и - и компоненты вектора оптического потока в этой точке, то можно ожидать, что

Сократим на в левой и правой частях, разделим на и перейдем к пределу при. Получим

Производные легко получить из изображения с помощью численных аппроксимаций производных конечными разностями

Перепишем (4) в виде

Здесь область - область, в которой ищется оптический поток. Значение коэффициента определяет уровень значимости сглаживающей части функционала (11). Заметим, что в литературе предложения по выбору значения различаются кардинально. Например, в книге предлагается выбирать данную константу равной, в книге - равной.

Задача минимизации функционала (6) решается при помощи итеративной процедуры (7)-(8). Минимизирующая функционал (6) последовательность скоростей имеет вид:

Здесь индекс показывает номер текущей итерации, - индексы текущего узла сетки.

Итерационный процесс заканчивается, когда невязка (9) между двумя последовательными итерациями будет меньше заранее заданного числа:

Однако данное условие достаточно неудобно использовать в явном виде в силу значительных вычислительных затрат на его подсчет при необходимости его проверки на каждой итерации. В связи с этим обычно используют фиксированное число итераций. Например, в работах и предлагается использовать. На практике для изображений с хорошей контрастностью объекта достаточно - итераций. Использование существенно большего числа итераций может привести к появлению ошибочных ненулевых скоростей в тех областях, где поле скоростей на самом деле равно нулю. В частности, это происходит в тех случаях, когда два различных объекта движутся на небольшом расстоянии друг от друга. Поле скоростей между ними на самом деле равно нулю, но оптический поток, вычисленный при большом числе итераций, может быть ненулевым в силу предположения о непрерывности движения.

Оптический поток также может оказаться равным нулю там, где поле скоростей не равно нулю. Такой случай, например, встречается при перемещении объекта, характеризующегося постоянной яркостью по всей площади занимаемой области изображения. В данном случае оптический поток, вычисленный на границе объекта, будет ненулевым, а вычисленный в центре объекта будет близок к нулю, в то время истинное как поле скоростей должно быть одинаково на всей поверхности объекта. Данная проблема называется «проблемой апертуры».

Производные яркости изображения предлагается считать следующим образом:

Здесь используется сеточная аппроксимация производных. Индекс показывает номер текущего кадра, - индексы текущего узла сетки. Вариации и при подсчете частных производных (10) можно выбирать любыми. Обычно используется сетка с

Теперь, подставив частные производные (10) и средние скорости (8) в итерационный процесс (7) с начальными условиями, для всех из области, легко найти скорости всех точек сетки на наблюдаемых кадрах видеопоследовательности.

Описанная вычислительная схема следует традиционным методам оценки оптического потока. Однако проведенные эксперименты на большом объеме реальных видеозаписей показали, что при работе алгоритмов анализа оптических потоков непосредственно по исходным цифровым полутоновым изображениям качество выходных данных подобных алгоритмов является недостаточно высоким из-за существенного влияния шума и других помех на качество детектирования объектов. В связи с этим в данной работе предлагается в качестве процедуры предобработки видеоданных использовать специальную разностно-накопительную процедуру, описанную в следующем разделе. Смысл этой процедуры заключается в робастном предварительным выделении контуров движущихся объектов, по которым затем вычисляется оценка оптических потоков, используемая на этапе формирования гипотез и прослеживания движущихся объектов.

Это представление видимого следа движения объектов, поверхностей и граней визуальной сцены, наблюдается при относительного движения между наблюдателем (например, глаз человека или камера) и сцены.

Понятие оптического потока была предложенное американским психологом Джеймсом Дж. Гибсоном в 1940-х годах для описания визуального стимула (сигнала), что возникает у животных, которые движутся в пространстве относительно окружающей среды.

Джеймс Гибсон подчеркивал важность оптического потока для возможности восприятия, способность различать ограничения и возможности для действий в окружающей обстановке. Последователи робот Гибсона и его экологического подхода к психологии впоследствии смогли показать роль стимула оптического потока для восприятия движения наблюдателя относительно окружающего мира; восприятие формы, дистанции и движения окружающих объектов; и контроль передвижения.

Недавно оптического потока срок был кооптированы робототехники включить соответствующие приемы по обработке изображений и контроля навигационного, такие как обнаружение движения, объектов сегментации, время-контактную информацию, фокус расчетов расширения, яркости, с компенсацией движения кодирования, и стерео несоответствие измерений.

С недавнего времени срок оптического потока был кооптирован роботицистамы, чтобы включить в это понятие соответствующие приемы по обработке изображений и навигационного контроля, такого как детект движения, сегментация объектов, информация о времени до столкновения (контакта), расчет фокуса расширения (focus of expansion), яркость, кодирование с компенсацией движения и измерения стерео диспаратности.

Расчет

Последовательность из упорядоченных изображений позволяет оценить движение, или в виде мгновенных скоростей изображение, или в виде дискретных величин смещения изображения. Есть материалы в виде урока по методу оптического потока на основе градиентов. Также исследователи проводили анализ сравнения различных техник оптического потока, анализируют точность и частоту измерений.

Методы расчета оптического движения пытаются оценить движение между двумя кадрами изображения, видносятся к моментам времени t и в каждой позиции вокселя. Такие методы называются дифференциальными, так как они основаны на локальных оценках ряда Тейлора для сигнала изображения то есть они используют частные производные по пространственным и временным координатам.

Для случая размерности 2D + t (так же и для 3D или n -D случаев) расположение вокселя с интенсивностью, который будет двигаться на, и между двумя кадрами изображения, и с последующим ограничением постоянства яркости (brightness constancy constraint) можно записать:

Считая, что движение было незначительное, рассчитывая приближения изображения в с помощью рядов Тейлора можно получить:

… (Члены высшего порядка)

Из этих уравнений следует, что:

в результате чего

где это компоненты и скорости или оптического потока и, и являются производными для изображения в в соответствующих направлениях. И далее могут быть записаны для производных.

Таким образом:

Это уравнение с двумя неизвестными, как таковое не может быть решен. Это известно как проблема апертуры (диафрагмы) алгоритма оптического потока. Для расчета оптического потока необходимо другой набор уравнений, задаваемых некоторыми дополнительными условиями. Все методы расчета оптического потока вводят дополнительные условия для оценки фактического потока.

Датчик оптического потока

Сенсор оптического потока это датчик зрения способен измерять оптический поток или визуальный движение и выдавать результат измерения на основе оптического потока. Существует много различных конфигураций таких сенсоров. Это может быть датчик изображения соединен с процессором, на котором выполняется запрограммирован алгоритм оптического потока. Другая конфигурация использует зрительный чип, выполненный в виде интегральной схемы, содержащей и матрица и процессор в одном кристалле, в виде компактного устройства. Примером этого является обычный датчик оптической мыши используется в оптических мышах. В некоторых случаях используются могут используются вычислительные схемы с использованием аналоговых схем со смешанными сигналами, для быстрых расчетов оптического потока при минимальном потреблении тока.

Одной из сфер современных исследований является использование техники нейроморфнои инженерии для реализации схем, которые воспринимают оптический поток, и таким образом могут быть использованы в качестве оптического датчика. Такие схемы черпают идеи из биологических нейронных сетей, и по схожему принципу воспринимают оптический поток.

Изображения по теме

Пожалуйста, оформите её согласно правилам оформления статей.

Оптический поток - это изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены. Алгоритмы, основанные на оптическом потоке, - такие как регистрация движения, сегментация объектов, кодирование движений и подсчет диспаритета в стерео, - используют это движение объектов, поверхностей и краев.

Оценка оптического потока

Последовательности упорядоченных изображений позволяют оценивать движение либо как мгновенную скорость изображения, либо как дискретное смещение . Fleet и Weiss составили учебный курс по градиентному методу оценки оптического потока .

Анализ методов вычисления оптического потока проведен в работе John L. Barron, David J. Fleet и Steven Beauchemin. Они раccматривают методы как с точки зрения точности, так и с точки зрения плотности получаемого векторного поля.

Методы, основанные на оптическом потоке, вычисляют движение между двумя кадрами, взятыми в момент времени и , в каждом пикселе. Эти методы называются дифференциальными, так как они основаны на приближении сигнала отрезком ряда Тейлора ; таким образом, они используют частные производные по времени и пространственным координатам.

В случае размерности 2D+t (случаи большей размерности аналогичны) пиксель в позиции с интенсивностью за один кадр будет перемещен на , и , и можно записать следующее уравнение:

Считая, что перемещение мало, и используя ряд Тейлора, получаем:

.

Из этих равенств следует:

отсюда получается, что

- компоненты скорости оптического потока в ,
, , - производные изображения в в соответствующих направлениях.

Таким образом:

Полученное уравнение содержит две неизвестных и не может быть однозначно разрешено. Данное обстоятельство известно как проблема апертуры . Задачу решает наложение дополнительных ограничений - регуляризация .

Методы определения оптического потока

Использование оптического потока

Исследования оптического потока широко ведутся в областях сжатия видео и анализа движений. Алгоритмы оптического потока не только определяют поле потока, но и используют оптический поток при анализе трехмерной сущности и структуры сцены, а также 3D-движения объектов и наблюдателя относительно сцены.

Оптический поток используется в робототехнике при распознавании объектов, слежении за объектами, определении движения и при навигации робота.

Кроме того, оптический поток используется для изучения структуры объектов. Поскольку определение движения и создание карт структуры окружающей среды являются неотъемлемой частью животного (человеческого) зрения, то реализация этой врожденной способности средствами компьютера является неотъемлемой частью компьютерного зрения.

Представьте видеоролик из пяти кадров, в котором шар движется из нижнего левого угла в правый верхний. Методы нахождения движения могут определить, что на двумерной плоскости шар движется вверх и вправо и векторы, описывающие это движение, могут быть получены из последовательности кадров. При сжатии видео это правильное описание последовательности кадров. Однако в области компьютерного зрения без дополнительной информации нельзя сказать, движется ли шар вправо, а наблюдатель стоит на месте, или шар покоится, а наблюдатель движется влево.

См. также

Примечания

Ссылки

• DROP: (Windows Interface) Dense Optical Flow Estimation Freeware Software Using Discrete Optimization.
• The French Aerospace Lab: GPU implementation of a Lucas-Kanade based optical flow

Wikimedia Foundation . 2010 .

• Оптические расходомеры
• Оптическое волокно с двойным покрытием

Смотреть что такое "Оптический поток" в других словарях:

Оптический элемент - оптическая система, позволяющая получить световозвращающее отражение. Примечание Различают следующие типы оптических элементов: плоскогранные, шаровые и пленочные. Источник … Словарь-справочник терминов нормативно-технической документации

оптический коэффициент полезного действия светового прибора - Коэффициент полезного действия светового прибора, рассчитанный по отношению к номинальному световому потоку лампы (ламп) без учета влияния окружающей среды, теплового режима и положения светового прибора на световой поток лампы (ламп). [ГОСТ… … Справочник технического переводчика

Оптический пинцет - Схема использования оптического пинцета в изучении РНК полимеразы Оптический пинцет (англ. … Википедия

ЭЛЕКТРОННО-ОПТИЧЕСКИЙ ПРЕОБРАЗОВАТЕЛЬ - (ЭОП), вакуумный фотоэлектронный прибор для преобразования невидимого глазом изображения объекта (в ИК, УФ и рентг. лучах) в видимое либо для усиления яркости видимого изображения. В основе действия ЭОП лежит преобразование оптич. или рентг.… … Физическая энциклопедия

Lucas–Kanade - Алгоритм Лукаса Канаде широко используемый в компьютерном зрении дифференциальный локальный метод вычисления оптического потока. Как известно, основное уравнение оптического потока содержит две неизвестных и не может быть однозначно разрешено.… … Википедия

Алгоритм Лукаса - Канаде широко используемый в компьютерном зрении дифференциальный локальный метод вычисления оптического потока. Основное уравнение оптического потока содержит две неизвестных и не может быть однозначно разрешено. Алгоритм Лукаса Канаде обходит… … Википедия

OpenCV - Тип компьютерное зрение Автор … Википедия

Трекинг (компьютерная графика) - У этого термина существуют и другие значения, см. Трекинг (значения). Трекингом называется определение местоположения движущегося объекта (нескольких объектов) во времени с помощью камеры. Алгоритм анализирует кадры видео и выдает положение… … Википедия