Вычисление приведение 3

Раньше фотография ограничивалась плоскими двухмерными изображениями. Сегодня искусство и наука захвата изображений стимулируются оптикой, вычислениями и электроникой, а инженеры Корнелла работают над новейшими разработками в области трехмерных изображений.

Сурен Джаясурия, аспирант лаборатории Алеши Мольнара, доцента кафедры электротехники и вычислительной техники, разрабатывает 3D-камеру со специально разработанными датчиками изображения, которая может найти ранее невообразимые приложения, от умных автомобилей до медицинских изображений и потрясающих визуально изображений. компьютерная графика.

Датчики, состоящие из пикселей, которые могут определять как интенсивность, так и угол падения света, могут в цифровом виде перефокусировать фотографию после того, как изображение было сделано, получить различные виды перспективы сцены из одного снимка и вычислить карту глубины изображения.

В поддержку этой работы Джаясурия недавно получил стипендию Qualcomm Innovation Fellowship в размере 100 000 долларов США за совместное предложение с Ачутой Кадамби, аспирантом группы Camera Culture Рамеша Раскара в Массачусетском технологическом институте. Их предложение называется «Нанофотография: разработка вычислительного КМОП-датчика для трехмерных изображений».

«Что интересно в чувствительных к углу пикселях, так это то, что они являются инновациями со стороны детектора, помогая мотивировать новые приложения в компьютерной графике и зрении, где мы придаем нашим данным больше размерности за счет вычислений», — сказал Джаясурия. «Но с учетом того, как все масштабируется, благодаря закону Мура, [графическим процессорам] и параллельным вычислениям, вычисления становятся все меньшей и меньшей проблемой. Наступила эпоха больших данных. Теперь это больше похоже на то, какие данные мы представляем к этим алгоритмам, чтобы сделать их умнее?»

Другими словами, захват изображения – это уже не просто фотография. Речь идет о захвате изображения и использовании машинного обучения и вычислений для последующей обработки изображения в мгновение ока.

В рамках проекта Qualcomm они работают над датчиком глубины, основанным на методе формирования изображения под названием «время полета», который становится все более популярным и используется, в частности, в камерах Microsoft Kinect. Время полета изображения измеряет время, необходимое фотонам для отражения от объектов на сцене. Исследователи добавляют кодирование времени полета, чтобы их система визуализации могла визуализировать свет, проходящий через сцену, и заглядывать за углы. Захватывая свет в полете, исследователи могут создать камеру, которая будет эффективно работать со скоростью 1 миллиард кадров в секунду благодаря вычислениям постобработки.

Чувствительные к углу пиксельные датчики изображения изготавливаются по так называемому комплементарному металлооксидному полупроводниковому процессу (КМОП) — хорошо зарекомендовавшей себя технологии изготовления чипов. Это одно из преимуществ, которые Джаясурия привносит в проект; его советник Молнар имеет многолетний опыт разработки КМОП-чипов для визуализации, биомедицинских и радиочастотных приложений.

Проект Джаясурии и Кадамби стал одним из восьми победителей Qualcomm Fellowship из 146 претендентов. Они разделят приз в размере 100 000 долларов.

Получайте новости Корнелла прямо на свой почтовый ящик.