Kamera satu piksel yang lebih cepat: Teknik baru sangat mengurangi jumlah eksposur yang diperlukan untuk 'pencitraan tanpa lensa'

Suspense: Eve (Juni 2019).

Anonim

Compressed sensing adalah teknik komputasi baru yang menarik untuk mengekstraksi sejumlah besar informasi dari sinyal. Dalam satu demonstrasi profil tinggi, misalnya, para peneliti di Universitas Rice membangun kamera yang dapat menghasilkan gambar 2-D hanya menggunakan satu sensor cahaya daripada jutaan sensor cahaya yang ditemukan di kamera komoditas.

Tetapi menggunakan penginderaan terkompresi untuk akuisisi gambar tidak efisien: Bahwa "kamera piksel tunggal" membutuhkan ribuan eksposur untuk menghasilkan gambar yang cukup jelas. Melaporkan hasil mereka dalam jurnal IEEE Transactions on Computational Imaging, peneliti dari MIT Media Lab sekarang menggambarkan teknik baru yang membuat akuisisi citra menggunakan penginderaan terkompresi 50 kali lebih efisien. Dalam kasus kamera piksel tunggal, itu bisa mendapatkan jumlah eksposur turun dari ribuan ke lusinan.

Salah satu aspek menarik dari sistem pencitraan penginderaan terkompresi adalah bahwa, tidak seperti kamera konvensional, mereka tidak memerlukan lensa. Itu bisa membuat mereka berguna dalam lingkungan yang keras atau dalam aplikasi yang menggunakan panjang gelombang cahaya di luar spektrum yang terlihat. Menyingkirkan lensa membuka prospek baru untuk desain sistem pencitraan.

"Sebelumnya, pencitraan membutuhkan lensa, dan lensa akan memetakan piksel di ruang angkasa untuk sensor dalam array, dengan semuanya terstruktur dan direkayasa, " kata Guy Satat, seorang mahasiswa pascasarjana di Media Lab dan penulis pertama pada kertas baru. "Dengan pencitraan komputasi, kami mulai bertanya: Apakah lensa diperlukan? Apakah sensor harus menjadi array terstruktur? Berapa banyak piksel yang harus dimiliki sensor? Apakah satu piksel cukup? Pertanyaan-pertanyaan ini pada dasarnya memecah ide dasar dari apa yang adalah fakta bahwa hanya satu piksel yang diperlukan dan lensa tidak lagi diperlukan untuk merelaksasi kendala desain utama, dan memungkinkan pengembangan sistem pencitraan baru. Menggunakan penginderaan ultra cepat membuat pengukuran secara signifikan lebih efisien. "

Aplikasi rekursif

Salah satu rekan penulis Satat di koran baru adalah penasihat tesisnya, profesor seni media dan ilmu pengetahuan Ramesh Raskar. Seperti banyak proyek dari kelompok Raskar, teknik kompresi-penginderaan baru tergantung pada pencitraan waktu-penerbangan, di mana ledakan cahaya pendek diproyeksikan ke dalam sebuah pemandangan, dan sensor ultra-cepat mengukur berapa lama cahaya diperlukan untuk memantulkan kembali.

Teknik ini menggunakan pencitraan waktu-penerbangan, tetapi agak melingkar, salah satu aplikasi potensinya adalah meningkatkan kinerja kamera time-of-flight. Dengan demikian dapat berimplikasi pada sejumlah proyek lain dari kelompok Raskar, seperti kamera yang dapat melihat di sekitar sudut dan sistem pencitraan cahaya tampak untuk diagnosis medis dan navigasi kendaraan.

Banyak sistem prototipe dari kelompok Budaya Kamera Raskar di Media Lab telah menggunakan kamera waktu-penerbangan yang disebut kamera beruntun, yang mahal dan sulit digunakan: Mereka hanya menangkap satu baris piksel gambar pada satu waktu. Tetapi beberapa tahun terakhir telah melihat munculnya kamera komersial waktu-penerbangan yang disebut SPADs, untuk dioda single-foton avalanche.

Meskipun tidak secepat kamera beruntun, SPAD masih cukup cepat untuk banyak aplikasi waktu-penerbangan, dan mereka dapat menangkap gambar 2-D penuh dalam satu eksposur. Selanjutnya, sensor mereka dibangun menggunakan teknik manufaktur yang umum dalam industri chip komputer, sehingga mereka harus hemat biaya untuk memproduksi massal.

Dengan SPAD, elektronik yang diperlukan untuk menggerakkan setiap piksel sensor mengambil begitu banyak ruang sehingga piksel akhirnya berjauhan satu sama lain pada chip sensor. Dalam kamera konvensional, ini membatasi resolusi. Tetapi dengan penginderaan terkompresi, itu benar-benar meningkatkannya.

Mendapatkan jarak tertentu

Alasan kamera piksel tunggal dapat dilakukan dengan satu sensor cahaya adalah cahaya yang menyerangnya berpola. Salah satu cara untuk memola cahaya adalah dengan meletakkan filter, seperti kotak hitam-putih acak, di depan flash yang menerangi pemandangan. Cara lain adalah memantulkan cahaya kembali dari array mikromirrors kecil, beberapa di antaranya ditujukan pada sensor cahaya dan beberapa di antaranya tidak.

Sensor hanya menghasilkan satu pengukuran — intensitas kumulatif dari cahaya yang masuk. Tetapi jika mengulang pengukuran cukup banyak, dan jika cahaya memiliki pola yang berbeda setiap kali, perangkat lunak dapat menyimpulkan intensitas cahaya yang dipantulkan dari titik-titik individual dalam adegan.

Kamera piksel tunggal adalah demonstrasi yang ramah-media, tetapi pada kenyataannya, penginderaan terkompresi bekerja lebih baik dengan lebih banyak piksel yang dimiliki sensor. Dan semakin jauh pikselnya, semakin sedikit redundansi yang ada dalam pengukuran yang mereka buat, banyak cara Anda melihat lebih banyak adegan visual sebelum Anda jika Anda mengambil dua langkah ke kanan bukan satu. Dan, tentu saja, semakin banyak pengukuran yang dilakukan sensor, semakin tinggi resolusi citra yang direkonstruksi.

Skala ekonomi

Pencitraan waktu penerbangan pada dasarnya mengubah satu pengukuran — dengan satu pola cahaya — menjadi lusinan pengukuran, dipisahkan oleh seperdil detik. Selain itu, masing-masing pengukuran hanya berkoresponden dengan subset piksel pada gambar akhir — yang menggambarkan objek pada jarak yang sama. Itu berarti ada sedikit informasi untuk memecahkan kode di setiap pengukuran.

Dalam makalah mereka, Satat, Raskar, dan Matthew Tancik, seorang mahasiswa pascasarjana MIT di bidang teknik elektro dan ilmu komputer, menyajikan analisis teoritis dari penginderaan terkompresi yang menggunakan informasi waktu-penerbangan. Analisis mereka menunjukkan seberapa efisien teknik tersebut dapat mengekstraksi informasi tentang adegan visual, pada resolusi yang berbeda dan dengan jumlah sensor dan jarak yang berbeda di antara mereka.

Mereka juga menjelaskan prosedur untuk menghitung pola cahaya yang meminimalkan jumlah eksposur. Dan, dengan menggunakan data sintetik, mereka membandingkan kinerja algoritma rekonstruksi mereka dengan algoritma kompresi terkompresi yang ada. Namun dalam pekerjaan yang sedang berlangsung, mereka mengembangkan prototipe sistem sehingga mereka dapat menguji algoritma mereka pada data nyata.

menu
menu