Ada berbagai jenis sensor 3D dan Depth sensor kamera , yang dapat berbeda antara metode yang berbeda untuk memperoleh data nyata atau bagaimana data tersebut diproses untuk merepresentasikannya dengan cara yang nyaman. Sensor ini dapat bervariasi dalam banyak hal seperti metode akuisisi, resolusi, jangkauan, dll.

Salah satu elektronik konsumen pertama yang menggunakan Depth sensor kamera adalah Kinect generasi kedua dengan Microsoft XBOX One. Kamera digunakan untuk pelacakan gerak, dan beberapa smartphone digunakan Depth sensor kamera untuk tujuan yang sama hari ini. LG G8 ThinQ menggunakan Dept sensor kamera untuk melacak gerakan.

Mereka juga dapat digunakan untuk meningkatkan Augmented Reality, dengan menempatkan berbagai hal dalam adegan dengan cara yang lebih realistis.

Beberapa penawaran terbaru dari Samsung, termasuk Galaxy Note10, Galaxy S20+ dan Galaxy S20 Ultra juga menggunakan Depth sensor kamera sebagai kamera 3D, menawarkan pengukuran instan objek di layar.

 penginderaan kedalaman pada Kamera dan Fotografi

Penggunaan yang paling umum untuk  Penginderaan mendalam adalah agar  kamera dapat menawarkan keburaman latar belakang yang lebih baik dalam gambar. Fitur ini, sering disebut sebagai mode potret karena itulah nama yang digunakan Apple, sudah umum selama beberapa tahun, namun Depth sensor kamera membawanya ke level lain.

Awalnya, mode potret digunakan secara terpisah ,penginderaan kedalaman untuk membuat buram, dengan efek yang diterapkan setelah gambar diambil. DenganSensor kedalaman kamera, bagaimanapun, blur dapat diterapkan pada gambar secara real time.

Keuntungan utama lainnya untuk depth  kamera adalah kemampuan untuk memiliki peta 3D mendetail dari suatu pemandangan untuk membantu autofocus  juga.

Kamera penginderaan kedalaman juga memungkinkan alat berat untuk memahami lingkungan dalam tiga dimensi. Karena informasi yang lebih kaya yang diberikan oleh kamera kedalaman, mereka menjadi penting dalam aplikasi seperti robotika yang dipandu visi, inspeksi dan pemantauan. Data 3D kurang rentan terhadap gangguan lingkungan seperti perubahan kondisi cahaya. Dengan demikian, mesin menjadi lebih andal dan presisi saat melakukan tugas, seperti mengambil objek dan meletakkannya di tempat lain.

Bagaimana Kamera Mendeteksi Kedalaman?

Kamera Kedalaman Mendeteksi kedalaman menggunakan empat metode berbeda:

• Sensor Stereo

• Waktu penerbangan (Sensor Time of Flight (ToF))

• Cahaya Terstruktur

• Jangkauan Deteksi Cahaya

Sensor stereo

Sensor stereo mencoba meniru penglihatan manusia dengan menggunakan dua kamera yang menghadap pemandangan dengan jarak tertentu di antara keduanya (garis dasar, lihat Gambar 1). Gambar dari kamera ini diperoleh dan kemudian digunakan untuk melakukan ekstraksi dan pencocokan fitur visual (informasi visual yang relevan) untuk mendapatkan peta perbedaan antara tampilan kamera.

Informasi disparitas berbanding terbalik dengan kedalaman dan dapat dengan mudah digunakan untuk mendapatkan peta kedalaman. Ini juga berarti bahwa beberapa sensor jenis ini biasanya hanya bekerja di lingkungan yang kaya fitur dan mengalami masalah di lingkungan tanpa fitur (misalnya dinding putih). Namun, jenis sensor ini biasanya memungkinkan resolusi gambar kedalaman yang lebih besar daripada kamera lain.

Deteksi fitur dan penghitungan pencocokan ini dilakukan di dalam kamera, yang berarti metode ini biasanya membutuhkan lebih banyak daya pemrosesan daripada metode lainnya. Selain itu, jarak kerja stereo dibatasi oleh garis dasar antara kamera karena kesalahan meningkat secara kuadrat dengan jarak objek ke sensor. Aplikasi biasa memerlukan lingkungan dalam dan luar ruangan yang kaya fitur.

Gambar 1:Visi Stereo

Waktu penerbangan

Sensor Time of Flight (ToF) membanjiri pemandangan dengan cahaya dan menghitung kedalaman menggunakan waktu setiap foton untuk kembali ke sensor. Ini berarti bahwa setiap piksel terkait dengan satu berkas cahaya yang diproyeksikan oleh perangkat, yang memberikan lebih banyak kepadatan data, bayangan yang lebih sempit di belakang objek, dan kalibrasi yang lebih mudah (tidak ada pencocokan stereo).

Karena menggunakan proyeksi cahaya, sensor ini peka terhadap berbagai jenis permukaan, seperti permukaan yang sangat reflektif atau sangat gelap. Dalam kasus ini, data yang tidak valid biasanya muncul di gambar. Namun, mereka jauh lebih kuat untuk pencahayaan rendah atau kondisi redup daripada sensor stereo yang bergantung pada pencahayaan pemandangan. Sensor ini dapat digunakan baik di dalam maupun di luar ruangan.

Cahaya Terstruktur

Sensor structured light (SL), di sisi lain, menggunakan pola yang diketahui yang diproyeksikan oleh sensor IF ke pemandangan. Cara pola berubah bentuk digunakan untuk membuat peta kedalaman.

Jenis sensor ini tidak memerlukan sumber cahaya eksternal dan terutama digunakan di lingkungan dalam ruangan karena ketahanannya yang rendah terhadap sinar matahari karena gangguan dapat terjadi pada pola cahaya yang diproyeksikan.

Gambar 2: Ilustrasi Structured Light versus Time of Flight

Deteksi Cahaya dan Jangkauan (light detection and ranging (LiDAR)) 

Mirip dengan ToF tetapi dengan sensor pemindaian, deteksi cahaya dan jangkauan (LiDAR) lebih akurat daripada ToF karena menggunakan beberapa pulsa IR, sedangkan sensor ToF biasanya menggunakan satu pulsa cahaya untuk mendapatkan gambarnya. Dengan memetakan titik-per-titik lingkungan alih-alih semburan ke satu titik (seperti dalam ToF), noise keseluruhan untuk setiap titik berkurang, menghasilkan hasil yang lebih akurat. Selain itu, LiDAR biasanya dapat memperoleh pengukuran pada jarak yang lebih jauh daripada sensor ToF atau Stereo tradisional.

Namun, sensor LiDAR biasanya lebih mahal daripada sensor 3D lainnya dan, karena melakukan pemindaian, dapat dipengaruhi oleh lingkungan yang sangat dinamis .

Gambar 3: Pengoperasian Sensor LiDAR