Kamera hadir di setiap mobil self-driving, dan seringkali dalam jumlah besar. Tesla, misalnya, melengkapi mobilnya dengan"delapan kamera surround yang memberikan visibilitas 360 derajat di sekitar mobil hingga jarak 250 meter."

Kamera adalah kunci untuk berbagai tugas penting: pencarian jalur, estimasi kelengkungan jalan, deteksi dan klasifikasi rintangan, deteksi dan klasifikasi rambu lalu lintas, deteksi dan klasifikasi lampu lalu lintas, dan banyak lagi.

Faktanya, dalam dunia kendaraan otonom, visi komputer sering disebut sebagai "persepsi", karena kamera adalah alat utama (namun bukan satu-satunya) yang digunakan kendaraan untuk memahami lingkungannya.

Deteksi dan Klasifikasi

Beberapa tugas kamera berupa "deteksi dan klasifikasi". Keduanya diperlukan untuk memahami lingkungan. Lihat berapa banyak objek yang terdeteksi dan diklasifikasikan dalam neural network YOLO ini.

Komputer harus menemukan di mana objek berada dalam gambar kamera ("deteksi", atau kadang-kadang "lokalisasi") dan juga menentukan apa itu ("klasifikasi"). Dan komputer harus melakukan ini dengan cukup cepat untuk menyerahkan hasilnya ke sistem penggerak lainnya, sehingga komponen sistem lainnya dapat menggunakan data tersebut untuk mengambil keputusan.

Deep Learning

Dalam beberapa tahun terakhir, neural network dalam telah muncul sebagai pendekatan dominan untuk bekerja dengan kamera video dan gambar. Jaringan saraf ini belajar dari data. Misalnya, untuk mengajarkan jaringan saraf yang dalam seperti apa tanda berhenti itu, kami memberinya ribuan gambar tanda berhenti, dan secara bertahap "mempelajari". Sebaliknya, pendekatan yang lebih tradisional untuk visi komputer berfokus pada ruang warna, gradien, dan tepi pada gambar, wilayah yang diminati dalam gambar, dan teknik pembelajaran mesin lainnya untuk mengekstraksi "fitur" perantara dari gambar.

Jaringan saraf dalam sebagian besar lepas landas karena kemajuan dalam perangkat keras GPU. Unit pemrosesan grafis (GPU) dioptimalkan untuk melakukan banyak komputasi sekaligus, sedangkan CPU tradisional dioptimalkan untuk melakukan satu komputasi secepat mungkin. GPU sangat bagus dalam memperbarui semua piksel pada monitor Anda, dan mereka juga sangat bagus dalam memperbarui lapisan neuron buatan yang membentukDeep Neural Netwok.

Kemajuan dalam prosesor dan arsitektur jaringan saraf yang dalam telah membuat perusahaan perangkat keras seperti NVIDIA menjadi pemain kunci dalam ekosistem kendaraan otonom.

Kelemahan

Kamera memiliki banyak kelebihan, khususnya resolusi dan biaya. Tentu saja, mereka juga memiliki kelemahan. Secara khusus, kamera tidak pandai memperkirakan jarak, tinggi, dan kecepatan objek lain. Sistem kamera stereo membantu di bidang ini, dan pekerjaan menarik sedang dilakukan untuk melatih neural network untuk memperkirakan metrik ini. Konon, radar dan lidar tetap menjadi sensor dominan untuk mendeteksi pengukuran ini.

sumber https://www.linkedin.com/pulse/how-computer-vision-works-self-driving-cars-david-silver