Jon Favreau Golem Creations bekerja sama dengan Industrial Light & Magic (ILM) berkolaborasi dengan Epic Games menampilkan bentuk baru produksi virtual dalam The Mandalorian. Di Bagian 1 ini, Richard Bluff sebagai Visual Effects Supervisor akan berbicara tentang pelajaran yang didapat dalam memproduksi The Mandalorian. ILM bersama dengan mitra produksi teknologi Fuse, Lux Machina, Profile Studios, NVIDIA, dan ARRI, tim mengembangkan tahap surround real-time baru. Di Bagian 2 dari tulisan ini, akan membahas beberapa sejarah dan teknologi utama yang diperlukan untuk membangun panggung seperti itu, dengan tim dari Epic Games.

Tahap produksi baru dan alur kerja virtual memungkinkan pembuat film untuk menangkap sejumlah besar efek visual kompleks yang ditangkap dalam kamera menggunakan teknologi game engine real time dan layar LED di sekitarnya. Pendekatan ini memungkinkan lanskap dan set foto digital real-life yang dinamis ditampilkan selama pembuatan film, secara dramatis mengurangi kebutuhan akan background layar hijau dan menghasilkan gaya kerja yang mendekati teknologi 'Holo-deck'. Prosesnya kerja menggunakan film kamera mono dan dapat secara dinamis memperbarui latar belakang agar sesuai dengan perspektif dan paralaks yang akan direkam kamera secara real life. Untuk melakukan ini, tahap LED perlu bekerja dalam kombinasi dengan volume penangkapan gerakan yang mengetahui di mana kamera berada dan bagaimana kamera bergerak. Sementara teknologi ini menghasilkan visual yang menakjubkan untuk Disney+ The Mandalorian, ILM membuat solusi produksi virtual end-to-end baru, ILM StageCraft, tersedia untuk digunakan oleh pembuat film, agensi, dan showrunner di seluruh dunia.

Lebih dari 50 persen The Mandalorian Musim 1 difilmkan menggunakan metodologi baru ini, menghilangkan sepenuhnya kebutuhan akan pemotretan lokasi. Sebaliknya, para aktor di The Mandalorian tampil di dinding dan langit-langit video LED setengah lingkaran, setinggi 20' setinggi 270 derajat dengan ruang pertunjukan berdiameter 75', di mana set piece praktis digabungkan dengan ekstensi digital di layar. Lingkungan 3D digital yang dibuat oleh ILM diputar ulang secara interaktif di dinding LED, diedit secara real-time selama pemotretan, memungkinkan pelacakan pixel-accurate dan perspektif citra 3D yang benar, ditampilkan pada resolusi tinggi melalui sistem yang didukung oleh GPU NVIDIA. Lingkungan diterangi dan dirender dari perspektif kamera untuk memberikan paralaks secara real-time, dengan cahaya interaktif yang akurat dari layar LED yang menerangi para aktor dan set praktis di dalam panggung.

;

Jon Favreau dan sinematografer Greig Fraser sebagai perintis dalam pengambilan gambar dan membantu mengembangkan sistem. Episode yang tersisa kemudian memiliki Barry "Baz" Idoine sebagai DOP. Seiring dengan daftar sutradara serial yang mengesankan, produksi mengubah alur kerjanya untuk membuat lebih banyak keputusan dan kemudian mampu membuat pilihan kreatif yang konkret dalam menentukan efek visual selama pengambilan gambar, mencapai komposit kamera secara real-time, dengan game engine yang menyediakan ‘final pixels’. Jika tidak memungkinkan untuk memotret latar belakang dalam kamera, tim ILM akan mengganti langsung bagian LED dengan 3D tradisional tetapi tetap menghindari banyak masalah layar hijau, seperti masalah spill green dan contact lighting yang buruk di layar.

Dibandingkan dengan green screen stage tradisional, LED walls memberikan sorotan, pantulan, dan ping yang tepat dari Mandalorian reflective suit. Ini sama sekali tidak ada dalam prinsip fotografi jika memotret dengan cara kuno.

Teknologi dan alur kerja yang diperlukan untuk membuat pengomposisian dan efek in-camera yang praktis untuk tempat penggabungkan mitra berbakat seperti Golem Creations, Fuse, Lux Machina, Profile Studios, dan ARRI bersama dengan platform pembuatan film produksi virtual StageCraft ILM dan real-world interactivity time dari platform Unreal Engine (UE4).

Greef Karga (Carl Weathers) and The Mandalorian discuss the scene inside the StageCraft Volume with Director Deborah Chow

“Kami telah bereksperimen dengan teknologi ini pada proyek saya sebelumnya dan akhirnya dapat menyatukan kelompok dengan perspektif berbeda untuk mensinergikan kemajuan film dan game dan menguji batas rendering dalam kamera secara real-time,” jelas Jon Favreau menambahkan, “Kami bangga dengan apa yang telah dicapai dan merasa bahwa sistem yang kami bangun adalah cara paling efisien untuk menghidupkan The Mandalorian.”

“Menggabungkan upaya kami di ruang angkasa dengan apa yang telah dikerjakan Jon Favreau menggunakan realitas virtual dan teknologi mesin permainan dalam pembuatan filmnya akhirnya memberi kami kesempatan untuk mengeksekusi visi tersebut,” kata Rob Bredow, Direktur Kreatif Eksekutif dan Kepala ILM. “StageCraft telah berkembang dari kulminasi lebih dari satu dekade inovasi dalam ruang produksi virtual di ILM. Melihat perangkat digital kami sepenuhnya terintegrasi, secara real-time di atas panggung memberikan jenis bidikan dalam kamera yang selalu kami impikan sambil juga menyediakan sebagian besar pencahayaan benar-benar mimpi yang menjadi kenyataan.”

Richard Bluff, Pengawas Efek Visual berkomentar, “bekerja dengan Kim Libreri dan tim Unreal-nya, Golem Creations, dan tim StageCraft ILM telah membuka jalan baru bagi pembuat film dan rekan kreatif utama saya di The Mandalorian, memungkinkan kami untuk memotret fotografi utama di fotoreal, set virtual yang tidak dapat dibedakan dari rekan fisiknya sambil menggabungkan set piece fisik dan alat peraga yang diperlukan untuk interaksi. Ini benar-benar pengubah permainan.”

Series Creator and Executive Producer, Jon Favreau, and Visual Effects Supervisor, Richard Bluff, review a shot on the set of the series.

Lessons Learned

Richard Bluff dan ILM mendapat banyak pelajaran saat membuat film menggunakan pendekatan baru ini.

Set testing

Untuk setiap 'lokasi' ada panduan di set. Bahkan sebelum set dibuat siap produksi dan dioptimalkan untuk kinerja real-time, ILM akan membuat Lat-Long 360 dan memasangnya di set LED. Selama sesi tes makan siang ini, tim desain produksi juga akan membawa barang-barang praktis yang perlu dicocokkan. Ini kemudian akan ditindaklanjuti dengan penyesuaian pencahayaan yang lebih tepat pada hari di mana set akan digunakan untuk citra akhir dan pengambilan nyata.

Practical Sets: Mencocokan real dan virtual sets

Selama periode pra-pemotretan ini, ada banyak penyesuaian digital dan praktis yang diperlukan. Kumpulan gabungan pertama tidak hanya memungkinkan untuk memblokir tetapi juga waktu bagi departemen seni praktis untuk mengecat ulang alat peraga jika perlu. Menyesuaikan warna itu rumit. Karena perangkat praktis diterangi oleh perangkat LED virtual, pencocokan warna hampir menjadi masalah ayam dan telur. Jika bagian dari kapal itu nyata dan sebagian digital, menyesuaikan warna digital akan mempengaruhi cahaya yang dilemparkan ke kapal parsial yang sebenarnya. Jika warnanya tidak cocok, terkadang lebih mudah untuk mengecat ulang perangkat, mengetahui bagaimana tampilannya akan terlihat bermandikan cahaya versi digital daripada menyesuaikan warna perangkat digital dan dengan demikian juga mengubah pencahayaan yang jatuh pada bagian praktis. Menyesuaikan digital saja dapat mencemari cahaya yang jatuh pada alat peraga dan/atau aktor. "Biarkan saya memberi contoh," kata Bluff. “Bayangkan sebuah interior di mana Anda mendapatkan skylight masuk. Katakanlah sky/day light memiliki sedikit warna biru, namun jatuh di dinding berwarna hangat,” tambahnya. “Jika tiba-tiba dinding praktis kita menjadi lebih terang dan kita mulai mencerahkan dinding digital yang serasi agar sesuai, maka kita bisa mematahkan ilusi bahwa ada cahaya langit yang datang dan bahwa langitlah yang menyediakan pencahayaan itu”.

Director of Photography Greig Fraser lines up a shot inside the StageCraft Volume. (Inset) Final in-camera shot from the scene.

Volumetric 3D color correction.

Tim UE4 sejak awal mengembangkan bentuk koreksi warna baru yang dapat dianggap sebagai 'power window' berbentuk 3D spherical. Di dalam volume spherical, apa pun bisa disesuaikan. Sistem ini bekerja dengan spheres, bukan circles, karena bekerja dalam tiga dimensi penuh dunia UE4. Volume juga dapat diperhalus atau diperhalus untuk memudahkan atau menghilangkan efek koreksi warna masuk dan keluar dari ruang yang diinginkan. Koreksi warna volumetrik ini tidak perlu menjadi sphere yang tepat, dan dapat dikontrol secara interaktif dari iPad oleh seseorang di volume LED. Misalnya, jika bagian batuan di tengah tanah perlu lebih jenuh, operator dapat memilih objek, atau memindahkan volume koreksi warna kembali ke bagian 3D itu dan bagian mana pun dari objek apa pun dalam ruang volume dapat dinilai.

Mayfeld (Bill Burr) and Ranzar “Ran” Malk (Mark Boone Junior) walk through ‘The Roost’ hanger on their way to the Razorcrest

Practical Set Dressing: Props

Di dalam panggung, ada banyak alat peraga nyata. Kadang-kadang ini berlanjut ke dunia virtual layar atau barang serupa juga ada di dinding LED. Selain dapat mengoreksi warna objek, kru harus memperhitungkan gagasan 2D dari objek tersebut sebagai objek 'cahaya pantulan'. Bayangkan barisan tiang kuning cerah masing-masing berjarak cukup jauh, dengan satu di set dan sisanya membentang ke kejauhan.

Dalam adegan gantungan Mos Isley, ada pasir praktis di seluruh lantai praktis, yang kemudian juga berlanjut di 'set' virtual, memberikan ilusi gantungan yang jauh lebih besar. “Pada set praktis, kami memiliki tabung kuning dan merah ini untuk dressing set,” jelas Bluff. “Dan kami juga memiliki tabung merah dan kuning yang sama di dinding digital yang seharusnya 30 kaki di luar tempat pasir praktis berakhir. Tentu saja, itu terlihat dengan perspektif yang benar dari posisi kamera, dan karena itu tabung merah dan kuning itu tampak lebih kecil di layar. Namun kenyataannya, ketika Anda tidak melihat melalui lensa kamera, tabung merah dan kuning itu benar-benar berjarak 12 inci dari pasir di layar karena layarnya menempel tepat di lantai berpasir, ”jelasnya. “Saat layar LED memberikan semua pencahayaan ke perangkat praktis, Anda akan mendapatkan sumber cahaya merah dan kuning yang secara langsung menerangi pasir di depannya.” Dalam kenyataan kamera, tabung-tabung itu berjarak beberapa meter dari pasir itu, tetapi di lokasi syuting hanya berjarak enam hingga dua belas inci. Keuntungan dari set LED adalah bahwa itu adalah sumber pencahayaan untuk pertunjukan, daripada C berdiri dengan Kinoflos dan reflektor, tetapi "itu juga menjadi masalah karena itu adalah sumber pencahayaan," kata Bluff. Masalahnya di sini ditekankan oleh bidikan yang dilakukan di Tatooine dan pasirnya cerah serta memantulkan warna dari layar. Tim Mandalorian tidak memiliki masalah ini begitu terasa saat syuting dengan nada gelap di lantai, misalnya di aliran lahar Nevarro.

Use of real-time set extensions with set pieces on set filming. Note the darker tones avoiding unwanted bounce contamination.

(Taika Waititi, Gina Carano, and Carl Weathers.)

Lighting back into 3D

Sama seperti set asli yang diterangi oleh dinding LED, tim ILM harus memperhitungkan cara dunia 3D akan diterangi oleh cahaya yang memantul dari item set praktis. Objek besar pada perangkat praktis harus selalu memantulkan cahaya kembali ke bagian perangkat digital. Sebuah tabung kuning asli harus memantulkan cahaya kuning ke aset digital di dekatnya dan ini harus diperhitungkan oleh tim pencahayaan 3D. Oleh karena itu ILM harus selalu bekerja selaras dengan departemen seni. Ini sangat terlihat di Mos Eisley Cantina. Ini sebagian karena itu adalah set ikonik di dunia Star Wars dan juga karena alat peraga internal yang kompleks. “Kami harus sepenuhnya membangun semua yang muncul, di Cantina itu sendiri, termasuk bar itu sendiri, semua trim, minuman, dispenser, semua yang ada di tengah bar, karena semuanya adalah permukaan yang sangat reflektif” jelas Bluff . “Selain itu, semua meja, kursi, bilik, dan segala sesuatu di dalam lingkungan dibangun sepenuhnya dan kemudian tim di ILM di San Francisco mulai secara selektif mematikan kamera digital elemen-elemen yang tidak perlu kita lihat secara kasat mata, tetapi masih perlu memancarkan cahaya dan bayangan tidak langsung.”

HDRs

HDR yang ditangkap dengan SLR adalah landasan dari pekerjaan sehari-hari tim VFX yang ditetapkan. Tidak ada gunanya tim pencahayaan 3D ILM mendapatkan HDR dari set Mandalorian, karena set diterangi oleh lingkungan tim 3D itu sendiri. ILM harus menggunakan HDR pengganti dan tidak bergantung pada HDR yang berguna pada set.

Practical Sets Staging

Banyak set dibangun dengan bidang tanah yang ditinggikan dan penyangga untuk menyembunyikan titik sudut di bagian bawah layar LED di mana panel akan bertemu dengan lantai. Demikian pula, rumput atau batu praktis ditempatkan di tengah untuk memadukan transisi dan menyembunyikan garis jahitan di bagian bawah set.

Exterior Lighting and Shadows

Saat syuting di luar, sementara set LED menyediakan skydome yang sangat baik yang dapat diposisikan ulang menggunakan iPad secara interaktif, layar LED bertindak seperti softbox besar, dan bukan sumber penerangan titik. Bahkan dengan 1800 nits yang tinggi, para aktor tidak akan mendapatkan profil pencahayaan eksterior yang kuat yang akan menghasilkan bayangan tajam eksterior khas dari cahaya paralel (berasal dari matahari). Dengan demikian panggung dibuat sehingga panel LED dapat diangkat secara selektif dan lampu sorot tradisional tambahan dapat ditambahkan.

Atau, produksi sebenarnya difilmkan di luar di lokasi dekat panggung Manhattan Beach Studios, di mana departemen seni membangun berbagai set Mandalorian.

Cara Dune (Gina Carano) on the stage. (Inset) Final in-camera shot from the scene.

Cameras and Colour Response

Matthias Scharfenberg dari ILM dan timnya menguji kemampuan LED ROE Black Pearl BP2 dan mencocokkannya dengan sensitivitas warna dan reproduksi LF. Ini berarti bahwa pipa Mandalorian adalah kamera khusus untuk Alexa LF.

Audio

Karena bentuknya yang melengkung, permukaan yang keras dan langit-langit LED, panggung menjadi sangat keras dalam hal audio. Berdiri di titik-titik tertentu dalam ruang, akustik alami akan memungkinkan percakapan yang berjarak beberapa meter terdengar dengan mudah. Jadi set harus dijalankan dengan tenang tanpa suara asing atau obrolan dari kamera.

Depth of field

Untuk mengurangi pola moire, latar belakang sering kali dibidik sedikit lembut, yang menyebarkan kemungkinan pola yang akan memberikan dinding digital. Ini dapat dengan mudah dicapai dengan kombinasi pilihan lensa dan tingkat cahaya, namun, sebaliknya, tidak ada cara untuk menghilangkan pengaburan. Jika dinding tidak fokus karena terlalu dekat, namun citra digital akan jauh lebih jauh, dan dengan demikian dalam fokus, tidak ada cara untuk membuat citra kembali fokus. “Tidak ada trik sulap yang membantu masalah fokus ini, itu hanya tergantung pada pilihan yang dibuat oleh Greig Fraser dan Barry Baz Idoine dengan paket lensa,” komentar Bluff. Dalam hal ini, satu-satunya pilihan adalah mengganti rekaman LED digital dengan materi tajam dan fokus dalam pascaproduksi.

Moire Patterns

Jon Favreau ingin meniru film Star Wars asli dan tentu saja A New Hope Ep IV pada khususnya. Jadi, tujuannya bukanlah untuk menghasilkan citra yang terlalu tajam. Favreau dan Frazier menginginkan "tampilan lembut yang Anda dapatkan dari lensa Anamorphic yang kami lihat di tahun 70-an di acara kami," kata Bluff. Akibatnya, penurunan akan lebih besar, yang selalu akan membantu dengan potensi masalah lebih yang mungkin terlihat dengan layar LED.

Capture Volume sensors

Kamera Mandalorian dan alat peraga apa pun dapat dilacak oleh sistem penangkapan gerak kamera inframerah (IR) Profile Studios. Ini mengelilingi bagian atas dinding LED dan memantau penanda IR yang dipasang ke kamera produksi. Sensor profil fisik ini harus terlihat agar dapat melacak kamera. Tidak ada cara untuk menyembunyikan mereka di 'langit' dan dengan demikian mereka harus dihapus dalam pasca-produksi.

Latency and Lag

Sejak sistem Profile menerima informasi posisi kamera hingga rendering Unreal tentang posisi baru di dinding LED, ada sekitar 8 frame delay. Penundaan ini bisa sedikit lebih lama jika sinyal harus juga kemudian diumpankan kembali ke operator Steadicam. Untuk memungkinkan hal ini ketika tim sedang merender resolusi tinggi, patch khusus kamera di belakang aktor (menunjukkan paralaks yang benar dari sudut pandang kamera), tim akan benar-benar membuat patch berukuran 40% lebih besar. Margin kesalahan tambahan ini memberi ruang operator kamera untuk menggeser atau memiringkan dan tidak melihat tepi patch sebelum sistem dapat mengejar bidang pandang yang benar.

Real backgrounds & Miniatures

Looking upstairs from the second floor of the Hospital on Angel Island Photo:Jonathan Haeber (Not ILM/Mandalorian)

Tujuan dari efek visual, live atau post, adalah untuk membuat dunia tampak nyata, dan karena itu, Bluff telah merencanakan sejak awal bahwa jika memungkinkan, footage nyata harus digunakan di latar belakang. “Saya melihat-lihat arsip di sini di ILM dan mengambil gambar atau foto dari Tunisia, atau lokasi nyata lainnya di mana Star Wars diambil, seperti Greenland,” kenang Bluff. ILM kemudian membangun perpustakaan Mandalorian ini untuk digunakan oleh tim. Untuk menambah ini, tim membangun rekonstruksi fotogrametri penuh interior bangunan beton bekas dan kumuh di Pulau Angel di daerah Teluk California Utara.

ILM memotret ratusan bidikan dan membangun lingkungan 3D yang sangat detail dan bertekstur berat yang diekspor ke UE4. “Begitu kami melemparkannya ke layar LED dan kami bisa mengembalikan kamera dan membuat karakter berjalan dengan kamera dan secara efektif bergerak melalui pintu dan kami bisa melihat semua pergeseran cahaya yang benar, nah itu semacam momen 'Eureka' kami, ” kata Bluff. Ini meluas ke pembuatan miniatur dan membangun pano-sphere setelah memotretnya. “Dan itu bagi saya adalah ketika saya mulai berbicara dengan Jon tentang melupakan fakta bahwa ini menggunakan mesin permainan…mari kita bahkan membuat miniatur dengan mengetahui bahwa itu akan menjadi foto-nyata. Mari kita lakukan fotogrametri penuh pada miniatur dan kemudian masukkan ke dalam mesin game juga.”

One example of a miniature is the house in the fishing village which was photo-modeled and reconstructed in CG.

Matching Renders

Sementara 50% bidikan dapat dilakukan dalam kamera, itu masih menyisakan banyak bidikan yang harus dilakukan dengan saluran lingkungan ILM yang lebih tradisional. Lingkungan dalam kamera dirender di UE4, tetapi ILM merender lingkungan pipeline standar di V-Ray dan bukan di UE4, jadi ini harus cocok baik dalam hal kompleksitas visual tetapi juga warna, tekstur, dan fokus. Pipeline ILM adalah untuk memodelkan dalam 3DsMax atau Maya dan kemudian menelusuri citra dalam V-Ray.

VR scouting

Karena set harus dibangun sebelumnya secara digital dan akurat, ini memungkinkan pembuat film menggunakan aset untuk pengintaian kamera VR. Jon Favreau tentu saja sangat nyaman melakukan ini setelah menggunakan VR secara ekstensif di The Lion King. Ini juga memungkinkan tes rias dan pencahayaan yang sangat cepat untuk memoles detailnya dengan departemen seni virtual di bawah pengawasan Andrew L. Jones.

An endless magic-hour created for ‘The Mandalorian’ inside the StageCraft Volume in this shot with The Mandalorian and The Child, (Baby Yoda)

Tech Background

• Layar LED yang membentuk dinding lengkung menggunakan layar ROE Black Pearl BP2. Ini memiliki kecerahan maksimum 1.800 nits, yang sangat terang. Pada kecerahan puncak, dinding dapat menciptakan intensitas sekitar 168 footcandles, setara dengan f/8 3?4 pada 800 ISO, dengan asumsi kamera memotret pada 24 fps dengan rana standar 180 derajat. Ini berarti bahwa tingkat cahaya tidak menjadi masalah, dan seringkali produksi akan membuat LED turun secara signifikan dalam kecerahan, jauh dari kecerahan maksimumnya.

• The Mandalorian menggunakan lensa anamorphic Ultra Vista 1,65x full-frame Panavision. Tekanan anamorphic memungkinkan pemanfaatan penuh rasio aspek 1,44:1 dari LF untuk membuat rasio aspek asli 2,37:1, yang hanya sedikit dipangkas menjadi 2,39:1 untuk hasil akhir (lihat American Cinematographer Feb 2020).

• Panggungnya melengkung dan tingginya 20 kaki. Dinding video LED 180 derajat, terdiri dari 1.326 layar LED individu.

• Layar LED utama adalah latar belakang setengah lingkaran 270 derajat lengkap dengan langit-langit video LED. Ini menyediakan ruang pertunjukan berdiameter 75 untuk para aktor dan alat peraga.

• Pembukaan di panggung diperlukan untuk akses dan pembuatan film, tetapi ada dua panel datar gantung 18? x 20? yang terdiri dari 132 layar LED, dapat diturunkan ke tempatnya untuk melengkapi efek 360 derajat.

The Child (Baby Yoda) in The Mandalorian StageCraft volume. (Inset) Final in-camera shot from the scene.

• Panel menggunakan ruang warna linier agar senetral mungkin.

• Layar memiliki pitch piksel 2.84mm. Ini penting karena nada memengaruhi pola moire yang dapat terjadi saat merekam layar LED dalam bidikan. T-stop 2,3 dari Panavision Ultra Vistas Lens mirip dengan T-stop 0,8 di Super 35. Ini menghasilkan depth of field yang sangat dangkal, sehingga memaksa layar LED untuk sering kali tidak fokus. Produksi biasanya menggunakan lensa yang lebih panjang, biasanya lensa Ultra Vista 50mm, 65mm, 75mm, 100mm, 135mm, 150mm atau 180mm yang berkisar dari T2 hingga T2.8, dan DOP mengekspos bidikan di sekitar T2.5-T3.5.

• Onset ada 'Brain Bar', yang merupakan deretan workstation dan artis dari ILM, Unreal dan Profile yang mengontrol set dan volume motion capture.