Meta Membuat Lanskap Virtual Terdengar Seperti Kehidupan Nyata

Meta Membuat Lanskap Virtual Terdengar Seperti Kehidupan Nyata. Meta dan sekelompok peneliti dari University of Texas di Austin (UT Austin) sedang bekerja untuk membawa audio realistis ke metaverse.

Seperti yang dijelaskan Kristen Garuman, Direktur Riset di Meta. Ada lebih banyak augmented dan virtual reality (AR dan VR) daripada sekadar visual. Audio memainkan peran yang sangat penting dalam membuat dunia terasa hidup. Garuman mengatakan “audio dibentuk oleh lingkungan tempat itu berada.” Ada berbagai faktor yang mempengaruhi bagaimana suara berperilaku seperti geometri ruangan, apa yang ada di ruangan tersebut, dan seberapa jauh seseorang dari sumbernya.

Untuk mencapai hal ini, rencana Meta adalah menggunakan kacamata AR untuk merekam audio dan video dari satu lokasi, kemudian menggunakan satu set tiga model AI, mengubah dan membersihkan rekaman sehingga terasa seperti terjadi di depan Anda saat Anda memutarnya kembali di rumah. AI akan mempertimbangkan ruangan tempat Anda berada sehingga dapat mencocokkan lingkungan.

Baca juga: Toko pakain Avatar Meta

Melihat proyek-proyek tersebut, tampaknya Meta berfokus pada kacamata AR. Rencana Meta untuk headset VR termasuk mereplikasi pemandangan dan suara lingkungan, seperti konser, sehingga rasanya seperti Anda berada di sana secara langsung.

Kami bertanya kepada Meta bagaimana orang dapat mendengarkan audio yang disempurnakan. Apakah orang akan membutuhkan sepasang headphone untuk mendengarkan atau akankah itu berasal dari headset? Kami tidak mendapat tanggapan.

Kami juga bertanya kepada Meta bagaimana pengembang bisa mendapatkan model AI ini. Mereka telah dibuat open source sehingga pengembang pihak ketiga dapat mengerjakan teknologinya.

Bagaimana system AI bekerja

Pertanyaannya adalah bagaimana Meta dapat merekam audio pada sepasang kacamata AR dan membuatnya mencerminkan pengaturan baru. menurut laporan stidaknya ada 3 teknologi AI yang akan bekerjasama yaitu:

Solusi pertama yaitu AViTAR yang merupakan “model Pencocokan Akustik Visual.” Ini adalah AI yang mengubah audio agar sesuai dengan lingkungan baru.

2. Visually-Informed Dereverberation

Untuk membantu membersihkan audio, ada Visually-Informed Dereverberation. Pada dasarnya, ini menghilangkan reverb yang mengganggu dari klip

3. VisualVoice

Model AI terakhir adalah VisualVoice, yang menggunakan kombinasi isyarat visual dan audio untuk memisahkan suara dari suara lainnya. Bayangkan merekam video dua orang berdebat. AI  akan mengisolasi satu suara sehingga Anda dapat memahaminya sambil membungkam yang lainnya.

Meta menjelaskan isyarat visual itu penting karena AI perlu melihat siapa yang berbicara untuk memahami nuansa tertentu dan tahu siapa yang berbicara.

Sehubungan dengan visual, Meta menyatakan bahwa mereka berencana untuk membawa video dan isyarat lain untuk lebih meningkatkan audio berbasis AI. Karena teknologi ini masih dalam pengembangan, belum ada kepastian kapan Meta akan membawa AI ini ke headset Quest di dekat Anda.

Demikian artikel tentang Meta Membuat Lanskap Virtual Terdengar Seperti Kehidupan Nyata. Semoga bermanfaat!