EgoRenderer: Merender Avatar Manusia dari Gambar Kamera Egosentris
Uncategorized

EgoRenderer: Merender Avatar Manusia dari Gambar Kamera Egosentris

Sebuah makalah baru-baru ini di arXiv.org mengusulkan untuk membuat avatar seluruh tubuh dengan penampilan dan gerakan realistis dari seseorang yang memakai kamera fisheye egosentris dari sudut pandang kamera eksternal yang sewenang-wenang. Ini memungkinkan aplikasi baru dalam analisis kinerja olahraga, perawatan kesehatan, atau realitas virtual.

Masker dimaksudkan untuk menggagalkan sistem pengenalan wajah, di International Spy Museum. Kredit gambar: Derek Bruff melalui Flickr, CC BY-NC 2.0

Pendekatan ini menggunakan sensor yang ringan dan ringkas dan sepenuhnya mobile, memungkinkan aktor untuk berkeliaran dengan bebas. Pendekatan ini menguraikan pipa rendering menjadi sintesis tekstur, konstruksi pose, dan terjemahan gambar saraf untuk memungkinkan tampilan yang sangat realistis dan transfer pose ke tampilan eksternal yang sewenang-wenang. Kumpulan data sintetis besar dan jaringan yang disesuaikan dengan pengaturan kamera dibuat untuk menyimpulkan korespondensi padat antara gambar input dan model tubuh parametrik yang mendasarinya.

Evaluasi kualitatif dan kuantitatif menunjukkan bahwa sistem yang diusulkan lebih baik digeneralisasikan ke sudut pandang dan pose baru daripada metode dasar.

Kami menghadirkan EgoRenderer, sebuah sistem untuk merender avatar saraf seluruh tubuh dari seseorang yang ditangkap oleh kamera fisheye egosentris yang dapat dikenakan yang dipasang pada topi atau headset VR. Sistem kami menampilkan pandangan baru yang fotorealistik dari aktor dan gerakannya dari lokasi kamera virtual yang berubah-ubah. Merender avatar seluruh tubuh dari gambar egosentris seperti itu datang dengan tantangan unik karena tampilan top-down dan distorsi besar. Kami mengatasi tantangan ini dengan menguraikan proses rendering menjadi beberapa langkah, termasuk sintesis tekstur, konstruksi pose, dan terjemahan gambar saraf. Untuk sintesis tekstur, kami mengusulkan Ego-DPNet, jaringan saraf yang menyimpulkan korespondensi padat antara gambar mata ikan input dan model tubuh parametrik yang mendasarinya, dan untuk mengekstrak tekstur dari input egosentris. Selain itu, untuk menyandikan tampilan dinamis, pendekatan kami juga mempelajari tumpukan tekstur implisit yang menangkap variasi tampilan mendetail di seluruh pose dan sudut pandang. Untuk pembuatan pose yang benar, pertama-tama kami memperkirakan pose tubuh dari pandangan egosentris menggunakan model parametrik. Kami kemudian mensintesis gambar pose sudut pandang bebas eksternal dengan memproyeksikan model parametrik ke sudut pandang target yang ditentukan pengguna. Kami selanjutnya menggabungkan gambar pose target dan tekstur menjadi gambar fitur gabungan, yang diubah menjadi gambar warna keluaran menggunakan jaringan terjemahan gambar saraf. Evaluasi eksperimental menunjukkan bahwa EgoRenderer mampu menghasilkan avatar sudut pandang bebas yang realistis dari seseorang yang memakai kamera egosentris. Perbandingan beberapa baseline menunjukkan keuntungan dari pendekatan kami.

Makalah penelitian: Hu, T., Sarkar, K., Liu, L., Zwicker, M., dan Theobalt, C., “EgoRenderer: Rendering Avatar Manusia dari Gambar Kamera Egosentris”, 2021. Tautan ke makalah: https://arxiv .org/abs/2111.12685

Tautan ke situs proyek: https://vcai.mpi-inf.mpg.de/projects/EgoRenderer/



Posted By : togel hongkon