NeRF Nedir?
Açılımı Neural Radiance Field olan bu teknoloji, ortalığı kasıp kavurmasıyla adından çokça bahsettirdi. Son kullanıcıya hizmet eden ve evinizde kolayca kullanabileceğiniz bir de ürün, bir websitesi çıkınca yaygınlaşması çok daha beklenmekte.
Temel amaç, gerçek hayattaki somut bir objeyi bilgisayar ortamına aktarmak olarak düşünebiliriz.
Peki bu teknoloji yeni mi, zaten hali hazırda fotogrametri hayatımızda yok muydu?
Basit Anlatımla NeRF Teknolojisinin Atası: Fotogrametri
Fotogrametrinin işleyişi aslında bir nebze daha basit. Şöyle ki;
Aslında görseller de kendini açıklamakta. Bir objenin veya konunun etrafında farklı açılardan fotoğraflar çekip bunun geometrik verisini çıkarmak. Bu teknoloji hali hazırda zaten sinema ve oyun sektörleri başta olmak üzere kullanılmaktaydı. E peki mükemmel mi değildi?
Işık açısı, parlamalar, ekipman pahalılığı, süre ve hazır olun en iyisi, videoda kaydı olmayan açılardan bir bakış açısı!
Bu teknolojiye ait bir dizi paylaım ve kaynakçayı buraya bırakıyor olacağım. Hemen sonrasında bizler bunu kullanıp bir deneme yapacağız.
Bunun yanı sıra araya sıkıştırmak kaydıyla, aslında sıkıştırılmaması gereken, ciddi ve Nvidia’nın göz bebeği bir algoritma da olsa;
Tekrardan standart kullanıma dönecek olursak, Luma.AI firmasının ürünüyle çıkarılan NeRF projeleri için yarışmalar düzenlenmeye başladı bile;
Görüntü itibariyle nasıl bir şey olduğuna dair kafanızda bir şeyler canlandığını düşünmekteyim bu sebeple hemen devam ediyorum.
İlk Aşama
Öncelikle bir iPhone telefon edinmemiz gerekiyor. Hemen ardından App Store üzerinden Luma.Ai uygulamasını telefonunuza kurunuz.
1) Video Çekimi
İlk olarak şayet benim yaptığım gibi bir insanı konu edinecekseniz ve bu yazıda olduğu gibi bir arkadaşınızı istediğiniz gibi oynatmayı istiyorsanız kişiden T-Pose da durmasını istemeniz gerekmekte. Peki neden T-Pose sorusuna gelmeden önce bunun nasıl biz pozisyon olduğuna bakalım;
Karakterimizin eklemlerinin en açık ve düz olduğu hali. En nötral pozisyon T ve A pozları. Sonraki aşamalarda ihtiyacımız olan Rigging için bir referans düzlemi.
Wikipedia‘da ise adına bir sayfa bulunmakta.
İlk aşama olarak konu objemize ait bir video çekiyoruz.
Konu almak istediğimiz şeyin etrafında dönmek zorunda değiliz. Öyle ki geçtiğimiz günlerde ilk kez bir TV reklamında NeRF kullanıldı. Üstelik bunu McDonald’s yaptı!
2) Luma.AI Kullanarak Videoyu Yüklemek
Çektiğimiz videoyu uygulama içindeki Upload sekmesinden seçiyoruz.
Yüklemeyi başlatıyoruz.
Videonun işlenmesi için bir süre beklemek gerekiyor.
3) Yükleme Sonrası, Luma.AI Sitesi
Videonun işlenmesi bittikten sonra böyle bir görüntü göreceksiniz.
4) Dosyayı İndirme ve Hazırlama
Herhangi bir modelleme programından sıkıntı var mı diye kontrol ediyoruz. Şayet varsa, bu noktada pürüzleri gideriyoruz.
Bu aşamada, normal bir kullanıcı olarak modelleme programı bilgisayarınızda bulunmayabilir. Üstünkörü bir atış yapmak ve bu aşamayı geçmek isterseniz, online OBJ to FBX Converter araçlarını kullanabilirsiniz.
Bir sonraki aşamada, Mixamo sitesine Luma AI dan indirilen ham ve orijinal dosya olan OBJ uzantılı dosyayı yüklediğim taktirde renklerin gelmediğini deneyimlemiştim. FBX’e çevirme sebebim aslında bu renk problemini ortadan kaldırmak.
5) Hareket Katalım
Bu aşama ve Mixamoyu genel olarak özetleyecek olursak, animasyon işlerinde çalışan kişilerin velinimeti olan, bir yükü ortadan kaldıran hazır animasyon hareketleri ve en önemli özelliği olan Auto Rig fonksiyonunu sunan bir Adobe hizmeti.
Peki nedir bu rig ve neden burayı kullanıyoruz? Rig, bu sektörlerden uzak arkadaşlarımız için en temel haliyle anlatacak olursak, modellenmiş bir anatomik yapıda, nerelerin eklem olacağını, nerede bir şekil bozuluğu olursa nereleri etkileyeceğinin belirlenmesidir. Daha basit bir örnek üzerinden, dirseğimizi düz tuttuğumuzda ve kırdığımızda cildimizin hangi bölgelerinin sıkılıp gevşeğidi verisidir (basit, ucuz ve eksik bir tanım olduğunun gayet farkındayım, 3D’ci arkadaşlar üzerime gelmesin lütfen 🙂 )
Ekstra olarak mantığını merak edenleri şuralara alabiliriz; https://kreonit.com/our-services/game-animation/3d-rigging/, https://www.youtube.com/watch?v=kKzvaY6Z-eM
En alttaki Skeleton LOD kısmını No-Fingers’a almayı unutmayın zira bu işlemi yaparken meshinizde yani karakterinizde boşluklar varsa veya anatomik olarak uygun değilse hata verebilir.
Bunu önlemek için video kaydını detaylı ve uzun, tüm iç, dış ve farklı açılardan her yerin kaydını alacak şekilde çekmeniz gerekmekte.
Sonuç
