Dudak Hareketlerinde Yeni Dönem: İnsan Öğrenmesiyle Doğal İletişim İçin Robotik Yüz Sunumu

Columbia Üniversitesi Mühendislik Fakültesi’nde Creative Machines Lab’de geliştirilen bir insansı robot, şimdiye kadar endüstride pek görülmeyen derece gerçekçi dudak hareketleri sergileyebiliyor. Robot, insan videolarını izleyip taklit ederek öğreniyor ve bu süreç, otonom bir sistemin konuşma ve şarkı söylemeye yönelik doğal dudak hareketlerini yalnızca görsel öğrenme yoluyla kazandığı ilk çalışma olarak kayda geçiyor.

İnsansı robot tasarımında yıllardır aşılması güç bir sorun olan yüz hareketleri, özellikle konuşma sırasında ağız ve dudakların “doğru hissettiren” biçimde hareket etmesini sağlamakta zorluk çıkarıyor. En gelişmiş robotlar bile çoğu zaman kukla benzeri, yapay ağız hareketleri sergiliyor; bu durum, insan beyni için rahatsız edici algıyı tetikleyebiliyor.

DOĞAL KONUŞMA İÇİN OLDUKÇA ÖNEMLİ Araştırma ekibi, bu soruna alışılmışın dışında bir yaklaşım getiriyor. Robotun yüzünde altıgen şeklinde konumlandırılmış 26 minyatür motor bulunuyor; ancak bu motorlar önceden elle yazılmış kurallarla değil, deneme, gözlem ve taklit yoluyla eğitiliyor. İlk aşamada robot, aynanın karşısına geçerek binlerce rastgele yüz ifadesi üretip kendi hareketlerini izliyor ve hangi motor hareketinin yüzde kaçlık bir ifadeyi oluşturduğunu öğreniyor. Böylece robot, önce kendi yüzünün nasıl çalıştığını anlamaya başlıyor.

Ardından insanları gözlemleme aşamasına geçiliyor. Sistem, YouTube’daki saatlerce konuşma ve şarkı söyleme videolarını kullanarak eğitiliyor. Geliştirilen vision-to-action (VLA) modeli sayesinde robot, duyduğu sesleri doğrudan motor komutlarına çevirmeyi öğrendi ve bu sayede seslerle senkronize dudak hareketleri üretebiliyor.

Testler, robotun birkaç dilde dudak senkronu yapabildiğini ve Hello World adlı yapay zekâ üretimi albümünden parçaları söylüyor gibi ikna edici bir şekilde çıkarabildiğini gösterdi. Ancak sistem hâlâ kusursuz değil: B sesinin sert kapanışını gerektiren durumlar veya W gibi dudakları büzmeyi isteyen harfler robot için hâlâ zorluk kaynağı olabiliyor. Creative Machines Lab Direktörü ve Makine Mühendisliği Profesörü Hod Lipson, “İnsanlarla ne kadar çok etkileşime girerse, o kadar iyi olacaklar,” diye vurguluyor.

Araştırmanın temel önemi yalnızca eğlence dünyasında değil; daha doğal yüz hareketleriyle iletişim kurabilen robotlar, insanlarlarla duygusal açıdan daha güçlü bağlar kurabilir. Çalışmanın başyazarı Yuhang Hu, bu tür yüz animasyonlarının ChatGPT veya Gemini gibi sohbet odaklı yapay zekalarla birleştiğinde etkileşimlerin duygusal gerçekliğini önemli ölçüde artırabileceğini belirtiyor. Zamanla mikro yüz ifadelerinin bağlama daha duyarlı hâle gelebilmesi de mümkün görünüyor.