Sebuah tim di Universitas Tokyo telah meluncurkan Alter3, robot humanoid yang dapat melakukan gerakan menggunakan Model Bahasa Besar (LLM) GPT-4. Alter3 menggunakan alat terbaru AI terbuka untuk mengambil berbagai pose secara dinamis, dari pose selfie hingga ghosting, semuanya tanpa memerlukan entri database yang telah diprogram sebelumnya.
“Respon Alter3 terhadap konten percakapan menggunakan ekspresi wajah dan gerak tubuh merupakan kemajuan signifikan dalam robot humanoid yang mudah beradaptasi dengan android lain dengan sedikit perubahan,” kata para peneliti.
Di bidang integrasi LLM dengan robot, fokusnya adalah pada peningkatan komunikasi dasar dan pemodelan respons yang realistis. Para peneliti juga menyelidiki kemampuan LLM yang memungkinkan robot memahami dan melaksanakan instruksi kompleks, sehingga meningkatkan fungsinya.
Secara tradisional, manajemen tingkat rendah robot terikat dengan perangkat keras dan berada di luar lingkup perusahaan LLM. Hal ini menimbulkan kesulitan dalam pengelolaan langsung karya berbasis LLM. Untuk mengatasi masalah ini, tim Jepang telah mengembangkan metode untuk mengubah ekspresi gerakan manusia menjadi kode yang dapat dimengerti oleh Android. Artinya, robot dapat secara mandiri menghasilkan rangkaian tindakan dari waktu ke waktu tanpa perlu pengembang memprogram setiap bagian tubuh secara individual.
Selama interaksi, seseorang dapat memberikan perintah Alter3 seperti “Ambil selfie dengan iPhone Anda”. Selanjutnya, robot memulai serangkaian permintaan ke GPT-4 untuk mendapatkan panduan tentang langkah-langkah yang diperlukan. GPT-4 akan menerjemahkan ini ke dalam kode Python yang memungkinkan pekerjaan untuk "memahami" dan melakukan gerakan yang diperlukan. Inovasi ini memungkinkan Alter3 menggerakkan tubuh bagian atasnya sementara tubuh bagian bawahnya tetap diam, menempel pada dudukannya.
Alter3 adalah iterasi ketiga dalam seri robot humanoid Alter sejak tahun 2016, dengan 43 aktuator yang bertanggung jawab atas ekspresi wajah dan gerakan anggota tubuh yang didukung oleh udara bertekanan. Konfigurasi ini menyediakan berbagai macam gerakan ekspresif. Robot tidak bisa berjalan, tapi bisa meniru gerakan berjalan dan berlari pada umumnya.
Alter3 juga mendemonstrasikan kemampuan menyalin pose manusia menggunakan kamera dan framework OpenPose. Robot menyesuaikan persendiannya dengan postur yang diamati dan menyimpan tiruan yang berhasil untuk digunakan nanti. Interaksi dengan manusia menghasilkan postur yang lebih bervariasi, mendukung gagasan bahwa gerakan yang berbeda berasal dari peniruan manusia, serupa dengan cara bayi baru lahir belajar melalui peniruan.
Sebelum LLM, peneliti harus mengontrol 43 aktuator dengan hati-hati untuk menciptakan kembali pose seseorang atau mensimulasikan suatu perilaku, seperti menyajikan teh atau bermain catur. Ini memerlukan banyak penyesuaian manual, namun AI membantu membebaskan tim dari rutinitas ini. “Kami berharap Alter3 terlibat secara efektif dalam dialog dengan menampilkan ekspresi wajah dan gerak tubuh yang relevan dengan konteks. Ini menunjukkan kemampuan untuk mencerminkan emosi, misalnya, untuk menunjukkan kesedihan atau kebahagiaan sebagai respons, sehingga berbagi emosi dengan kita,” kata para peneliti.
Baca juga: