Perkembangan robot humanoid berjalan lambat selama hampir dua dekade, namun akhir-akhir ini kita melihat semakin banyak terobosan di bidang ini. Seperti yang baru-baru ini kami tulis, robot AI dihadirkan di MWC 2024 Ameka, dan perkembangan lainnya, Unitree H1, memecahkan rekor kecepatan di antara robot humanoid. Dan kini hasil spektakuler dari kolaborasi antara perusahaan Figure AI dan OpenAI telah muncul di Internet - sebuah video menakjubkan dari robot humanoid yang kini dapat melakukan percakapan dengan manusia.
Startup Figure AI merilis video yang menunjukkan robot Gambar 01 bekerja dengan Model Bahasa Visual (VLM) baru. Di dalamnya, Gambar 01 sedang berdiri di depan meja yang di atasnya terdapat piring, apel, dan cangkir. Ada pengering di sebelah kiri. Dan ketika seseorang ditanya apa yang dilihat robot di depannya, dia menjawab dengan menjelaskan secara detail segala sesuatu yang ada di atas meja.
Dan kemudian pria itu bertanya apakah dia boleh makan sesuatu, dan robot itu menjawab: "Tentu saja", dan kemudian dengan gerakan halus yang cekatan dia mengambil apel itu dan menyerahkannya kepada pria itu. Setelah itu muncul demonstrasi menakjubkan lainnya - seorang pria menuangkan sampah yang kusut dari keranjang di depan Gambar 01 dan meminta robot untuk menjelaskan mengapa dia melakukan ini, dan pada saat yang sama mengumpulkan sampah ke dalam keranjang. Dan dia menjelaskan “pemikirannya” sambil mengembalikan kertas itu ke tempat sampah. "Jadi aku memberimu sebuah apel karena itu satu-satunya makanan yang bisa kuberikan padamu," kata robot itu.
Perwakilan perusahaan menjelaskan bahwa Gambar 01 menggunakan model multimoda terlatih OpenAI, VLM, untuk memahami gambar dan teks, dan mengandalkan perintah suara untuk menghasilkan responsnya. Hal ini berbeda dengan, katakanlah, GPT-4 OpenAI, yang berfokus pada perintah tertulis.
Ia juga menggunakan apa yang disebut perusahaan sebagai "manipulasi bimanual tingkat rendah yang dipelajari". Sistem ini mengoordinasikan kalibrasi gambar yang tepat (hingga tingkat piksel) dengan jaringan sarafnya untuk kontrol gerakan. “Jaringan ini menerima gambar pada 10 Hz dan menghasilkan tindakan 24-DOF (pose pergelangan tangan dan sudut sambungan jari) pada 200 Hz,” kata Figure AI dalam sebuah pernyataan.
Perusahaan mengklaim bahwa setiap perilaku dalam video didasarkan pada pembelajaran sistem, jadi tidak ada orang di belakang layar yang mengendalikan Gambar 01. Tentu saja ada perbedaannya - tidak diketahui berapa kali robot menjalani prosedur ini. Mungkin ini yang keseratus kalinya, itulah sebabnya gerakannya tepat. Namun bagaimanapun juga, pencapaian ini terlihat spektakuler dan sedikit fantastis.
Gambar 01 sekarang sedang menyelesaikan tugas dunia nyata
Semuanya otonom:
-Navigasi otonom & manipulasi berbasis kekuatan
- Model visi yang dipelajari untuk deteksi & penentuan prioritas bin
-Manipulasi bin reaktif (kuat untuk menimbulkan variasi)
-Dapat digeneralisasikan ke tugas pengambilan/tempat lainnya foto.twitter.com/0wFmYnq0GC— Gambar (@Gambar_robot) Februari 26, 2024
Baca juga: