Meta Platforms di acara tahunan Meta Connect di California disajikan beberapa fitur AI baru untuk aplikasi populernya Facebook, Instagram dan WhatsApp, namun inovasi paling mengesankan dari raksasa teknologi ini mungkin luput dari perhatian banyak orang. Kita berbicara tentang model Llama 2 Long AI.
Sebuah tim peneliti dari perusahaan Meta entah bagaimana diam-diam menerbitkan sebuah artikel di mana mereka mempresentasikan model kecerdasan buatan baru, Llama 2 Long, yang mampu menghasilkan jawaban yang koheren dan relevan terhadap pertanyaan panjang pengguna. Paling banter, kata mereka, kinerjanya mengungguli beberapa pesaing terbaik di industri.
Llama 2 Long adalah perpanjangan Lama 2, model AI sumber terbuka Meta yang dirilis pada musim panas yang dapat belajar dari berbagai sumber data dan melakukan berbagai tugas seperti pengkodean, matematika, pemahaman bahasa, dan banyak lagi. Namun, Llama 2 Long dilatih pada lebih banyak data yang berisi teks yang lebih panjang, dan algoritme ini dimodifikasi untuk menangani rangkaian informasi yang lebih panjang. Hal ini memungkinkannya mengungguli OpenAI GPT-3.5 Turbo dan Claude 2, yang memiliki batasan jumlah konteks yang dapat mereka gunakan untuk menghasilkan respons.
Peneliti meta menggunakan versi Llama 2 yang berbeda - dari 7 miliar hingga 70 miliar parameter, yaitu nilai yang dapat diubah oleh model AI dengan belajar dari data. Mereka menambahkan 400 miliar token (unit teks) data lainnya yang berisi teks lebih panjang daripada kumpulan data model asli. Mereka juga sedikit mengubah arsitektur model AI menggunakan teknik Rotary Positional Embedding (RoPE) sehingga model tersebut dapat menghasilkan jawaban yang akurat dan berguna dengan menggunakan lebih sedikit informasi dan memori dibandingkan metode lainnya.
Tim menggunakan pembelajaran penguatan dari umpan balik manusia (RLHF), sebuah metode di mana model AI diberi penghargaan atas jawaban yang benar dan dikoreksi oleh penilai manusia, dan data sintetis dihasilkan oleh obrolan Llama 2 itu sendiri untuk meningkatkan kinerjanya dalam berbagai tugas. .
Makalah ini mengklaim bahwa model tersebut dapat menghasilkan respons berkualitas tinggi terhadap permintaan pengguna hingga 200 karakter, setara dengan sekitar 40 halaman teks. Para peneliti mengatakan Llama 2 Long adalah sebuah langkah menuju penciptaan model AI yang lebih umum dan serbaguna yang dapat memenuhi kebutuhan pengguna yang kompleks dan beragam. Mereka juga menyadari potensi implikasi etika dan sosial dari model-model tersebut dan menyerukan penelitian lebih lanjut dan dialog tentang bagaimana menggunakannya secara bertanggung jawab dan bermanfaat.
Baca juga: