Model kecerdasan buatan Phi oleh Microsoft - kecil, murah dan tidak menderita "halusinasi". Inilah yang mereka katakan tentang model bahasa baru yang diprediksi memiliki masa depan cerah.
GPT benar-benar hebat, namun pada saat yang sama, harganya sangat mahal, dan tidak sempurna untuk semua orang. Karena alasan ini dan banyak alasan lainnya Microsoft sedang bereksperimen dengan model AI yang jauh lebih kecil. Phi-3-mini bahkan dikatakan mempermalukan pekerjaan para insinyur OpenAI.
Juga menarik: Transistor masa depan: Era baru chip menanti kita
ChatGPT bukanlah obat mujarab
ChatGPT adalah penemuan yang didanai, dikurasi, dan ditingkatkan Microsoft. Sebenarnya itu bukan miliknya Microsoft, dan perusahaan OpenAI, yang Microsoft tidak memilikinya (dia adalah investor terkemuka, meski bukan investor terbesar). Model bahasa GPT memberi Microsoft sebuah keuntungan besar dibandingkan perusahaan teknologi besar lainnya yang kini bergegas mengejar ketinggalan. Namun, ada banyak sekali masalah dengan GPT, banyak di antaranya yang belum dapat diselesaikan.
Pertama-tama, ini adalah model bahasa yang sangat intensif sumber daya. Berorientasi web Microsoft Copilot atau ChatGPT OpenAI menghasilkan biaya operasional yang sangat tinggi Microsoft. Ini bukan hanya fitur GPT, tetapi juga semua model bahasa utama. Selain itu, GPT, seperti para pesaingnya, rentan terhadap "halusinasi", yaitu dapat menghasilkan respons terhadap pertanyaan yang berisi informasi palsu atau menyesatkan. Semakin banyak data yang diserap oleh model tersebut, semakin besar kecenderungan model tersebut menghasilkan konten serupa. Oleh karena itu, halusinasi dan pernyataan palsu bukanlah mitos yang bisa dihilangkan begitu saja. Pengguna sering kali memperhatikan bahwa model bahasa besar sering kali membuat kesalahan, memberikan data yang tidak akurat, dan beroperasi berdasarkan fakta yang tidak ada.
Kedua masalah tersebut sangat serius, itulah sebabnya OpenAI, Microsoft, Meta, Google dan lainnya sedang berupaya mengembangkan tidak hanya teknologi Model Bahasa Besar, tetapi juga Model Bahasa Kecil, yang dalam praktiknya dapat memberikan hasil yang jauh lebih baik.
Asisten akuntan digital tidak perlu tahu banyak tentang fisika kuantum. Ini bisa jauh lebih kecil dan tidak rumit (dan karena itu lebih murah), dan dengan hanya melatih data yang diperlukan untuk tujuannya, secara teori, halusinasi akan berkurang. Meski begitu, hal ini lebih mudah diucapkan daripada dilakukan. Teknologi GenAI masih merupakan usaha TI yang liar. Meskipun pekerjaan ini mengalami kemajuan dengan kecepatan yang belum pernah terjadi sebelumnya, masih sulit untuk membuat terobosan dalam isu-isu mendasar. Tapi perusahaan Microsoft baru-baru ini mengumumkan terobosan tersebut. Kita berbicara tentang model bahasa kecil Microsoft Phi.
Juga menarik: Bagaimana Taiwan, Cina, dan AS berjuang untuk dominasi teknologi: perang chip yang hebat
Apa yang diketahui tentang Microsoft Phi
Pertama-tama, perlu dicatat bahwa percobaan ini dilakukan tanpa partisipasi perusahaan OpenAI. Artinya, ini adalah pengembangan para insinyur Microsoft.
model Microsoft Phi adalah serangkaian model bahasa kecil (SLM) yang mencapai hasil luar biasa dalam berbagai tes. Model pertama, Phi-1, memiliki 1,3 miliar parameter dan mencapai hasil pengkodean Python terbaik di antara SLM yang ada.
Pengembang kemudian fokus pada pemahaman dan pemikiran bahasa, menciptakan model Phi-1.5, yang juga memiliki 1,3 miliar parameter dan menunjukkan kinerja yang sebanding dengan model dengan parameter lima kali lipat.
Phi-2 adalah model 2,7 miliar parameter yang menunjukkan kemampuan penalaran dan pemahaman bahasa yang luar biasa, bekerja pada level model dasar terbaik dengan 13 miliar parameter. Phi-2 menonjol dari model lain karena inovasinya dalam penskalaan model dan pelatihan kurasi data.
Ini tersedia di katalog model Azure AI Studio, yang memfasilitasi penelitian dan pengembangan di bidang model bahasa. Phi-2 diluncurkan pada Desember 2023. Pengembang memastikan bahwa ini berfungsi sebaik Mistral atau llama 2 dari Meta. Dan Phi-3 bekerja lebih baik dari versi sebelumnya.
Namun model Phi-3 yang baru saja diumumkan memiliki kualitas yang benar-benar baru. Setidaknya itulah yang bisa Anda nilai dari informasi yang diberikan Microsoft. Menurut perusahaan, menurut indikator dari semua tolok ukur yang diketahui, kinerja Phi-3 lebih baik daripada model lain dengan ukuran serupa, termasuk analisis bahasa, pekerjaan pemrograman, atau pekerjaan matematika.
Phi-3-mini, versi terkecil dari model ini, baru saja tersedia untuk semua pihak yang berkepentingan. Artinya, sudah tersedia sejak 23 April. Phi-3-mini memiliki 3,8 miliar parameter dan menurut pengukuran Microsoft, dua kali lebih efisien dibandingkan model lain dengan ukuran yang sama. Itu dapat ditemukan di katalog model AI layanan cloud Microsoft Azure, platform model pembelajaran mesin Hugging Face, dan Ollama, kerangka kerja untuk menjalankan model di komputer lokal.
Seperti yang dia klaim Microsoft, Phi-3-mini tidak memerlukan chip yang kuat Nvidia. Model ini dapat bekerja pada chip komputer biasa. Atau muat bahkan di ponsel yang tidak terhubung ke Internet.
Daya yang lebih kecil juga berarti model yang dihasilkan tidak akan seakurat itu. Phi-3 tidak cocok untuk dokter atau akuntan pajak, tetapi akan membantu dalam tugas yang lebih sederhana. Misalnya untuk menargetkan iklan atau merangkum ulasan di Internet.
Karena model yang lebih kecil memerlukan lebih sedikit pemrosesan, maka akan lebih murah untuk digunakan oleh perusahaan swasta. Artinya, di Microsoft akan ada lebih banyak pelanggan yang ingin melibatkan AI dalam pekerjaannya, namun menganggapnya terlalu mahal. Namun, belum jelas berapa biayanya.
Belum diketahui kapan model kecil dan menengah itu akan muncul. Namun yang terakhir akan lebih bertenaga dan lebih mahal. Meskipun telah diketahui bahwa Phi-3-small akan memiliki 7 miliar parameter, dan Phi-3-medium akan memiliki sebanyak 14 miliar parameter.
Baca juga:
- Microchip graphene akan membuat ponsel lebih cepat dan mudah
- Tentang komputer kuantum dengan kata-kata sederhana
Bagaimana cara menggunakan Phi-3-mini?
GPT-4 Turbo membutuhkan chip AI yang bertenaga, dan harganya masih sangat mahal. Model pidato kecil Phi-3 dapat bekerja secara offline, tanpa cloud, bahkan dengan chip di ponsel.
Phi-3 bukanlah produk untuk pengguna akhir, tetapi sebuah teknologi yang dapat digunakan dan diterapkan oleh pengembang dalam aplikasi mereka - baik berbasis cloud, yang berlokasi jauh, maupun yang bekerja secara lokal dan offline. Diharapkan dapat bekerja secara lancar dengan perangkat dan komponennya, seperti ponsel, mobil dan sistem infotainmentnya, atau bahkan sensor IoT. Dalam beberapa skenario, teknologi ini bisa sangat berharga.
Microsoft bahkan memberikan contoh konkrit agar kita tidak perlu membebani imajinasi kita. Bayangkan seorang petani memeriksa tanamannya dan melihat tanda-tanda penyakit pada daun, batang dan cabang. Karena jauh dari tiang telekomunikasi, ia hanya perlu mengeluarkan ponselnya, mengambil gambar kerusakannya, memasukkannya ke dalam aplikasi yang menggunakan teknologi Phi-3 - dan model tersebut akan dengan cepat dan offline menganalisis foto tersebut dan memberikan saran tentang bagaimana sebenarnya cara melawan penyakit ini.
Seperti yang dia jelaskan Microsoft, kunci keberhasilan GPT adalah memanfaatkan data dalam jumlah besar untuk pelatihan. Dengan kumpulan data sebesar itu, kualitas data yang tinggi tidak diragukan lagi. Sementara itu, saat melatih model Phi, pendekatan OpenAI yang digunakan adalah kebalikannya. Daripada menjejali model dengan informasi, fokusnya adalah pada pembelajaran bertahap dan menyeluruh.
Daripada menggunakan data mentah Internet, para peneliti Microsoft membuat kumpulan data TinyStories, menghasilkan jutaan miniatur cerita "bayi". Cerita-cerita ini digunakan untuk melatih model bahasa yang sangat kecil. Para peneliti kemudian melangkah lebih jauh dengan membuat kumpulan data CodeTextbook, yang menggunakan data yang dipilih secara cermat dan tersedia untuk umum yang disaring berdasarkan nilai pendidikan dan kualitas konten. Data ini kemudian disaring beberapa kali dan dimasukkan kembali ke dalam model bahasa besar (LLM) untuk sintesis lebih lanjut.
Semua ini memungkinkan terciptanya serangkaian data yang cukup untuk melatih SLM yang lebih mumpuni. Selain itu, pendekatan multi-level terhadap manajemen risiko dan mitigasi digunakan dalam pengembangan model Phi-3, termasuk penilaian, pengujian, dan penyesuaian manual. Alhasil, seperti klaimnya Microsoft, pengembang yang menggunakan keluarga model Phi-3 dapat memanfaatkan perangkat yang tersedia di Azure AI untuk membangun aplikasi yang lebih aman dan andal.
Baca juga: Teleportasi dari sudut pandang ilmiah dan masa depannya
Microsoft Akankah Phi menggantikan model tipe ChatGPT?
Sama sekali tidak. Model bahasa kecil (SLM), meskipun dilatih dengan data berkualitas tinggi, memiliki keterbatasan dan tidak dirancang untuk pembelajaran mendalam. Model bahasa besar (LLM) mengungguli SLM dalam penalaran kompleks karena ukuran dan kekuatan komputasinya. LLM sedang, dan akan terus, sangat berguna dalam bidang seperti penemuan obat, di mana seseorang harus menelusuri banyak koleksi makalah ilmiah dan menganalisis pola yang kompleks. Di sisi lain, SLM dapat digunakan untuk tugas-tugas yang lebih sederhana, seperti merangkum poin-poin utama dari dokumen teks yang panjang, membuat konten, atau mendukung chatbot layanan pelanggan.
Microsoft, katanya, sudah menggunakan kumpulan model hibrid secara internal, di mana LLM memimpin, mengarahkan kueri tertentu yang memerlukan daya komputasi lebih sedikit ke SLM sementara LLM menangani sendiri kueri lain yang lebih kompleks. Phi diposisikan untuk komputasi pada perangkat, tanpa menggunakan cloud. Namun, masih terdapat kesenjangan antara model bahasa kecil dan tingkat kecerdasan yang dapat diperoleh dengan model besar di cloud. Kesenjangan ini, berkat terus berkembangnya LLM, sepertinya tidak akan hilang dalam waktu dekat.
Phi-3 belum diverifikasi oleh pihak independen eksternal. Microsoft terkadang berbicara tentang efisiensi atau efisiensi energi 25 kali lebih tinggi dalam kasus ekstrim, dibandingkan dengan pesaing, yang kedengarannya cukup menakjubkan. Meskipun, di sisi lain, kita tidak boleh lupa bahwa tahun-tahun ini telah berlalu Microsoft menyapih kami sedikit dari fakta bahwa mereka adalah pemimpin yang jelas dalam inovasi TI, dan mungkin itu sebabnya kami tidak terlalu mempercayainya. Program berbasis AI yang merespons secara instan dan berjalan offline, bukan menghasilkan? Ini akan menjadi puncak dari revolusi saat ini. Sayangnya, ada satu masalah utama.
Baca juga: Segala sesuatu tentang chip Telepati Neuralink: apa itu dan bagaimana cara kerjanya
Phi-3 dari Microsoft hanya mengerti bahasa Inggris
Phi-3 tidak melahap petabyte yang diberikan secara massal. Pelatihan model yang cermat dan teliti melibatkan satu masalah kecil. Phi-3 telah dilatih dengan informasi dalam bahasa Inggris dan belum mengetahui bahasa lain. Tidak hanya Ukraina, tetapi juga Jerman, Spanyol, Prancis, atau Cina. Tentu saja, hal ini sangat mengurangi daya tariknya bagi sebagian besar pengguna di seluruh dunia.
Tapi di Microsoft yakin bahwa upaya pengembangan dan peningkatannya sedang berlangsung. Meskipun Anda tidak boleh menipu diri sendiri dengan fakta bahwa pasar Ukraina adalah prioritas bagi perusahaan besar mana pun. Oleh karena itu, kami harus menunggu sangat lama untuk mendapatkan dukungan bahasa Ukraina. Namun fakta ini tidak pernah menyurutkan semangat para peminat dan mereka yang ingin mengikuti perkembangan.
Baca juga: