JAKARTA – RUSLI MUHAMMAD. Meta mengumumkan peluncuran Llama 3.1 405B pada 23 Juli 2024, model kecerdasan buatan (artificial intelligence atau AI) open-source terbaru dan terbesar yang pernah dirilis oleh perusahaan tersebut. Dikutip dari TechCrunch, model ini dilatih menggunakan 16.000 GPU Nvidia H100, memanfaatkan teknik pelatihan dan pengembangan terbaru yang membuatnya kompetitif dengan model proprietari terkemuka seperti GPT-4o dari OpenAI dan Claude 3.5 Sonnet dari Anthropic.
Dilansir dari Tempo.co Llama 3.1 405B dapat menangani berbagai tugas, mulai dari pemrograman dan menjawab pertanyaan matematika dasar hingga merangkum dokumen dalam delapan bahasa (Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand). Model ini hanya mendukung teks, yang berarti tidak dapat menjawab pertanyaan tentang gambar, tetapi hampir semua pekerjaan berbasis teks bisa dilakukan, seperti menganalisis file PDF dan spreadsheet.
Meta sedang bereksperimen dengan multimodalitas, termasuk pengenalan gambar dan video serta pemahaman ucapan. Namun, model-model tersebut belum untuk dirilis ke publik. Untuk melatih Llama 3.1 405B, Meta menggunakan dataset yang terdiri atas 15 triliun token hingga tahun 2024, yang setara dengan 750 miliar kata. Perusahaan juga menggunakan data sintetis yang dihasilkan oleh model AI lain untuk menyempurnakan Llama 3.1 405B.
Meta mengeklaim, Llama 3.1 405B memiliki jendela konteks yang lebih besar dibandingkan model sebelumnya, yaitu 128.000 token, atau setara dengan panjang buku 50 halaman. Jendela konteks yang lebih besar memungkinkan model untuk merangkum teks dan file yang lebih panjang serta mengurangi kemungkinan chatbot melupakan topik yang baru saja dibahas.
Selain model 405B, Meta juga memperkenalkan dua model yang lebih kecil, Llama 3.1 8B dan Llama 3.1 70B, yang juga memiliki jendela konteks 128.000 token. Semua model Llama 3.1 dapat menggunakan alat pihak ketiga, aplikasi, dan API untuk menyelesaikan tugas, seperti menjawab pertanyaan tentang peristiwa terkini, pertanyaan matematika dan sains, serta validasi kode dengan interpreter Python.
