Meta Rilis AI Llama 3.1 yang Diklaim Sebagai Model Open Source Terbesar di Dunia
28 July 2024 |
15:37 WIB
Yudi Supriyanto
Jurnalis Hypeabis.id
Meta, perusahaan yang menaungi WhatsApp, Instagram, dan Facebook, merilis kecerdasan buatan (Artificial Intelligence/AI) generatif Meta Llama 3.1 termasuk Llama 3.1 405B. Kecerdasan buatan ini diklaim menjadi language large model (LLM) pertama dengan sistem open source yang terbesar di dunia.
Dikutip dari laman resmi Meta, mereka mengklaim bahwa Meta Llama 3.1 405B adalah model pertama yang tersedia secara terbuka. Model ini menyaingi model AI teratas dalam hal kemampuan canggih terkait pengetahuan umum, kemampuan kendali, matematika, penggunaan alat, dan penerjemahan multibahasa.
Baca juga: OpenAI Umumkan SearchGPT, Apa Bedanya dengan Google Search?
“Dengan dirilisnya model 405B, kami siap untuk meningkatkan inovasi—dengan peluang yang belum pernah ada sebelumnya untuk pertumbuhan dan eksplorasi,” demikian tertulis.
Tidak hanya itu, Meta juga meyakini bahwa Llama akan memicu aplikasi dan paradigma pemodelan baru, termasuk pembuatan data sintetis untuk memungkinkan peningkatan dan pelatihan model yang lebih kecil, serta penyulingan model—kemampuan yang belum pernah dicapai di skala ini dalam sistem open source.
Meta mengungkapkan bahwa model bahasa besar dengan sistem open source sebagian besar tertinggal dari LLM dengan sistem closed source atau sumber tertutup terkait kemampuan dan kinerja.
“Kini, kita memasuki era baru dengan sumber terbuka sebagai pelopor. Kami merilis Meta Llama 3.1 405B secara publik, yang kami yakini sebagai model dasar yang tersedia secara terbuka dan terbesar di dunia. Dengan lebih dari 300 juta unduhan total semua versi Llama hingga saat ini, kami baru saja memulai,” demikian tertulis.
Meta Llama 3.1 405B merupakan bentuk peningkatan dari model 8B dan 70B. Model ini juga multibahasa dan memiliki konteks yang jauh lebih panjang jika dibandingkan dengan versi lama, yakni 128K.
Selain itu, Meta juga mengeklaim bahwa Meta Llama 3.1 405B memiliki kemampuan penalaran yang lebih kuat secara keseluruhan. Dengan begitu, kecerdasan buatan ini memungkinkan untuk mendukung penggunaan tingkat lanjut, seperti ringkasan teks bentuk panjang, agen percakapan multibahasa, dan asisten pengodean.
“Kami juga telah membuat perubahan pada lisensi kami, yang memungkinkan pengembang untuk menggunakan keluaran dari model Llama—termasuk 405B—untuk meningkatkan model lainnya,” demikian tertulis.
Sebelum merilis model Llama 3.1 405B, Meta melakukan sejumlah percobaan terlebih dahulu. Salah satu di antaranya adalah evaluasi kinerja kepada liebih dari 150 set data tolok ukur yang mencakup berbagai bahasa.
Kemudian, tim juga melakukan percobaan dengan membandingkan Llama 3.1 dengan model pesaing dalam skenario dunia nyata. Hasil percobaan menunjukkan Meta Llama 3.1 405B lebih kompetitif jika dibandingkan dengan GPT-4, GPT-4o, dan Claude 3.5 Sonnet.
“Selain itu, model kami yang lebih kecil kompetitif dengan model tertutup dan terbuka yang memiliki jumlah parameter yang sama,” demikian tertulis.
Adapun, tim Meta telah melatih Llama 3.1 405B terhadap lebih dari 15 triliun token. Tim menggunakan lebih dari 16.000 GPU H100 guna mengoptimalkan pelatihan kecerdasan buatan tersebut.
Tim juga memilih arsitektur model transformator dekoder standar dengan adaptasi kecil – bukan model campuran – untuk memaksimalkan stabilitas pelatihan.
“Kami mengadopsi prosedur pasca-pelatihan berulang, di mana setiap putaran menggunakan penyempurnaan terbimbing dan pengoptimalan preferensi langsung. Hal ini memungkinkan kami untuk membuat data sintetis berkualitas tertinggi untuk setiap putaran dan meningkatkan kinerja setiap kapabilitas,” demikian tertulis.
Baca juga: Meta Connect 2023, Quest 3 VR sampai AI Generatif Terbaru
(Baca artikel Hypeabis.id lainnya di Google News)
Editor: Nirmala Aninda
Dikutip dari laman resmi Meta, mereka mengklaim bahwa Meta Llama 3.1 405B adalah model pertama yang tersedia secara terbuka. Model ini menyaingi model AI teratas dalam hal kemampuan canggih terkait pengetahuan umum, kemampuan kendali, matematika, penggunaan alat, dan penerjemahan multibahasa.
Baca juga: OpenAI Umumkan SearchGPT, Apa Bedanya dengan Google Search?
“Dengan dirilisnya model 405B, kami siap untuk meningkatkan inovasi—dengan peluang yang belum pernah ada sebelumnya untuk pertumbuhan dan eksplorasi,” demikian tertulis.
Tidak hanya itu, Meta juga meyakini bahwa Llama akan memicu aplikasi dan paradigma pemodelan baru, termasuk pembuatan data sintetis untuk memungkinkan peningkatan dan pelatihan model yang lebih kecil, serta penyulingan model—kemampuan yang belum pernah dicapai di skala ini dalam sistem open source.
Meta mengungkapkan bahwa model bahasa besar dengan sistem open source sebagian besar tertinggal dari LLM dengan sistem closed source atau sumber tertutup terkait kemampuan dan kinerja.
“Kini, kita memasuki era baru dengan sumber terbuka sebagai pelopor. Kami merilis Meta Llama 3.1 405B secara publik, yang kami yakini sebagai model dasar yang tersedia secara terbuka dan terbesar di dunia. Dengan lebih dari 300 juta unduhan total semua versi Llama hingga saat ini, kami baru saja memulai,” demikian tertulis.
Meta Llama 3.1 405B merupakan bentuk peningkatan dari model 8B dan 70B. Model ini juga multibahasa dan memiliki konteks yang jauh lebih panjang jika dibandingkan dengan versi lama, yakni 128K.
Selain itu, Meta juga mengeklaim bahwa Meta Llama 3.1 405B memiliki kemampuan penalaran yang lebih kuat secara keseluruhan. Dengan begitu, kecerdasan buatan ini memungkinkan untuk mendukung penggunaan tingkat lanjut, seperti ringkasan teks bentuk panjang, agen percakapan multibahasa, dan asisten pengodean.
“Kami juga telah membuat perubahan pada lisensi kami, yang memungkinkan pengembang untuk menggunakan keluaran dari model Llama—termasuk 405B—untuk meningkatkan model lainnya,” demikian tertulis.
Sebelum merilis model Llama 3.1 405B, Meta melakukan sejumlah percobaan terlebih dahulu. Salah satu di antaranya adalah evaluasi kinerja kepada liebih dari 150 set data tolok ukur yang mencakup berbagai bahasa.
Kemudian, tim juga melakukan percobaan dengan membandingkan Llama 3.1 dengan model pesaing dalam skenario dunia nyata. Hasil percobaan menunjukkan Meta Llama 3.1 405B lebih kompetitif jika dibandingkan dengan GPT-4, GPT-4o, dan Claude 3.5 Sonnet.
“Selain itu, model kami yang lebih kecil kompetitif dengan model tertutup dan terbuka yang memiliki jumlah parameter yang sama,” demikian tertulis.
Adapun, tim Meta telah melatih Llama 3.1 405B terhadap lebih dari 15 triliun token. Tim menggunakan lebih dari 16.000 GPU H100 guna mengoptimalkan pelatihan kecerdasan buatan tersebut.
Tim juga memilih arsitektur model transformator dekoder standar dengan adaptasi kecil – bukan model campuran – untuk memaksimalkan stabilitas pelatihan.
“Kami mengadopsi prosedur pasca-pelatihan berulang, di mana setiap putaran menggunakan penyempurnaan terbimbing dan pengoptimalan preferensi langsung. Hal ini memungkinkan kami untuk membuat data sintetis berkualitas tertinggi untuk setiap putaran dan meningkatkan kinerja setiap kapabilitas,” demikian tertulis.
Baca juga: Meta Connect 2023, Quest 3 VR sampai AI Generatif Terbaru
(Baca artikel Hypeabis.id lainnya di Google News)
Editor: Nirmala Aninda
Komentar
Silahkan Login terlebih dahulu untuk meninggalkan komentar.