Cara Pakai MusicGen, Generator Musik AI dari Meta
16 June 2023 |
20:04 WIB
Syaiful Millah
Asisten Manajer Konten Hypeabis.id
Kecerdasan buatan (artificial intelligence/AI) memang tengah gandrung. Ada banyak layanan AI di berbagai bidang yang belakangan populer. Layanan chatbot ChatGPT, generator konten video Synthesia, dan pembuat gambar dari prompt teks DALL-E2, hanyalah contoh kecil dari masifnya layanan bertenaga kecerdasan artifisial saat ini.
Selain layanan teks, gambar, atau video, AI juga mulai merambah bidang kreatif lainnya. Musik. Raksasa teknologi Google telah terlebih dahulu mengeluarkan MusicLM. Terbaru, Meta, perusahaan induk dari Facebook, Instagram, dan WhatsApp, yang merilis generator musik AI bernama MusicGen.
Baca juga: Google Kenalkan MusicLM, Mesin AI Pembuat Musik Lewat Teks
Felix Kreuk, AI Researcher Engineer Meta, mendefinisikan MusicGen sebagai model generator musik yang simpel dan bisa dikontrol. Layanan tersebut bisa dijalankan dengan prompt berupa teks, ditambah dengan melodi atau musik referensi.
Layanan penghasil musik bertenaga AI MusicGen dapat mengubah deskripsi teks dan tambahan referensi musik (bersifat opsional) menjadi sekitar belasan detik fail audio.
Dalam laman Github, Meta menjabarkan bahwa MusicGen telah dilatih dengan 20.000 jam musik, termasuk 10.000 trek musik berlisensi dan berkualitas tinggi dan 390.000 trek khusus instrumen dari ShutterStock dan Pond5.
Layanan ini dibangun di atas model Transformer, seperti kebanyakan model bahasa yang dipakai dalam produk AI populer saat ini. MusicGen mengkreasikan musik yang dibuat lewat step yang mirip dengan cara model bahasa memprediksi huruf berikut dalam sebuah frasa.
Para peneliti juga menggunakan tokenizer audio EnCodec dari Meta untuk memecah data audio menjadi bagian-bagian yang lebih kecil. Berbeda dengan MusicLM, generator buatan Meta itu tidak memerlukan representasi semantik dan menghasilkan empat buku kode sekaligus. Intinya, prosesnya lebih cepat dan efektif.
Dalam beberapa kali uji coba yang dilakukan oleh Hypeabis.id, baik hanya mengandalkan prompt teks maupun menggunakan referensi fail audio sederhana, proses pembuatan (generate) musik umumnya tidak lebih dari 1 menit. Meta juga menyematkan estimasi waktu yang dibutuhkan dalam satuan detik, tapi berdasarkan tes, waktunya selalu lebih cepat.
Musik yang dihasilkan juga terbilang akurat dengan deskripsi yang dituliskan. Apabila Genhype memasukkan referensi audio tambahan, musik aslinya bakal diolah sedemikian rupa menyesuaikan informasi dari teks yang diselipkan. Jadinya musik referensi itu tetap terasa ada, tapi ditambahkan melodi lain.
Tentunya, musik yang dihasilkan oleh generator semacam ini masih jauh dari kata ‘sempurna’. Apalagi jika dikaitkan dengan proses manual buatan manusia. Selain hasilnya yang masih terbatas pada durasi belasan detik, masih ada ganjalan besar dalam pengembangan produk musik oleh generator bertenaga kecerdasan buatan.
Dalam makalah studi yang disertakan tim peneliti, disebutkan bahwa salah satu kesulitan utama dengan musik adalah bahwa musik harus menjalankan spektrum frekuensi yang lengkap, yang membutuhkan pengambilan sampel lebih intensif. Belum lagi, komposisi musik yang rumit dan instrumen tambahan yang saling melengkapi.
(Baca artikel Hypeabis.id lainnya di Google News)
Editor: Nirmala Aninda
Selain layanan teks, gambar, atau video, AI juga mulai merambah bidang kreatif lainnya. Musik. Raksasa teknologi Google telah terlebih dahulu mengeluarkan MusicLM. Terbaru, Meta, perusahaan induk dari Facebook, Instagram, dan WhatsApp, yang merilis generator musik AI bernama MusicGen.
Baca juga: Google Kenalkan MusicLM, Mesin AI Pembuat Musik Lewat Teks
Felix Kreuk, AI Researcher Engineer Meta, mendefinisikan MusicGen sebagai model generator musik yang simpel dan bisa dikontrol. Layanan tersebut bisa dijalankan dengan prompt berupa teks, ditambah dengan melodi atau musik referensi.
Layanan penghasil musik bertenaga AI MusicGen dapat mengubah deskripsi teks dan tambahan referensi musik (bersifat opsional) menjadi sekitar belasan detik fail audio.
We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
— Felix Kreuk (@FelixKreuk) June 9, 2023
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7 pic.twitter.com/h1l4LGzYgf
Dalam laman Github, Meta menjabarkan bahwa MusicGen telah dilatih dengan 20.000 jam musik, termasuk 10.000 trek musik berlisensi dan berkualitas tinggi dan 390.000 trek khusus instrumen dari ShutterStock dan Pond5.
Layanan ini dibangun di atas model Transformer, seperti kebanyakan model bahasa yang dipakai dalam produk AI populer saat ini. MusicGen mengkreasikan musik yang dibuat lewat step yang mirip dengan cara model bahasa memprediksi huruf berikut dalam sebuah frasa.
Para peneliti juga menggunakan tokenizer audio EnCodec dari Meta untuk memecah data audio menjadi bagian-bagian yang lebih kecil. Berbeda dengan MusicLM, generator buatan Meta itu tidak memerlukan representasi semantik dan menghasilkan empat buku kode sekaligus. Intinya, prosesnya lebih cepat dan efektif.
Dalam beberapa kali uji coba yang dilakukan oleh Hypeabis.id, baik hanya mengandalkan prompt teks maupun menggunakan referensi fail audio sederhana, proses pembuatan (generate) musik umumnya tidak lebih dari 1 menit. Meta juga menyematkan estimasi waktu yang dibutuhkan dalam satuan detik, tapi berdasarkan tes, waktunya selalu lebih cepat.
Musik yang dihasilkan juga terbilang akurat dengan deskripsi yang dituliskan. Apabila Genhype memasukkan referensi audio tambahan, musik aslinya bakal diolah sedemikian rupa menyesuaikan informasi dari teks yang diselipkan. Jadinya musik referensi itu tetap terasa ada, tapi ditambahkan melodi lain.
Tentunya, musik yang dihasilkan oleh generator semacam ini masih jauh dari kata ‘sempurna’. Apalagi jika dikaitkan dengan proses manual buatan manusia. Selain hasilnya yang masih terbatas pada durasi belasan detik, masih ada ganjalan besar dalam pengembangan produk musik oleh generator bertenaga kecerdasan buatan.
Dalam makalah studi yang disertakan tim peneliti, disebutkan bahwa salah satu kesulitan utama dengan musik adalah bahwa musik harus menjalankan spektrum frekuensi yang lengkap, yang membutuhkan pengambilan sampel lebih intensif. Belum lagi, komposisi musik yang rumit dan instrumen tambahan yang saling melengkapi.
Cara Menggunakan MusicGen
- Buka mesin pencari di komputer desktop atau laptop
- Buka situs web Huggingface.co
- Ketik MusicGen dalam kotak pencarian
- Pilih yang ada di bagian Space dan diterbitkan oleh Facebook
- Masukkan prompt teks dan tambahkan fail audio (opsional)
- Klik generate dan tunggu hasilnya dalam beberapa saat
- Selesai. Musik berdurasi singkat bakal tersedia dan bisa didengarkan
(Baca artikel Hypeabis.id lainnya di Google News)
Editor: Nirmala Aninda
Komentar
Silahkan Login terlebih dahulu untuk meninggalkan komentar.