Xiaomi Rilis MiMo-7B, Model AI Open Source Pertamanya

Xiaomi diam-diam meluncurkan MiMo-7B, model bahasa besar (LLM) open-source pertama mereka. LLM tersebut dirancang khusus untuk tugas-tugas berat seperti penalaran matematis dan kode pemrograman.

Dengan 7 miliar parameter, MiMo-7B diklaim bisa menyaingi model besar seperti o1-mini dari OpenAI dan Qwen-32B dari Alibaba. Performa tinggi ini didukung oleh data latihan sebanyak 25 triliun token, termasuk 200 miliar token soal penalaran.

Bedanya, Xiaomi memakai teknik prediksi multi-token, bukan prediksi token tunggal seperti kebanyakan model lain. Metode ini disebut bisa mempercepat hasil tanpa mengorbankan akurasi.

Pelatihan model ini juga menggunakan reinforcement learning dengan pendekatan bernama Test Difficulty Driven Reward. Xiaomi menambahkan teknik Easy Data Re-Sampling agar pelatihan lebih stabil.

Mereka juga membangun sistem Seamless Rollout untuk mengurangi waktu idle GPU saat training. Hasilnya, kecepatan pelatihan meningkat lebih dari dua kali lipat.

MiMo-7B tersedia dalam empat versi:
Base model pre-trained.
SFT versi yang sudah di fine-tuned.
RL-Zero yang menggunakan reinforcement-learned.
RL dengan reinforcement-learned yang sudah di fine-tuned.

MiMo-7B-RL menjadi yang paling akurat di antara semuanya. Dalam pengujian internal, MiMo-7B-RL mencetak 95,8% di MATH-500 dan 68% lebih di AIME 2024. Untuk coding, model ini mencatat hampir 58% di LiveCodeBench v5.

Model ini juga tampil cukup baik di tugas umum seperti DROP dan GPQA dengan skor di kisaran 50-an persen. Xiaomi MiMo-7B sendiri kini sudah bisa diakses gratis di Hugging Face, lengkap dengan dokumentasi di GitHub.

Belum diketahui apakah MiMo-7B, model AI buatan mereka sendiri ini bakal diintegrasikan ke perangkat Xiaomi di masa mendatang. Sejauh ini, fitur-fitur AI di Xiaomi yang disebut HyperAI berbasis model AI dari Google Gemini. Kita lihat saja.

Sumber