AMD Rilis Instinct MI300 Series: GPU Terbaru Untuk Generative AI

Pada Event Advancing AI yang bertempat di San Jose, California, AMD juga mengumumkan ketersediaan GPU Instinct MI300X untuk keperluan Generative AI. Menurut AMD, Generative AI menuntut kemampuan komputasi tinggi dari Data Centre. Oleh karena itu, peranan akselerator seperti MI300X menjadi penting untuk infrastruktur Cloud yang menangani Generative AI. MI300X akan membuat proses pelatihan untuk AI lebih cepat dan akurat, bahkan dengan milyaran parameter di dalamnya. Tentunya hal itu akan membuat AI mampu merespon dengan cepat dan akurat berbagai perintah atau pertanyaan yang diterima.

Berbeda dengan pendahulunya, GPU Instinct MI300X sudah menggunakan arsitektur terbaru CDNA3. Dengan arsitektur tersebut, MI300X mampu menawarkan Compute Units 40% lebih banyak, kapasitas Memory 1.5X lebih besar, dan tingkat Peak Theoretical Memory Bandwidth 1.7X lebih tinggi dibandingkan MI250X. Kemampuan komputasi Single Precision dan Double Precision juga mengalami peningkatan serta ada dukungan Math Format terbaru.

GPU Package Instinct MI300X sendiri terdiri dari 4X I/O Die, 8X XCD, dan 8X HBM3. Jadi didalam satu Package ada 304 Compute Units, 256 MB Infinity Cache, dan 192 GB Memory HBM3 dengan Peak Bandwidth mencapai 5.3 TB/s. Kapasitas dan Bandwidth Memory setinggi itu memang amat diperlukan mengingat semakin membesarnya ukuran dan kompleksitas komputasi Generative AI.

Sementara itu, Platform Instinct MI300X punya kemampuan menampung 8X GPU MI300X sehingga mampu menawarkan kapasitas total Memory sebesar 1.5 TB. Penggunaan desain standar OCP juga membuat MI300X lebih mudah  dan cepat untuk diimplementasikan pada Platform AI yang telah ada.

Dibandingkan kompetitornya, NVIDIA H100, terlihat kapasitas dan Bandwidth Memory di Instinct MI300X ternyata jauh lebih tinggi. Kapasitas dan Bandwidth Memory seperti itu ternyata juga membuat performa keseluruhan MI300X jauh lebih tinggi dibandingkan H100 baik di pengujian sintetis ataupun Real World dengan sejumlah aplikasi Generative AI. Performa di tingkat Platform atau Single Server dengan 8X GPU MI300X juga tampak mampu mengungguli H100 di beberapa pengujian seperti terlihat pada gambar di atas.

Selain MI300X, AMD juga memperkenalkan Instinct MI300A yang merupakan APU kelas Data Center untuk HPC (High Performance Computing) dan AI.

Berbeda dengan pendahulunya yang menggunakan Memory terpisah untuk CPU dan GPU, Instinct MI300A menggunakan Unified Memory yang digunakan bersama antara CPU dan GPU. Desain seperti ini membuat data yang diolah tidak perlu keluar masuk Memory sehingga komputasi menjadi lebih kencang.

Sementara itu, berbeda dengan MI300X, di dalam Package Instinct MI300A hanya ada 6X XCD. Semeentara tempat 2X XCD digantikan oleh 3X CCD yang merupakan Core prosesor. Di dalam satu CCD ada 8-Core prosesor sehingga MI300A ini memiliki 24-Core prosesor dengan basis Zen 4. Tentunya delapan Chip Memory HBM3 tetap ada disini yang memberikan kapasitas 128 GB dengan Bandwidth mencapai 5.3 TB/s.

Lagi-lagi, AMD menunjukkan keunggulan Instinct MI300A dibandingkan NVIDIA H100 baik dari segi performa maupun efisiensinya.