LegoGPT: Buat Desain LEGO Cuma Pakai Teks!

Tim peneliti dari Carnegie Mellon University baru saja merilis LegoGPT, sebuah AI berbasis Llama 3.2 yang bisa membuat desain LEGO dari teks. Kalian cukup mengetikkan ide, dan AI ini akan membangunnya jadi struktur LEGO 3D yang valid  sesuai aslinya dan stabil.

Hal ini karena LegoGPT dilatih dari lebih dari 47 ribu struktur LEGO yang mencakup 28 ribu bentuk berbeda, seperti meja, mobil, gitar, dan lainnya. Jadi, hasil desainnya tidak cuma asal tempel, tapi benar-benar bisa dibangun di dunia nyata.

Yang menarik, proses AI ini dijamin aman karena ada pengecekan agar brick (bata) tidak saling bertabrakan atau melayang. Setiap langkah dicek validitasnya sebelum lanjut ke batu berikutnya, bahkan bisa mundur ke poin paling stabil jika ternyata struktur setelahnya mengalami kendala.

LegoGPT juga menggunakan sistem voxel grid 20 x 20 x 20 untuk membentuk desain awal dari prompt teks yang diberikan. Hasil akhirnya dirender dari 24 sudut pandang dan diberi deskripsi oleh GPT-4o agar hubungan antara teks dan bentuk bisa dipahami lebih baik oleh model.

Buat yang ingin mencobanya sendiri, semua dataset dan kode LegoGPT sudah tersedia gratis di GitHub. Kalian bahkan bisa memadukannya dengan AI pengenal gambar, misalnya dengan memotret koleksi LEGO lalu minta AI ini memberi ide membangun dari bahan yang tersedia.

Namun, sementara kalian bisa mencoba demo-nya lewat HuggingFace, akan tetapi untuk menginstallnya secara penuh dengan repository yang tersedia di GitHub mungkin akan sangat rumit bagi orang awam. Nah, bakal lebih seru nih kalau LegoGPT dikemas jadi aplikasi di smartphone ya. Gimana menurut kalian?

Sumber