Apa Itu AI Multimodal? Pengertian dan Contohnya

Apa itu AI multimodal? Wah, muncul lagi istilah baru di dunia per-AI-an ini ya. Nah, supaya kalian tidak bingung, kami akan membahas pengertiannya. Jadi kalian bisa up-to-date juga.

Kecerdasan Buatan atau Artificial Intelligence (AI) saat ini bukan hanya bisa memproses tulisan, tetapi juga gambar, suara, hingga video. Misalnya, kalian mengunggah foto dan meminta AI menjelaskan isi foto tersebut. Kemampuan tersebut ternyata berkaitan dengan istilah AI multimodal.

Lantas, apa itu AI multimodal? Bagaimana cara kerjanya?

Apa Itu AI Multimodal?

AI multimodal adalah sistem AI yang mampu memproses atau menggabungkan beberapa jenis data atau modalitas. Yang dimaksud modalitas bisa berupa teks, gambar, audio, video, dan data lainnya. Lebih mudahnya, AI ini mampu memahami dan memadukan berbagai jenis data sekaligus.

Contohnya, AI menerima foto dan pertanyaan dalam bentuk teks. Kemudian AI memberikan jawaban berdasarkan keduanya. Ini berbeda dengan AI yang hanya berfokus pada satu jenis data, misalnya model yang khusus memproses teks.

Sedikit catatan, tidak semua AI multimodal mendukung seluruh jenis data. Misalkan AI multimodal A mampu memproses data berupa teks, gambar, audio, dan video. Sementara itu, AI multimodal B hanya mendukung teks dan gambar saja.

Bagaimana Cara Kerja AI Multimodal?

1. AI Memproses Berbagai Jenis Data

Setiap jenis data tentunya memiliki karakteristik yang berbeda. Teks akan diproses sebagai token, sementara gambar, audio, dan video memerlukan representasi yang sesuai dengan jenis datanya.

Setiap jenis data tersebut kemudian diubah menjadi representasi yang bisa diproses oleh model AI. Misalnya, ketika kalian mengunggah foto dan mengajukan pertanyaan, AI perlu memproses informasi visual dari foto sekaligus teks yang kalian masukkan.

2. AI Menghubungkan Informasi

Setelah memproses data, AI perlu menghubungkan informasi dari berbagai modalitas tersebut. Tujuannya agar AI bisa memberikan jawaban yang sesuai dengan konteks, bukan hanya berdasarkan satu jenis data saja.

Misalnya, kalian mengunggah foto seekor kucing yang sedang tidur di sofa, lalu bertanya, “Apa yang sedang dilakukan hewan ini?” AI perlu mengenali objek dalam foto dan menghubungkannya dengan pertanyaan yang diberikan. Dari situ, AI bisa menjawab bahwa kucing tersebut sedang tidur di sofa.

Kemampuan menghubungkan informasi ini juga bisa digunakan untuk audio dan video, tergantung model yang digunakan. AI dapat, misalnya, memproses rekaman percakapan untuk membuat transkrip atau merangkum isi video yang diberikan.

3. AI Menghasilkan Jawaban

Setelah memproses informasi yang dibutuhkan, AI menghasilkan jawaban sesuai permintaan pengguna. Bentuk jawabannya bisa berupa teks, suara, gambar, atau jenis output lainnya, tergantung kemampuan sistem.

Contohnya, AI bisa menjelaskan isi foto dalam bentuk teks atau menjawab pertanyaan menggunakan suara. Namun, perlu diingat bahwa AI yang bisa menerima berbagai jenis input belum tentu mampu menghasilkan semua jenis output. Kemampuan setiap model bisa berbeda.

Baca Juga: Apa Itu AI Checker? Pengertian dan Contohnya

Apa Saja Contoh Penggunaan AI Multimodal?

Ada banyak penggunaan AI multimodal yang bisa ditemukan dalam kehidupan sehari-hari. Misalnya:

• Menganalisis gambar: Kalian bisa mengunggah foto, tangkapan layar, atau gambar dokumen untuk ditanyakan kepada AI.
• Memproses audio: AI bisa membantu mengubah rekaman percakapan menjadi teks, merangkum pembicaraan, atau menjawab pertanyaan berdasarkan audio.
• Menganalisis video: Pada layanan yang mendukungnya, AI bisa membantu menjelaskan kejadian dalam video atau merangkum isinya.
• Membantu pekerjaan: AI bisa membaca dokumen yang berisi teks dan gambar, lalu menjawab pertanyaan berdasarkan informasi di dalamnya.
• Percakapan suara: Pengguna bisa berbicara langsung dengan AI dan mendapatkan respons suara, jika fitur tersebut tersedia.

Beberapa layanan yang memiliki kemampuan multimodal antara lain ChatGPT dan Google Gemini. Namun, fitur yang tersedia bisa berbeda tergantung model, mode, dan paket yang digunakan.

Baca Juga: Apa Itu AI Generatif? Ini Penjelasannya

Apa Bedanya AI Multimodal dan AI Generatif?

AI multimodal dan AI generatif sering dianggap sama, padahal keduanya memiliki pengertian berbeda.

AI multimodal merujuk pada kemampuan sistem AI untuk memproses atau menggabungkan berbagai jenis data, seperti teks, gambar, audio, dan video. Sementara itu, AI generatif mengacu pada kemampuan AI untuk menghasilkan konten baru, misalnya tulisan, gambar, musik, atau video.

Keduanya bisa hadir dalam satu sistem. Misalnya, AI menerima foto dan pertanyaan berbentuk teks, lalu menghasilkan jawaban berdasarkan informasi tersebut. Sistem ini bersifat multimodal karena memproses beberapa jenis data, sekaligus generatif karena menghasilkan jawaban baru.

Namun, tidak semua AI multimodal harus mampu menghasilkan konten baru. Begitu pula AI generatif yang tidak selalu mendukung berbagai jenis input.

Kesimpulan

AI multimodal adalah sistem kecerdasan buatan yang mampu memproses atau menggabungkan beberapa jenis data, seperti teks, gambar, audio, dan video. Kemampuan ini memungkinkan AI menjawab pertanyaan berdasarkan berbagai sumber informasi, bukan hanya teks.

Teknologi tersebut bisa digunakan untuk menganalisis gambar, memproses rekaman suara, merangkum video, hingga membantu pekerjaan sehari-hari. Meski begitu, kemampuan setiap model berbeda dan hasilnya tetap bisa keliru.