NVIDIA Luncurkan NIM Microservices Untuk Lindungi Aplikasi Agentic AI

NVIDIA NeMo Guardrails, bagian dari platform NVIDIA NeMo, menghadirkan microservices baru yaitu NVIDIA NIM untuk meningkatkan akurasi, keamanan, dan kontrol dalam pengembangan AI di berbagai industri. Microservices ini membantu perusahaan membangun AI generatif yang lebih aman, andal, dan sesuai dengan pedoman spesifik, sekaligus melindungi dari serangan jailbreak. Dengan menggunakan dataset Aegis Content Safety, yang terdiri dari 35.000 sampel data teranotasi manusia, microservices ini menawarkan perlindungan konten tingkat tinggi.  

NVIDIA NeMo Guardrails: Mengamankan AI dengan Teknologi Microservices

Tiga layanan utama yang diperkenalkan adalah microservice untuk keamanan konten, kontrol topik, dan deteksi jailbreak. Teknologi ini dirancang untuk mencegah output yang bias atau berbahaya, menjaga percakapan tetap pada topik yang diizinkan, dan melindungi integritas AI dari skenario yang berbahaya. Dengan pendekatan berbasis model kecil yang ringan, NeMo Guardrails memungkinkan AI bekerja lebih efisien di lingkungan dengan sumber daya terbatas, seperti rumah sakit atau gudang.  

NeMo Guardrails telah diadopsi oleh pemimpin industri seperti Amdocs, Cerence AI, dan Lowe’s. Amdocs menggunakan teknologi ini untuk meningkatkan interaksi AI dalam layanan pelanggan dengan menyediakan respons yang lebih aman dan kontekstual. Cerence AI mengintegrasikan NeMo Guardrails ke dalam model bahasa in-car assistant-nya untuk memastikan percakapan yang aman dan sesuai konteks. Lowe’s memanfaatkan teknologi ini untuk memberikan akses yang lebih baik kepada karyawan terhadap informasi produk guna meningkatkan pengalaman pelanggan.  

NVIDIA juga memperluas kemitraan dengan perusahaan seperti Taskus, Tech Mahindra, dan Wipro untuk menyediakan aplikasi AI yang lebih aman dan terkontrol. Selain itu, NeMo Guardrails mendukung integrasi dengan penyedia model keamanan AI terkemuka seperti ActiveFence, Hive, Fiddler AI Observability, dan Weights & Biases untuk memastikan keamanan dan pengawasan AI yang lebih baik.  

Bagi pengembang yang ingin menguji keamanan model AI mereka, NVIDIA menyediakan toolkit Garak, sebuah alat sumber terbuka untuk mengidentifikasi kerentanan pada model bahasa besar (LLM). Garak membantu mendeteksi masalah seperti kebocoran data, prompt injections, dan skenario jailbreak untuk meningkatkan ketahanan dan keamanan AI. NVIDIA NeMo Guardrails, termasuk microservices dan toolkit Garak, kini tersedia untuk membantu pengembang dan perusahaan membangun AI yang lebih aman dan dapat diandalkan.