Retrieval Augmented Generation (RAG): Teknologi AI yang mengubah data mati menjadi data pintar
Teknologi AI yang terus berkembang memberikan berbagai inovasi revolusioner yang tidak hanya mengubah cara kita bekerja, melainkan cara kita berinteraksi dengan informasi. Di Tengah pesatnya teknologi AI, muncul sebuah terobosan yang menjadi motor perubahan dalam pemanfaatan teknologi AI, yaitu Retrieval Augmented (RAG).
Bayangkan jika dokumen seperti PDF, Word dan file teks yang selama ini disimpan di dalam server selama bertahun-tahun dapat menjadi sumber data bagi AI untuk menjawab segala pertanyaan anda secara akurat. Lalu muncul sebuah pertanyaan “Apakah AI saat ini tidak bisa menjawab pertanyaan secara akurat?”. Mari kita jelaskan lebih mendalam pertanyaan ini.
Mengapa AI biasa tidak cukup?
AI saat ini memiliki keterbatasan yang membuat performanya belum maksimal:
- Tidak bisa mengakses data internal, model AI saat ini tidak dapat mengakses dokumen-dokumen berbasis knowledge internal Perusahaan seperti kebijakan kampus atau SOP departemen tertentu. Komponen ini hanya bisa diakses manual tanpa memerlukan sistem AI saat ini.
- Rentan terhadap jawaban yang tidak berbasis pada data saat ini, AI seringkali merespon pertanyaan secara detail agar terlihat baik. Namun, sebenarnya jawaban yang direspon tidak berdasarkan data saat ini.
- Ketidakmampuan AI dalam memahami konteks domain tertentu, AI memiliki keterbatasan untuk memaahami konteks sosial dan budaya yang kompleks. AI juga kesulitan dalam memahami terminology industri, budaya organisasi dan prosedur internal yang bersifat spesifik. Seperti “Bagaimana proses reimbursement setelah mengumpulkan dokumen terkait?” atau “Bagaimana cara mencairkan bonus tahunan?”. AI general menjawab pertanyaan secara generic yang terkadang tidak membantu sama sekali.
Oleh sebab itu, para peneliti di bidang AI menciptakan terobosan baru yang disebut sebagai Retrival Augmented Generation (RAG). RAG ditemukan oleh para programmer AI yang bekerja di Meta dengan tujuan untuk memperbaiki dan meningkatkan kinerja AI agar menghasilkan output yang lebih bermakna dan akurat.
RAG (Retrieval Augmented Generation) adalah pendekatan inovatif yang menggabungkan dua kemampuan utama dalam pemrosesan Bahasa alami. Retrieval (mengambil informasi) dan Generation (menghasilkan teks) yang berarti bahwa RAG adalah suatu metode yang digunakan untuk mengambil informasi eksternal yang relevan, informasi ini digunakan sebagai input untuk proses text generation atau pembuatan respon text berbasis informasi external yang dikombinasikan dengan model AI (GPT-5, Claude Sonnet, dan ollama).
Dengan menggabungkan kemampuan RAG dan LLM mampu menghasilkan respon yang lebih akurat dan relavan berbasis pada sumber informasi eksternal yang dapat diverifikasi. Berbeda dari AI tradisional yang hanya mengandalkan informasi berbasis data statis pelatihan. RAG memperluas jangkauan sistem AI yang dapat mengakses informasi terkini sehingga mampu merespon jawaban up-to-date dan kontekstual.
RAG bekerja melalui serangkaian proses yang terstruktur dan efisien. Pada tahapan awal, kita mengumpulkan data untuk topik tertentu seperti dokumen kebijakan operasional Perusahaan, atau dokumen yang berisikan tahapan terstruktur untuk meminjam buku di perpustakaan kampus atau perpustakaan nasional. Setelah dokumen-dokumen relevan dikumpulkan, kita menginput dokumen tersebut ke dalam sistem RAG, dokumen tersebut akan dipecah menjadi bagian kecil dengan teknik chunking yang menghasilkan dokumen-dokumen kecil atau disebut sebagai “chunks”. Proses chunking sangat penting karena membuat sistem dapat mencari dan mengakses informasi secara efisien dan presisi. Setiap chunk berisikan informasi yang terfokus dan mudah diidentifikasi. Sehingga jika pengguna menanyakan informasi spesifik, sistem mampu menemukan chunk yang relevan sesuai dengan pertanyaan pengguna.
Setiap pengguna yang mengajukan pertanyaan ke dalam sistem RAG akan di proses lebih lanjut dengan teknologi Natural Language Processing (NLP). Berdasarkan hasil analisis pertanyaan dari pengguna, sistem RAG melakukan pencarian chunk yang relevan dengan pertanyaan pengguna. Proses pencarian ini, menggunakan perhitungan similarity vector untuk menentukan relevansi pertanyaan pengguna dengan chunk.
Tahapan terakhir adalah proses generation, proses ini menghasilkan informasi yang telah didapatkan dengan kemampuan model bahasa untuk menghasilkan jawaban yang lengkap, jelas, dan terstruktur. RAG memiliki kemampuan untuk menjawab setiap pertanyaan yang disertakan dengan referensi yang digunakan. Hal ini memungkinkan pengguna untuk melakukan verifikasi sumber terhadap informasi yang disajikan, sehingga dapat meningkatkan akuntabilitas dan kepercayaan yang tinggi dari setiap respon yang dihasilkan.