Indeks vektor yang kami bangun, ukur, lalu matikan

Ringkasan eksekutif

Sebuah lembaga keuangan teregulasi membutuhkan asisten AI generatif yang dapat disetujui oleh fungsi risikonya. Bagian tersulitnya tidak pernah terletak pada modelnya. Yang sulit adalah membuktikan siapa boleh bertanya apa, dokumen mana yang boleh menjadi dasar sebuah jawaban, dan siapa yang menyetujui dokumen itu untuk ditampilkan. Kami membangun platform dengan tiga permukaan (backend pemasukan dan pengambilan informasi, asisten karyawan, serta konsol tata kelola) yang menjadikan model kontrol maker-checker milik lembaga tersebut sebagai arsitekturnya, bukan sekadar lapisan tambahan di atasnya. Di tengah jalan, studi pengambilan informasi luring membalikkan rancangan awal: tumpukan hibrida vektor dan kata kunci kalah oleh pencarian kata kunci biasa atas ringkasan halaman yang dihasilkan model, dan kami merilis yang lebih sederhana.

Konteks bisnis

Lembaga ini bekerja di bawah ekspektasi pengawasan yang memandang jawaban otomatis yang tidak dapat dijelaskan sebagai jawaban yang tidak dapat diterima. Pengetahuannya tersimpan dalam dokumen yang panjang dan padat format: kebijakan, prosedur, ketentuan produk, dan pengungkapan, penuh tabel, grafik, serta bagian berhalaman banyak yang hanya halaman pertamanya memuat judul. Dokumen-dokumen itu dimiliki divisi yang berbeda, dan materi satu divisi tidak otomatis dapat dibaca bagian organisasi lainnya. Asisten apa pun harus menghormati batas itu di dalam proses pengambilan informasi, bukan sekadar di antarmuka, dan setiap dokumen yang sampai ke asisten harus sudah disetujui oleh orang lain selain pengunggahnya. Karyawan juga bekerja dalam dua bahasa, sehingga pertanyaan yang sama datang dalam dua bahasa dan harus sampai pada bukti yang sama.

Tantangan

Karyawan tidak dapat menemukan apa yang sebenarnya sudah diketahui lembaganya. Jawabannya ada, tersimpan di dokumen kebijakan dan produk yang panjang dan dimiliki divisi yang berbeda-beda, tetapi menemukannya berarti harus tahu dokumen mana yang dibuka dan membaca melewati tabel serta grafik. Solusi yang paling jelas, yaitu asisten atas seluruh korpus, justru satu-satunya hal yang tidak akan disetujui fungsi risiko: tidak dapat ditunjukkan siapa yang boleh melihat dokumen mana, siapa yang menyetujui dokumen itu, dan dari mana asal sebuah kalimat dalam jawaban. Asisten yang tidak bisa menjawab tiga pertanyaan itu tidak layak diluncurkan, sebagus apa pun jawabannya.

Sasaran

Tantangan dan keputusan rekayasa

Hasil dan pelajaran

Platform ini menjalankan tiga permukaan di atas satu inti yang terkelola. Setiap jawaban membawa sitasi yang mengarah ke halaman tertentu yang sudah disetujui, bukan sekadar ke dokumennya, sehingga pembaca dapat memeriksa kalimatnya, bukan sumbernya. Administrator dapat memutar ulang pertanyaan apa pun dengan cakupan pengambilan informasi persis milik pengguna akhir, yang mengubah perdebatan soal kebenaran jawaban menjadi kasus yang dapat direproduksi.

Hasil yang bertahan lama bukanlah asistennya. Yang bertahan adalah bahwa persetujuan, cakupan, dan belanja menjadi sifat bawaan sistem, bukan sekadar janji tentang sistem. Masing-masing ditegakkan di tempat yang dapat ditunjuk seorang peninjau, dan itulah yang membuat asisten ini layak disetujui, sekaligus membuat pergantian model berikutnya menjadi perubahan konfigurasi, bukan penilaian risiko dari nol.

Pertimbangan produksi

Rahasia diambil dari brankas terkelola saat proses dimulai dan diperiksa ulang pada interval singkat, dengan klien yang bergantung padanya dibangun ulang di tempat, sehingga rotasi tidak memerlukan penerapan ulang. Setiap permintaan menulis peristiwa terstruktur berkunci id korelasi, dan itulah yang membuat belanja dapat diatribusikan per divisi, bukan hanya secara agregat. Sesi bergeser mengikuti aktivitas dengan batas mutlak, sehingga workstation yang menganggur keluar sendiri tanpa menghukum sesi kerja yang panjang. Uji penetrasi mendorong penataan header keamanan, dan kebijakan keamanan kontennya sengaja melarang peramban memanggil backend AI secara langsung: semua panggilan melewati server aplikasi sendiri, tempat identitas dilekatkan.

Yang akan kami lakukan berikutnya

Perangking ulang sudah membuat penilaian relevansi pada setiap pertanyaan yang dilihatnya, dan penilaian itu dibuang begitu saja. Menangkapnya akan mengubah pendapat yang tersirat menjadi kumpulan evaluasi berlabel, dan itulah kepingan yang hilang untuk memutuskan apakah kaki vektor layak dikembalikan alih-alih diperdebatkan. Utas kedua adalah memindahkan persetujuan lebih dekat ke pemasukan, sehingga dokumen yang akan ditolak tidak pernah masuk indeks sama sekali, bukan diindeks lalu ditahan. Utas ketiga adalah mempersempit jarak antara apa yang dibuang perangking ulang dan apa yang sebenarnya diinginkan pembaca, yang hari ini hanya terlihat lewat umpan balik negatif yang datang belakangan.