Retrieval untuk arsip dokumen hukum
Menyetel lapisan retrieval di atas 400 ribu dokumen, lalu memperlakukan kualitas sebagai persoalan rekayasa: strategi chunking, reranking, dan perilaku menolak menjawab semuanya dilacak sebagai regression suite.
Saya Revin. Saya mengerjakan bagian yang menentukan apakah sebuah sistem model benar-benar layak dipakai — retrieval, evaluasi, dan pipa data yang membosankan tapi wajib, antara prototipe dan sesuatu yang bisa diandalkan tim.
Menyetel lapisan retrieval di atas 400 ribu dokumen, lalu memperlakukan kualitas sebagai persoalan rekayasa: strategi chunking, reranking, dan perilaku menolak menjawab semuanya dilacak sebagai regression suite.
Membuat perilaku agent terukur: merekam run nyata, menilai pemilihan tool dan penyelesaian tugas, lalu merge digerbang oleh skor itu.
Memampatkan dan menyajikan model kecil untuk pemakaian offline, menukar akurasi dengan latensi sampai jalan di perangkat tanpa GPU dan tanpa koneksi yang andal.
Membangun bagian membosankan dari fine-tuning: penyusunan dataset, pemeriksaan kebocoran, dan held-out set yang mengubah cara kami menilai setiap checkpoint.
Mengubah suntingan prompt menjadi diff yang bisa direview dengan kasus lulus/gagal, sehingga mengubah system prompt berhenti jadi soal keyakinan.
Sebagian besar pekerjaan model gagal karena alasan biasa. Empat hal ini yang saya jaga.
Produk di sekitar modelnya: pemakaian tool, output terstruktur, retry, fallback, dan guardrail yang gagal dengan berisik, bukan diam-diam.
Ingesti, chunking, embedding, hybrid search, reranking — dan tahu mana yang benar-benar menggerakkan angkanya sebelum menambah lapisan berikutnya.
Dataset yang mencerminkan trafik nyata, penilaian yang bisa dibantah rekan kerja, dan trace yang menjelaskan jawaban buruk, bukan sekadar mencatatnya.
Serving, caching, batching, kuantisasi, dan routing. Latensi dan biaya diperlakukan sebagai keputusan produk, bukan kejutan di tagihan.