AI / Automation2025AI Engineer & Backend Architect
SUDWHV: AI Document OCR Pipeline
Membangun sistem intake dan pemrosesan dokumen untuk program SUDWHV Direktorat Jenderal Imigrasi. Dokumen yang diunggah masuk lewat intake API, diproses worker OCR berbasis queue dengan image preprocessing, lalu diekstrak menjadi data terstruktur per jenis dokumen menggunakan Gemini dengan fallback ke GPT-4o mini saat confidence rendah. Seluruh siklus hidup dokumen terpantau real-time lewat dashboard monitoring live.
38.500 dokumen / 15 menit
Target throughput
3
Microservices
159
Commits (3 minggu)
Cakupan Pekerjaan
Yang dikerjakan pada proyek ini.
Queue ArchitectureDocument OCRZod Validation
- Intake API menerima referensi dokumen dan langsung memasukkannya ke job queue, menjaga endpoint tetap responsif walau traffic submission melonjak.
- Worker terpisah menjalankan image preprocessing lalu OCR AI dengan schema ekstraksi berbeda untuk tiap jenis dokumen (KTP, paspor, SIM, KK, ijazah, rekening koran, surat pernyataan).
- Setiap hasil ekstraksi divalidasi dengan Zod schema dan diberi confidence score, memastikan data terstruktur sebelum masuk sistem berikutnya.
Dual Model FallbackReal-time MonitoringHorizontal Scaling
- Gemini sebagai model OCR utama dengan fallback otomatis ke GPT-4o mini saat confidence score di bawah 0.8, maksimal 3 percobaan per dokumen.
- Status siklus hidup tiap dokumen (queued, preprocessing, extraction, retry, selesai/gagal) tersimpan real-time dan menyalakan dashboard monitoring live tanpa polling manual.
- Worker dirancang horizontally scalable untuk menangani volume submission tinggi dalam jendela waktu pemrosesan yang singkat.
Tech Stack
Teknologi yang digunakan.
NestJSTypeScriptLangChainGeminiGPT-4o miniBullRedisZodSharpFirestorePostgreSQL
Tertarik dengan proyek seperti SUDWHV: AI Document OCR Pipeline?
Saya bisa bantu merancang, eksekusi, dan memaintain proyek dengan scope serupa.