1. Paradoks Loop Engineering: Mitos Kompresi Observasi vs Realitas Prefix Cache

Dalam kurun waktu dua tahun terakhir, komunitas riset dan industri software engineering terobsesi dengan satu masalah utama pada autonomous coding agents: bagaimana memangkas ukuran output alat (tool observations)? Berbagai metode diperkenalkan secara masif: mulai dari penyusutan log kompilator via regex, algoritma AST pruning untuk berkas kode raksasa, ringkasan output eksekusi terminal berbasis LLM, hingga pemotongan baris stack trace secara agresif.

Asumsi yang mendasarinya terdengar sangat masuk akal bagi arsitek perangkat lunak: jika sebuah perintah pytest atau cargo build memuntahkan ribuan baris log, token konteks akan meledak, menaikkan biaya API secara linier dan mempercepat kehabisan batas context window.

Namun, makalah terobosan arXiv:2610.15093 berjudul "TurnCost: Turns, Not Observations: Cache-Aware Loop Engineering for Coding Agents" karya Pramod Kumar dan Raj Kumar Pandey membongkar kekeliruan fatal dari asumsi tersebut. Riset ini memperkenalkan disiplin baru yang disebut Loop Engineering—arsitektur sistem yang mengatur siklus hidup iterasi agen, mencakup manajemen konteks, pemilihan model dinamis, pemadatan riwayat (compaction), dan kebijakan terminasi.

2. Analisis 600 Trajektori: Distribusi Token Median 118-286 vs P99 Build Logs

Para peneliti menganalisis 600 trajektori eksekusi penuh dari coding agents yang dirilis secara publik, melintasi dua jenis kerangka harness independen dan model bahasa frontier terkemuka. Hasil penyelidikan distribusi ukuran token observasi mengejutkan para perancang sistem:

Artinya, narasi bahwa "agen kehabisan token karena output tool yang terlalu panjang" adalah bias kognitif yang timbul karena insinyur hanya memperhatikan kasus ekstrim P99. Pada kenyataannya, lebih dari separuh panggilan alat menghasilkan teks yang tidak lebih panjang dari sebuah paragraf singkat (118 hingga 286 token).

3. Kegagalan Flat Pricing: Mengapa Model Biaya Tradisional 7x Lebih Mahal dari Kenyataan

Sebagian besar kalkulator biaya API dan simulasi akademik mengadopsi Flat Input Pricing: mengalikan seluruh token yang masuk ke prompt pada setiap turn dengan harga standar katalog provider (misalnya $3.00 per 1M token).

Jika sebuah loop agen berjalan selama 30 giliran dengan rata-rata akumulasi riwayat percakapan 80.000 token, kalkulator konvensional mencatat:

Namun, bagaimana realitas eksekusinya di server penyedia model?

• Pada turn ke-15, sebanyak 79.500 token merupakan prefiks statis yang sudah tersimpan di KV Cache GPU penyedia (harga diskon cache hit: $0.30 per 1M token, atau diskon 90%).
• Hanya 500 token baru (panggilan alat + pesan baru) yang ditagih dengan tarif reguler $3.00 per 1M token.

Kumar & Pandey membuktikan secara empiris bahwa flat input pricing melebih-lebihkan biaya riil hingga 7× lipat (overestimation ~7x) di bawah skema near-ideal prefix caching. Akibatnya, banyak tim rekayasa yang mengalokasikan anggaran riset untuk merancang kompresor canggih yang hanya memangkas beberapa sen, sementara mengabaikan kebocoran biaya riil yang sebenarnya.

4. Formulasi Tertutup Break-Even Delegasi Model: Kapan Subagent Justru Membengkakkan Biaya?

Salah satu pola arsitektur paling populer saat ini adalah Subagent Delegation (atau Model Routing): alih-alih meminta model frontier mahal (seperti Claude 3.5 Sonnet / Opus atau GPT-4o) menjalankan seluruh pekerjaan, loop utama mendelegasikan tugas-tugas mikro (seperti pencarian file, refaktoring fungsi lokal, atau penulisan unit test) ke model yang jauh lebih murah (seperti Haiku, GPT-4o-mini, atau Qwen-2.5-Coder-7B).

Apakah strategi ini selalu menghemat uang? Makalah TurnCost merumuskan Closed-Form Break-Even Condition yang mematahkan dogma ini.

Secara matematis, delegasi hanya menghasilkan penghematan biaya jika jumlah giliran subagent ($N_{sub}$) melampaui batas ambang batas ($N^*$) di mana diskon kumulatif token generasi model murah melampaui biaya cold-start dan rekonsiliasi transfer:

Hasil pengujian pada 600 trajektori menunjukkan fakta mengejutkan: delegasi model justru menaikkan total biaya pada 50% skenario yang diuji, persis di sekitar batas teoritis yang diprediksi oleh persamaan TurnCost. Delegasi untuk tugas 1-3 turn hampir selalu lebih mahal daripada membiarkan model utama yang hangat (warm cache) menyelesaikannya secara langsung!

5. Turn Count Menjelaskan 84% Biaya: Trajektori Termahal Memiliki Observasi Terkecil

Melalui regresi multivariat pada data trajektori, Kumar & Pandey menemukan korelasi statistik yang sangat tajam:

Lebih paradoksal lagi: trajektori paling mahal di SWE-bench dan SWE-duel justru memiliki ukuran observasi rata-rata paling kecil!

Mengapa? Karena agen yang gagal menyelesaikan tugas cenderung terjebak dalam thrashing loop: mereka melakukan puluhan pemanggilan alat mikro (membaca berkas baris-per-baris dengan pagination 20 baris, menjalankan perintah ls berulang kali, mengecek syntax error satu demi satu). Masing-masing observasi hanya berukuran 50 token, tetapi akumulasi 60-80 turn pada konteks 120.000 token menghabiskan biaya berkali-kali lipat lebih besar daripada agen efisien yang membaca berkas utuh sekaligus dalam 4 turn.

6. Implementasi Referensi: Cache-Aware Loop Controller & Evaluator (TypeScript)

Berikut adalah implementasi referensi modul pengendali loop berorientasi cache yang menerapkan logika prediksi TurnCost untuk menghentikan loop mubazir dan mencegah delegasi subagent yang merugikan:

${TURNCOST_CODE_SNIPPET}

7. Panduan Rekayasa Arsitektur Loop 2026: Strategi Memangkas Turns Tanpa Degradasi Akurasi

Menyadari bahwa Turn Count adalah pengungkit utama biaya ($R^2 = 0.84$), tim arsitek agen AI harus segera mengubah fokus optimasi sistem:

1. Fasilitasi Batch Tool Calls (Multi-Tool Execution): Jangan memaksa agen melakukan satu tool call per round-trip jaringan. Sediakan arsitektur di mana agen dapat mengeksekusi 3-5 pembacaan berkas atau perintah shell independen dalam satu turn tunggal. Ini memangkas 60-70% total turn.
2. Hindari Pagination Mikro yang Berlebihan: Memaksa agen membaca kode dalam blok 50 baris dengan perintah offset=51, limit=50 berulang kali menciptakan 10 turn hanya untuk membaca satu file 500 baris. Biarkan agen membaca file hingga 1.000–2.000 baris dalam satu turn—biaya token input ekstra jauh lebih murah daripada biaya 9 turn tambahan pada warm cache.
3. Kondisi Delegasi Subagent yang Bounded: Jangan mendelegasikan tugas ke model kecil jika pekerjaan tersebut diperkirakan selesai dalam < 5 turn. Simpan delegasi hanya untuk eksplorasi long-horizon atau subtask terpisah yang benar-benar membutuhkan pencarian luas (misalnya full-tree indexing atau fuzzing mandiri).
4. Deteksi Dini Loop Thrashing (Deadlock Breaker): Pasang pengawas sisi harness yang memantau kesamaan semantik tindakan (action similarity). Jika agen menjalankan perintah pencarian yang mirip sebanyak 3 kali berturut-turut tanpa mutasi berkas, injeksikan arahan tegas untuk mengubah strategi atau hentikan eksekusi daripada membiarkan tagihan membengkak hingga batas timeout.