CoPE (arXiv:2610.20597): Co-Evolving Acting and Forecasting for Language Agents, Multi-Step Action Targets, dan Eliminasi Overhead Inferensi pada Long-Horizon Agentic RL

1. Paradoks Eksplorasi: Mengapa Agentic RL Konvensional Sangat Boros Komputasi?

Melatih agen berbasis model bahasa besar (LLM) untuk menyelesaikan tugas rekayasa berhorizon panjang—seperti investigasi perbaikan software (SWE-bench), eksekusi API multi-aplikasi (AppWorld), navigasi web multi-hop (WebShop), hingga penalaran sains (ScienceWorld)—selama ini terbentur oleh biaya roll-out lingkungan yang luar biasa mahal.

Berbeda dengan fine-tuning instruksi statis, setiap roll-out agen membutuhkan interaksi interaktif berulang kali ke dalam sandbox runtime: mengeksekusi shell terminal, membaca ratusan baris response HTTP, dan merender DOM. Namun, paradigma Group Relative Policy Optimization (GRPO) standar hanya mengekstrak satu sinyal skalar biner di ujung akhir trajektori ($Y in {0, 1}$): apakah agen berhasil atau gagal.

Konsekuensinya, jutaan token observasi dan ratusan keputusan aksi perantara (intermediate steps) terbuang sia-sia tanpa supervisi terarah. Upaya riset sebelumnya berusaha menambahkan sinyal supervisi perantara melalui dua mazhab, namun keduanya memiliki cacat intrinsik yang fatal:

Gambar 1: Kurva akselerasi efisiensi sampel. CoPE mencapai milestone reward 2.0x lebih cepat dibanding GRPO pada ScienceWorld dan 1.6x lebih cepat pada AppWorld, serta mencapai tier reward 0.6 yang gagal diraih baseline dalam 150 langkah pelatihan (Sumber: Yu et al., arXiv:2610.20597).

2. Arsitektur CoPE: Mengawinkan Acting dan Multi-Step Forecasting dalam Satu Backbone

Untuk mengatasi kebuntuan tersebut, CoPE memperkenalkan kategori supervisi ketiga: Multi-Step Action Targets. Inti dari gagasan ini adalah melatih satu representasi model bahasa yang sama untuk bertindak pada saat ini ($pi_ heta$) sekaligus meramalkan rentetan $K$ aksi berikutnya ($p_ heta$) yang terbukti menghasilkan keberhasilan.

Gambar 2: Ringkasan Mekanisme CoPE. (i) Joint training acting dan forecasting menggunakan satu LLM backbone tunggal. (ii) Ko-evolusi simbiotik: Kebijakan acting mengumpulkan data trajektori sukses, sedangkan peramalan aksi (forecasting) menyuntikkan keteraturan rencana jangka panjang ke dalam representasi acting melalui ensembling temporal implisit.

3. Landasan Teoretis: Success-Conditioned Action Chunks & GRPO Equivalence

Misalkan $pi$ adalah kebijakan rollout, $Y in {0, 1}$ adalah indikator keberhasilan, dan $mathrm{Pr}^+ riangleq mathrm{Pr}^pi(cdot mid Y=1)$ merepresentasikan distribusi trajektori yang sukses.

Diberikan riwayat interaksi $h_t$, success-conditioned action chunk $q(a_{t:t+K} mid h_t)$ didefinisikan sebagai distribusi sekuens $K+1$ aksi masa depan pada roll-out sukses, di mana observasi lingkungan perantara telah dimarjinalkan secara natural oleh lingkungan fisik:

Mengapa GRPO Sebenarnya Hanya Melakukan Single-Step Fitting ($K=0$)?

Dalam analisis ideal on-policy GRPO (tanpa pembatasan kliping dan tanpa penalti KL), skor reward memiliki ekspektasi nol. Mendorong turun probabilitas roll-out yang gagal mengarah pada vektor gradien ekspektasi yang sama dengan menarik naik roll-out yang berhasil. Efektif loss GRPO dapat dituliskan sebagai:

Dengan demikian, GRPO standar hanya melatih kebijakan $pi_ heta$ mencocokkan distribusi satu langkah saja ($K=0$) dan tidak pernah menuntut representasi $h_t$ untuk mengantisipasi aksi berikutnya.

Action Forecasting Loss untuk Multi-Step Chunks ($K > 0$)

CoPE memperluas target tersebut ke horizon $K$ melalui model autoregresif $p_ heta(a_{t:t+K} mid h_t) = prod_{k=0}^K p_ heta(a_{t+k} mid h_t, a_{t:t+k-1})$ dengan loss:

Keunggulan matematis luar biasa dari pendekatan ini adalah: kita tidak perlu mempelajari world model terpisah untuk mensimulasikan masa depan lingkungan. Trajektori sukses lingkungan fisik secara otomatis memberikan sampel murni dari $q(a_{t:t+K} mid h_t)$ dengan observasi perantara yang sudah terintegrasi secara eksak.

4. Group Normalization & Dinamika Ko-Evolusi Simbiotik

Salah satu jebakan terbesar saat menggabungkan loss supervised ke dalam loop RL adalah pergeseran skala gradien. Seiring membaiknya kebijakan, jumlah trajektori sukses dalam kelompok sampel ($|S_x|$) melonjak. Jika tidak dinormalisasi, gradien peramalan aksi akan mendominasi dan mengacaukan optimasi kebijakan.

CoPE merumuskan fungsi loss objektif kelompok secara presisi dengan faktor penimbang kelompok:

Pembagian dengan $max(1, |S_x|)$ menghapus ketergantungan linier pada jumlah sukses, menjaga stabilitas norm gradien sepanjang seluruh siklus pelatihan hingga ratusan iterasi.

Gambar 3: Analisis ablasi komprehensif. Horizon K=2 memberikan titik optimum penangkapan pola perencanaan multi-langkah tanpa terdistorsi noise distant steps. Koefisien lambda=10^-2 memberikan akselerasi tercepat, dan Group Normalization terbukti sukses meredam lonjakan gradien (Grad Norm) pada fase late training (Sumber: Yu et al., arXiv:2610.20597).

5. Evaluasi Kinerja Empiris pada 5 Benchmark Agen Mandiri

CoPE diuji secara ketat pada 5 lingkungan uji agen berhorizon panjang dengan ruang observasi dan kompleksitas aksi yang sangat heterogen: ALFWorld (household tasks), WebShop (e-commerce visual-textual web navigation), ScienceWorld (scientific deduction), $ au^2$-bench (multi-turn airline/retail customer service), dan AppWorld (perakitan kode API multi-aplikasi dunia nyata).

Gambar 4: Karakteristik komputasi dan dinamika ensembling CoPE. Trajektori yang lebih pendek dan presisi memangkas end-to-end step time hingga 9% dibanding GRPO murni meskipun menyertakan pass supervisi tambahan 11%. Gambar kanan mengonfirmasi bahwa forecaster terpisah tidak memberikan perbaikan tambahan pada CoPE karena representasi internal policy telah menyerap sinyal peramalan secara utuh (Sumber: Yu et al., arXiv:2610.20597).

6. Spesifikasi Engine Produksi: TypeScript Trajectory & Policy Loss Specification

Bagi tim rekayasa platform yang mengintegrasikan pipeline Reinforcement Learning mandiri pada harness agen otonom, berikut adalah modul inti spesifikasi logika CoPE:

${COPE_CODE_SNIPPET}

7. Blueprint Rekayasa Sistem Agen AI 2026: Implikasi Strategis bagi Praktisi

Hasil temuan makalah CoPE membawa empat paradigma fundamental bagi pengembangan agen masa depan:

1. Hentikan Pemborosan Komputasi pada World Model Observasi yang Berat: Memaksa model memprediksi keluaran terminal atau DOM halaman web adalah distraksi yang tidak efisien karena ruang status observasi dipenuhi noise yang tidak relevan dengan intensi tugas. Memprediksi chunk aksi sukses masa depan jauh lebih padat informasi dan langsung berorientasi pada penyelesaian sasaran.
2. Zero Inference Overhead adalah Kunci Skalabilitas Produksi: Banyak metode penelitian menuntut arsitektur multi-agen kompleks, tree search berat (MCTS), atau sampling verifier berulang saat deployment. CoPE membuktikan bahwa seluruh kecerdasan peramalan dapat dipadatkan ke dalam bobot model selama fase training, sehingga saat di-deploy ke pengguna, agen beroperasi satu langkah per langkah tanpa penalti latensi 1 milidetik pun.
3. Terapkan Group Normalization pada Semua Auxiliary Loss RLVR: Saat melatih model internal dengan reward otomatis (RL with Verifiable Rewards), jangan pernah membiarkan loss proses berskala linier terhadap jumlah roll-out sukses. Normalisasi kelompok adalah pelindung mutlak terhadap gradient explosion saat model mulai mencapai fase konvergensi.
4. Manfaatkan Sinergi Antara Hierarki Opsi (LAGO) dan Pelatihan CoPE: Kombinasi ideal arsitektur otonom 2026 adalah menggunakan dekomposisi hierarkis pada level makro (seperti LAGO options) untuk mengisolasi boundary konteks, dipadukan dengan kebijakan mikro teroptimasi CoPE untuk memastikan setiap sub-agen mengeksekusi urutan tool dengan presisi setinggi mungkin.