CAST: Critique-Aware Supervision & Action-Level Verification Rationale untuk Training Long-Horizon Tool-Calling AI Agents 2026

Dalam implementasi sistem autonomous AI agents skala enterprise 2026, agen semakin banyak diandalkan untuk menuntaskan alur kerja berhorizon panjang (long-horizon), interaktif, dan memiliki status persisten (stateful environments). Namun, dalam skenario nyata seperti transaksi e-commerce, administrasi database finansial, atau penanganan rekam medis, satu tindakan keliru—seperti memicu refund pada transaksi yang tidak sah atau membatalkan pesanan yang salah—dapat menimbulkan kegagalan fatal yang tidak dapat dipulihkan (irreversible task failure).

1. Dilema Reliabilitas dan Ilusi Keberhasilan Single-Run

Pada arsitektur evaluasi agen konvensional, keberhasilan sering kali diukur melalui single-trial pass rate (pass@1). Namun, pada sistem produksi dengan 10 hingga 50 langkah pemanggilan alat (tool calls), kegagalan stokastik acak sering kali tidak muncul pada satu kali eksekusi, melainkan terakumulasi dan muncul dalam pengujian berulang (repeated trials across multiple executions).

Inilah mengapa metrik pass^k (misal $pass^4$, di mana agen harus berhasil menyelesaikan seluruh alur kerja dalam 4 kali percobaan independen berturut-turut tanpa sekalipun melakukan aksi terlarang) menjadi standar emas baru dalam menguji reliabilitas agen otonom pada tahun 2026:

• Irreversible Side-Effect Vulnerability: Aksi API seperti cancel_order, issue_refund, atau dispatch_medication tidak dapat dibatalkan begitu saja oleh prompt perbaikan di langkah berikutnya.
• Explanation Inadequacy pada Frontier LLM: Bahkan model frontier terbesar sering kali gagal membedakan apakah suatu aksi valid terhadap riwayat konteks parsial yang panjang tanpa supervisi berbasis verifikasi terstruktur.
• Sparse Reward Bottleneck: Algoritma reinforcement learning tradisional (seperti PPO atau GRPO) hanya memberikan sinyal biner $R \in \{0, 1\}$ di akhir sesi, memicu credit assignment problem yang parah pada trajectory 30+ langkah.

Diagram 1.0: CAST Autonomous Action-Level Critique Supervision Architecture RESEARCH ARTIFACT

2. Arsitektur CAST: Mensintesis Structured Rationales dari Sparse Outcomes

Framework CAST membagi siklus pelatihan menjadi dua fase sinergis: Critique Learning dan Policy Optimization.

Pada fase pertama, CAST menganalisis seluruh lintasan eksekusi yang berhasil maupun yang gagal. Dengan memanfaatkan model verifikasi berbasis kontra-faktual, CAST menyusun structured rationale yang merinci apakah pra-syarat (preconditions) terpenuhi, aturan bisnis mana yang dilanggar, dan apa konsekuensi state downstream dari aksi tersebut.

Diagram 2.0: Action-Level Supervision and Verification Rationale Representation VERIFICATION PROTOCOL

3. Implementasi Kode: Verifier Runtime dengan State Invariants

Berikut adalah contoh implementasi modul verifikasi berbasis TypeScript yang merefleksikan prinsip arsitektur CAST dalam mengawal pemanggilan alat berisiko tinggi:

// CAST Critique-Aware Verification & Action-Level Supervision Engine
export interface ActionExecutionTrace {
  step: number;
  tool: string;
  args: Record;
  observation: Record;
  cumulativeStateHash: string;
}

export interface StructuredVerificationRationale {
  isValid: boolean;
  preconditionSatisfied: boolean;
  policyConstraintViolations: string[];
  stateContradictionExplanation: string;
  suggestedAlternativeAction?: {
    tool: string;
    args: Record;
  };
}

export class CASTCritiqueAwareVerifier {
  // Evaluasi validitas action sebelum komit eksekusi irreversible
  public async synthesizeVerificationRationale(
    history: ActionExecutionTrace[],
    proposedAction: { tool: string; args: Record },
    domainRules: Array<{ ruleId: string; predicate: (h: ActionExecutionTrace[], a: typeof proposedAction) => boolean }>
  ): Promise {
    const violations: string[] = [];
    
    for (const rule of domainRules) {
      if (!rule.predicate(history, proposedAction)) {
        violations.push(`Violation of domain policy constraint: ${rule.ruleId}`);
      }
    }

    if (violations.length > 0) {
      return {
        isValid: false,
        preconditionSatisfied: false,
        policyConstraintViolations: violations,
        stateContradictionExplanation: 'Proposed action violates stateful pre-conditions or refund/order invariant.',
      };
    }

    return {
      isValid: true,
      preconditionSatisfied: true,
      policyConstraintViolations: [],
      stateContradictionExplanation: 'State trajectory fully aligned with target domain policy.',
    };
  }
}

4. Analisis Benchmark Empiris: Retail, Telehealth, dan Out-of-Domain

Evaluasi komprehensif dilakukan pada benchmark interaktif dinamis dengan ribuan pemanggilan API stateful. Hasil eksperimen menunjukkan keunggulan signifikan dari model yang dilatih dengan CAST dibandingkan baseline model open-weights maupun closed-weights terkemuka:

• Domain Retail (In-Domain Complex Policies):

  Pada tugas pengembalian dana bertingkat, verifikasi stok multi-gudang, dan perubahan status order, Qwen3 yang dituning dengan CAST mencapai peningkatan pass^4 lebih dari 10% di atas GPT-OSS-120B berkat eliminasi tindakan prematur.

• Domain Telehealth (Zero-Shot Out-of-Domain Generalization):

  Tanpa supervisi khusus pada aturan medis, model mampu mengekstrapolasi logika validasi state invariant untuk mencegah resep kontradiktif dengan peningkatan reliabilitas sebesar +9.0%.

• Efisiensi Token Konteks:

  Berbeda dari prompt-based critique yang memboroskan 4.000+ token per interaksi untuk re-evaluasi riwayat dari awal, model kebijakan yang dioptimasi CAST secara intrinsik menginternalisasi pemahaman aturan tanpa menambah overhead inferensi runtime.

5. Panduan Praktis Rekayasa Harness Agent Otonom

Bagi tim engineer yang sedang membangun harness autonomous agent untuk workflow misi kritis, tiga pilar utama berikut wajib diintegrasikan:

1. Pisahkan Policy Execution dari Irreversible Tools: Tempatkan middleware verifikasi deterministik di depan fungsi mutasi permanen untuk memvalidasi state invariant sebelum mengeksekusi I/O ke database eksternal.
2. Gunakan Trajectory Distillation dengan Rationale Sintesis: Kumpulkan log kegagalan produksi, rekonstruksi penjelasan kegagalan menggunakan verifier model, dan gunakan dataset terstruktur ini untuk continuous fine-tuning model internal.
3. Ganti Metrik Evaluasi ke Pass^k: Jangan pernah menganggap agent siap produksi hanya berdasarkan skor pass@1; jalankan pengujian minimum pass^4 atau pass^8 untuk mengisolasi risiko kegagalan stokastik.