NS
NEWSAINT
ai-eng• 8 MIN READ•21 Oktober 2026

FlowState (arXiv:2609.34565): Execution State as Memory for Long-Horizon LLM Agents — Mengatasi Memory Drift, Eliminasi 43% Token, dan Peningkatan 13.95% Pass Rate pada τ³-Bench & MemoryArena

Analisis arsitektur sistemik riset frontier AI engineering (arXiv:2609.34565, Minghao Li, Bangyan Li, Zifan Wang, Yulong Li, Hu Xu, Gan Zhang, Jingtong Wu, Wenqiang Xu — Ant International / Ant Group, late 2026): Mengapa agen LLM otonom pada task long-horizon kerap gagal mengambil keputusan tepat ketika harus meninjau ulang keputusan lama? Trilema memori agen (full-context yang menenggelamkan bukti, lossy summarization yang menghilangkan detail penting, dan semantic RAG yang gagal menarik dependensi kebijakan) dipecahkan oleh FlowState melalui paradigma execution state as memory. Menghadirkan pemisahan repositori status persisten Mk, indeks historis ringan Gk, dan active state Sk,t berbasis taksonomi 5 tipe semantik, didorong oleh siklus Incremental State Update (ISU) dan Progressive State Access (PSA). Pada benchmark MemoryArena dan τ³-Bench menggunakan DeepSeek-V4-Flash, FlowState memangkas konsumsi token hingga 43.2% dan mendongkrak pass rate hingga 13.95 percentage points.

N
Ervareza Naurian Novantila
Lead Architect & Founder NEWSAINT
Fact-Checked & Verified
Ilustrasi Arsitektur Teknis 16:9 FlowState (arXiv:2609.34565): Execution State as Memory for Long-Horizon LLM Agents — Mengatasi Memory Drift, Eliminasi 43% Token, dan Peningkatan 13.95% Pass Rate pada τ³-Bench & MemoryArena
Frontier AI Engineering • arXiv:2609.34565 • Long-Horizon Agent Memory

FlowState: Mengubah Execution State Menjadi Memori Abadi untuk Long-Horizon LLM Agents

Analisis arsitektur sistemik riset frontier Ant International / Ant Group (arXiv:2609.34565). Mengapa agen otonom berbasis LLM mengalami kegagalan sistemik saat meninjau kembali keputusan masa lalu, dan bagaimana FlowState menyatukan eksekusi keputusan saat ini dengan penggunaan ulang informasi historis melalui dual-engine Incremental State Update (ISU) dan Progressive State Access (PSA).

1. Anatomi Kegagalan Long-Horizon: Trilema Memori pada Autonomous LLM Agents

Ketika agen LLM dideploy untuk menangani alur kerja multi-sesi yang kompleks (seperti perencanaan perjalanan terkoordinasi lintas grup, belanja e-commerce multi-langkah dengan kompatibilitas komponen, atau alur kerja operasional enterprise dengan ratusan aturan bisnis), agen harus terus-menerus merujuk informasi dari interaksi masa lalu. Namun, dalam arsitektur rekayasa agen saat ini, kebutuhan akan informasi historis tertentu sering kali baru disadari di tengah jalan saat request baru sedang dieksekusi.

Pendekatan konvensional terjebak dalam Trilema Memori Agen yang saling mengorbankan performa dan efisiensi:

1. Full-Context Trajectory
Kelemahan: "Lost in the Middle" & Ledakan Token

Menumpuk seluruh raw interaction log ke dalam prompt window memicu ledakan biaya komputasi kuadratik dan degradasi perhatian model. Informasi aturan penting (seperti klausul pembatalan tiket di turn ke-4) tenggelam dalam ratusan ribu token log eksplorasi mentah.

2. Lossy State Compression
Kelemahan: Eliminasi Detail Kritis Permanen

Meringkas riwayat menjadi paragraf teks ringkas atau representasi status murni sering kali membuang klausul bersyarat yang awalnya tampak sepele. Begitu detail kebijakan hilang dari ringkasan, agen tidak dapat memulihkannya kembali saat kondisi berubah.

3. Traditional Semantic RAG
Kelemahan: Diskoneksi Semantik & Relasional

Pencarian berbasis kesamaan vektor (dense embedding) gagal menarik bukti yang tidak memiliki tumpang tindih leksikal langsung. Contoh: query harga hotel alternatif ("Switch to Hotel B") tidak akan memicu retrieval klausul penalti Hotel A ("Policy E4: $80 cancellation fee") karena kueri tidak menyebut Hotel A.

Kegagalan Baseline vs FlowState dalam Meninjau Kembali Keputusan Lama

Gambar 1: Anatomi kegagalan pengambilan keputusan pada task revisi belanja/reservasi. (a) Full context menenggelamkan klausul denda pembatalan E4; kompresi membuangnya; RAG gagal mengambilnya. (b) FlowState mempertahankan identitas node terstruktur dan tautan relasi, sehingga pengungkapan bertahap (PSA) mencegah keputusan keliru yang merugikan finansial (Sumber: arXiv:2609.34565, Figure 1).

2. Paradigma "Execution State as Memory": Struktur Tiga Tingkat & Taksonomi 5 Node

Untuk mengatasi kebuntuan tersebut, tim peneliti Ant Group memperkenalkan FlowState. Landasan konseptual utamanya adalah memperlakukan execution state bukan sekadar variabel penampung sementara di memori proses, melainkan sebagai unit memori first-class yang terdistilasi, memiliki tipe semantik ketat, dan dapat ditinjau ulang kapan saja lintas request.

Arsitektur FlowState membagi representasi memori menjadi tiga lapisan operasional:

  • 1. Persistent State Repository ($M_k$): Tempat penyimpanan utama jangka panjang yang dikelola runtime di luar context window LLM. Menyimpan seluruh request masa lalu, node status bertipe semantik, hubungan graf berarah antar-node, serta pointer ke bukti observasi alat mentah (raw tool observation payloads).
  • 2. Historical State Index ($G_k = \text{Index}(M_k)$): Indeks ringan yang dibuat otomatis pada awal request $q_k$. Indeks ini hanya memuat semantic identifier unik dan ringkasan satu baris per node historis. Karena ukurannya sangat ringkas, $G_k$ selalu dapat dimuat penuh ke dalam prompt model tanpa membebani context window.
  • 3. Active State ($S_{k,t}$): Graf memori aktif yang tersedia langsung untuk pengambilan keputusan pada turn $t$. Hanya memuat status yang baru dibuat pada request berjalan serta node historis yang secara eksplisit diminta dibuka oleh model.

Taksonomi 5 Tipe Semantik Node FlowState

USER-SIDE: Preferences Mencatat batasan eksplisit pengguna, preferensi perjalanan, batasan anggaran, dan instruksi spesifik yang tidak boleh dilanggar.
ENVIRONMENT-SIDE: Knowledge Merekam fakta faktual lingkungan dan output observasi alat mentah yang relevan dengan eksekusi.
ENVIRONMENT-SIDE: Attributes Informasi level entitas yang didistilasi dari observasi alat (misal: spesifikasi kamar, ketersediaan inventaris, tarif denda pembatalan).
AGENT-SIDE: Judgements & Artifacts Judgements merekam asesmen risiko, hipotesis rencana, dan alasan pemilihan opsi. Artifacts merekam luaran terstruktur yang dapat dipakai ulang pada subtask berikutnya.
FlowState Execution Loop dan Operasi Status ISU dan PSA

Gambar 2: Siklus eksekusi agen terarah status FlowState. (a) Inovasi kontrol per langkah: model menerima request $q_k$, indeks historis $G_k$, working state $S_{k,t}$, dan observasi $O_{k,t}$, lalu memancarkan triplet $(\Delta S_{k,t}, R_{k,t}, z_{k,t})$. (b) Mekanisme ISU memodifikasi active state lokal. (c) Mekanisme PSA membuka node historis $h_a$ secara bertahap dan menelusuri relasi terkait $h_b$ (Sumber: arXiv:2609.34565, Figure 2).

3. Dual Engine: Incremental State Update (ISU) & Progressive State Access (PSA)

Di setiap langkah inferensi $t$, model $\pi_\theta$ menerima konteks terstruktur:

C_{k,t} = \text{Serialize}(q_k, O_{k,t}, G_k, S_{k,t})

Alih-alih hanya menghasilkan panggilan alat mentah atau teks percakapan, model mengeluarkan triplet terpadu:

y_{k,t} = (\Delta S_{k,t}, R_{k,t}, z_{k,t}) \sim \pi_\theta(\cdot \mid C_{k,t})

A. Incremental State Update (ISU)

$\Delta S_{k,t}$ mendefinisikan perubahan lokal terhadap Active State melalui tiga operasi primitif: Add, Update, dan Remove. Sebelum diterapkan ke memori, sistem runtime menerapkan sistem validasi aturan eksekusi $P$:

  • Setiap operasi Add wajib memiliki semantic ID yang belum pernah dipakai sebelumnya.
  • Operasi Update dan Remove hanya diizinkan memodifikasi node yang diciptakan pada request aktif ($q_k$). Node historis dari $M_k$ bersifat immutable (kebal terhadap modifikasi liar).
  • Referensi hubungan graf antar-node wajib mengarah pada identifier yang sah.

B. Progressive State Access (PSA)

$R_{k,t}$ adalah kumpulan identifier status historis yang diminta oleh model untuk diungkapkan secara on-demand. Ketika agen melihat ringkasan status di indeks $G_k$ yang relevan dengan dilema keputusannya, agen meminta pengungkapan node tersebut:

\widehat{R}_{k,t} \subseteq R_{k,t} \cap \big(\text{IDs}(G_k) \cup \text{ToolRefs}(S_{k,t})\big)

Pada langkah $t+1$, konten lengkap node $h_a$ dimasukkan ke dalam $S_{k,t+1}$. Yang paling elegan: pengungkapan node $h_a$ sering kali menyingkap relasi tersembunyi ke node pendukung $h_b$ (misal: "hotel_booking_D7 depends_on hotel_cancellation_terms_C2"). Agen kemudian dapat meminta pengungkapan $h_b$ pada langkah berikutnya ($t+2$), membentuk rantai traversal relasi bukti yang presisi tanpa membanjiri konteks sejak awal.

4. Evaluasi Empiris: Peningkatan Akurasi Signifikan & Eliminasi 43% Token

Tim peneliti mengevaluasi FlowState pada benchmark multi-turn mutakhir MemoryArena dan $\tau^3$-Bench, mencakup domain e-commerce terkunci aturan (Bundled Web Shopping), perencanaan perjalanan multi-agen (Group Travel Planning), penalaran formal matematika dan fisika, serta operasional bisnis dinamis.

Tabel 1: Hasil Evaluasi pada Benchmark MemoryArena (DeepSeek-V4-Flash Baseline vs FlowState)
Metode & Arsitektur Web Shopping SR (↑) Travel Plan SR (↑) Math SR (↑) Physics SR (↑) Total Tokens (↓)
Full Context (DeepSeek-V4-Flash) 0.00% 0.37% 30.00% 55.00% 328.52M
Memory System (BM25 Retrieval) 0.67% 0.00% 22.50% 45.00% 114.13M
Memory System (Mem0 Dynamic Store) 0.00% 0.00% 25.00% 35.00% 174.52M
State Tracking (ZipAct) 0.00% 0.00% 30.00% 55.00% 251.45M
FlowState (Ours — ISU + PSA) 5.33% (+5.33) 0.74% (+0.37) 37.50% (+7.50) 60.00% (+5.00) 186.50M (-43.2%)
*SR = Success Rate task akhir. PS = Partial Score. Data resmi dievaluasi pada DeepSeek-V4-Flash dengan model parameter tetap. Sumber: arXiv:2609.34565, Table 1 & Figure 3.

Konsistensi Lintas Model Frontier: DeepSeek, GPT, dan Qwen

Keunggulan FlowState tidak terbatas pada satu backbone model tertentu. Pengujian pada model frontier lain membuktikan efisiensi token yang konsisten dan dramatis:

  • DeepSeek-V4-Flash: Efisiensi token input mencapai -46.5% dengan lonjakan mean Success Rate dari 28.3% ke 34.3%.
  • GPT-5.6-terra: Memangkas token sebesar -56.3% dengan peningkatan skor parsial dari 50.2% ke 59.4%.
  • Qwen3.5-397B-A17B: Menghemat token sebesar -28.3% dan mendongkrak Success Rate dari 26.7% ke 33.6%.

5. Studi Ablasi: Mengapa ISU dan PSA Wajib Berpasangan

Eksperimen ablasi pada paper mengungkap dinamika mendalam antara ISU dan PSA:

Varian "w/o ISU" (Tanpa Update Status Inkremental)

Jika pemeliharaan status selama eksekusi dimatikan dan digantikan aturan statis pada batas subtask, Success Rate anjlok menjadi 0.00% pada kedua task travel dan shopping.

Pelajaran arsitektur: Status yang dibangun secara dinamis selama reasoning berjalan jauh lebih superior daripada agregasi pasif di akhir sesi.

Varian "w/o PSA" (Tanpa Akses Progresif Bertahap)

Jika seluruh status historis selalu dimuat penuh ke dalam active state, konsumsi token membengkak dari 44.83M menjadi 115.37M token (+157%) pada Web Shopping, dan Success Rate turun ke 3.33%.

Pelajaran arsitektur: Mempertahankan seluruh riwayat tidak menjamin kesuksesan. Pengungkapan bertahap memfilter noise kognitif model dan menjaga fokus perhatian.

6. Implementasi Arsitektur Produksi: Runtime Controller TypeScript

Berikut adalah implementasi clean-architecture dari controller runtime FlowState yang memisahkan Persistent Repository $M_k$, generator indeks ringan $G_k$, Active State $S_{k,t}$, serta validator atomik ISU dan PSA:

typescript / agent-runtime/flowstate-controller.ts PRODUCTION SPEC
// Production Implementation: FlowState Execution State Memory Controller
// Berdasarkan Arsitektur Ant International / Ant Group (arXiv:2609.34565 - Late 2026)
//
// Karakteristik Inti:
// 1. Persistent State Repository (M_k): Repositori runtime lintas-request (node, relasi, bukti alat mentah).
// 2. Historical State Index (G_k): Indeks ringkas terdistilasi yang disuntikkan ke prompt context model.
// 3. Active State (S_{k,t}): Graf memori kerja aktif pada langkah t (5 tipe semantik).
// 4. Incremental State Update (ISU): Operasi Add, Update, Remove lokal dengan validasi aturan P.
// 5. Progressive State Access (PSA): Pengungkapan bukti historis dan traversal relasi bertahap secara on-demand.

export type SemanticStateType =
  | 'preference'   // User-side: preferensi, batasan, tujuan pengguna
  | 'knowledge'    // Environment-side: observasi fakta langsung dari alat
  | 'attribute'    // Environment-side: atribut entitas terdistilasi
  | 'judgement'    // Agent-side: evaluasi, rencana, mitigasi risiko
  | 'artifact';    // Agent-side: luaran terstruktur yang dapat dipakai ulang

export interface StateNode {
  id: string;               // Semantic identifier unik (misal: "pref_budget", "hotel_policy_c2")
  type: SemanticStateType;
  sourceRequestId: string;  // q_k sumber penciptaan
  summary: string;          // Ringkasan untuk indeks ringan G_k
  fullContent: string;      // Konten lengkap yang diungkap saat PSA
  relatedNodeIds: string[]; // Relasi terarah ke node lain
  toolObservationRef?: string; // ID observasi mentah lingkungan jika relevan
  createdAtStep: number;
}

export interface StateDelta {
  add?: StateNode[];
  update?: Partial[];
  remove?: string[];
}

export interface AccessRequest {
  targetNodeIds: string[]; // Node historis yang diminta diungkap pada turn t
}

export interface AgentExecutionStepOutput {
  stateDelta?: StateDelta;
  accessRequest?: AccessRequest;
  executionDecision?: {
    actionType: 'tool_call' | 'final_answer' | 'defer_to_expansion';
    tool?: string;
    params?: Record;
    answer?: string;
  };
}

export class FlowStateRuntimeController {
  private persistentRepository: Map = new Map();
  private rawToolEvidenceStore: Map = new Map();
  private activeStateNodes: Map = new Map();
  private currentRequestId: string = '';
  private currentStep: number = 0;

  constructor() {}

  /**
   * Menginisialisasi request baru q_k: membangun indeks G_k dan mereset active state S_{k,1}
   */
  public startRequest(requestId: string): { historicalIndex: Array<{ id: string; summary: string }> } {
    this.currentRequestId = requestId;
    this.currentStep = 1;
    this.activeStateNodes.clear();

    // Buat G_k = Index(M_k) yang sangat ringan untuk disuntikkan ke prompt context
    const historicalIndex: Array<{ id: string; summary: string }> = [];
    for (const [id, node] of this.persistentRepository.entries()) {
      historicalIndex.push({ id, summary: node.summary });
    }

    return { historicalIndex };
  }

  /**
   * Siklus Utama Langkah t: Memvalidasi dan mengeksekusi ISU serta PSA secara atomik
   */
  public processStepOutput(
    output: AgentExecutionStepOutput,
    currentToolObservation?: { id: string; payload: string }
  ): {
    activeState: StateNode[];
    disclosedEvidence: Array<{ id: string; content: string }>;
    readyForAction: boolean;
  } {
    if (currentToolObservation) {
      this.rawToolEvidenceStore.set(currentToolObservation.id, currentToolObservation.payload);
    }

    // 1. Eksekusi Incremental State Update (ISU) dengan Aturan Validasi P
    if (output.stateDelta) {
      this.applyIncrementalStateUpdate(output.stateDelta);
    }

    // 2. Eksekusi Progressive State Access (PSA)
    const disclosedEvidence: Array<{ id: string; content: string }> = [];
    if (output.accessRequest && output.accessRequest.targetNodeIds.length > 0) {
      for (const targetId of output.accessRequest.targetNodeIds) {
        // Validasi: Node harus ada di M_k atau mereferensikan raw tool evidence
        if (this.persistentRepository.has(targetId)) {
          const histNode = this.persistentRepository.get(targetId)!;
          // Buka konten lengkap ke dalam Active State S_{k,t+1}
          this.activeStateNodes.set(targetId, histNode);

          // Jika node mereferensikan observasi alat mentah, ikut sertakan buktinya
          if (histNode.toolObservationRef && this.rawToolEvidenceStore.has(histNode.toolObservationRef)) {
            disclosedEvidence.push({
              id: histNode.toolObservationRef,
              content: this.rawToolEvidenceStore.get(histNode.toolObservationRef)!,
            });
          }
        }
      }
    }

    this.currentStep++;
    const readyForAction = output.executionDecision?.actionType !== 'defer_to_expansion';

    return {
      activeState: Array.from(this.activeStateNodes.values()),
      disclosedEvidence,
      readyForAction,
    };
  }

  /**
   * ISU: Menerapkan delta lokal ke Active State (hanya node milik request berjalan yang boleh di-update/remove)
   */
  private applyIncrementalStateUpdate(delta: StateDelta): void {
    if (delta.add) {
      for (const node of delta.add) {
        // Validasi: ID unik dan semantik valid
        if (!this.activeStateNodes.has(node.id)) {
          this.activeStateNodes.set(node.id, {
            ...node,
            sourceRequestId: this.currentRequestId,
            createdAtStep: this.currentStep,
          });
        }
      }
    }

    if (delta.update) {
      for (const upd of delta.update) {
        if (upd.id && this.activeStateNodes.has(upd.id)) {
          const existing = this.activeStateNodes.get(upd.id)!;
          // Validasi P: Hanya node request aktif yang boleh di-update
          if (existing.sourceRequestId === this.currentRequestId) {
            this.activeStateNodes.set(upd.id, { ...existing, ...upd });
          }
        }
      }
    }

    if (delta.remove) {
      for (const id of delta.remove) {
        const existing = this.activeStateNodes.get(id);
        if (existing && existing.sourceRequestId === this.currentRequestId) {
          this.activeStateNodes.delete(id);
        }
      }
    }
  }

  /**
   * Menutup request q_k dan mengonsolidasikan node aktif ke Persistent State Repository M_{k+1}
   */
  public finalizeRequest(): void {
    for (const [id, node] of this.activeStateNodes.entries()) {
      // Simpan node yang relevan ke persistent repository jangka panjang
      this.persistentRepository.set(id, node);
    }
  }

  public getTelemetry(): { persistentNodeCount: number; activeNodeCount: number } {
    return {
      persistentNodeCount: this.persistentRepository.size,
      activeNodeCount: this.activeStateNodes.size,
    };
  }
}

7. Rekomendasi Rekayasa untuk AI Agent Infrastructure di Produksi

Bagi tim rekayasa yang sedang membangun autonomous agents skala produksi (seperti coding agents Devin-class, customer service swarms, atau enterprise financial analysts), FlowState memberikan pedoman arsitektur yang sangat jelas:

  1. Hentikan Ketergantungan Buta pada Vektor Embedding Tunggal: Relasi dependensi bisnis (seperti cancellation fee, license compatibility, atau API rate limit overrides) tidak dapat ditemukan secara konsisten hanya melalui similarity score teks. Gunakan graf semantik bertipe untuk menghubungkan keputusan dengan bukti alat.
  2. Terapkan Kebijakan Immutability pada Memori Historis: Agen hanya boleh meng-update node yang dibuat pada sesi/request aktif. Membiarkan agen memodifikasi riwayat masa lalu tanpa isolasi membuka kerentanan history hallucination dan state poisoning.
  3. Pisahkan Indeks Ringan dari Konten Payload: Selalu gunakan indeks dua tingkat (Level 1: Semantic ID + 1-sentence summary; Level 2: Full payload on demand). Hal ini menghemat hingga 56% biaya token API tanpa mengorbankan daya ingat agen.

Kesimpulan Redaksi NEWSAINT

FlowState membuktikan bahwa batas kemampuan agen LLM pada long-horizon task bukan semata-mata ditentukan oleh parameter ukuran model atau panjang jendela konteks (1M hingga 10M token). Kunci sebenarnya terletak pada arsitektur memori yang terstruktur secara operasional: menjaga representasi status eksekusi yang dapat ditinjau ulang, diverifikasi, dan diungkapkan secara bertahap saat bukti baru terungkap.

Referensi & Sumber Terverifikasi

Butuh Arsitektur Web & AI Berkualitas Tinggi?

Tim engineering NEWSAINT siap membantu merancang website berkecepatan tinggi, sistem AI autonomous, dan solusi SaaS terukur untuk bisnis Anda.

Artikel Terkait Lainnya

Ilustrasi Arsitektur Teknis 16:9 DecisionRAG (arXiv:2610.35868): Retriever-Free Retrieval via Decision Models — Eliminasi Capability Asymmetry, Hierarchical Tree Navigation, dan Rekor +17.4% Hit@1 Tanpa Indeks Vektor

DecisionRAG (arXiv:2610.35868): Retriever-Free Retrieval via Decision Models — Eliminasi Capability Asymmetry, Hierarchical Tree Navigation, dan Rekor +17.4% Hit@1 Tanpa Indeks Vektor

Analisis arsitektur DecisionRAG (arXiv:2610.35868, Chao Wan, Paul Jünger, Beixi Du, Bodong Liu, Navaneetha Krishnan, Kilian Q. Weinberger — Cornell University & ASAPP): Mengapa retrieval konvensional (BM25, dense embeddings) menciptakan capability asymmetry terhadap LLM generator modern, dan bagaimana DecisionRAG menavigasi struktur korpus bertingkat menggunakan model keputusan (decision models) dalam konteks bersama (shared context) tanpa token generasi, menghasilkan lompatan +13.8 R@1 di MultiDoc2Dial, +17.4 Hit@1 di Natural Questions, dan latensi secepat 0.68 detik.

Ilustrasi Arsitektur Teknis 16:9 DynaFlow (arXiv:2610.34467): Free-Form Multi-Agent Orchestration — Sintesis Alur Kerja Eksekutabel, Eliminasi Defek Aliran Informasi, dan Lonjakan Akurasi 88.08% Tanpa Mengubah Bobot Sub-Agent

DynaFlow (arXiv:2610.34467): Free-Form Multi-Agent Orchestration — Sintesis Alur Kerja Eksekutabel, Eliminasi Defek Aliran Informasi, dan Lonjakan Akurasi 88.08% Tanpa Mengubah Bobot Sub-Agent

Analisis arsitektur DynaFlow (arXiv:2610.34467, Ruhao Liu et al., NUS): Mengapa topologi multi-agent statis memicu overhead komunikasi berlebihan, dan bagaimana integrasi sintesis alur kerja bebas ke dalam ruang aksi Main Agent — dikombinasikan dengan Two-Stage SFT dan kurasi 3 defek orkestrasi — menghasilkan akurasi 88.08% serta memecahkan 100% soal AIME dengan sub-agent berbobot beku.

Ilustrasi Arsitektur Teknis 16:9 Code Graphs & Embeddings pada Small Coding Agents (arXiv:2610.33958): Eksperimen 79k Episode SWE-bench, Gradien Hop Depth, dan Batasan Representasi Leksikal Satu-Langkah

Code Graphs & Embeddings pada Small Coding Agents (arXiv:2610.33958): Eksperimen 79k Episode SWE-bench, Gradien Hop Depth, dan Batasan Representasi Leksikal Satu-Langkah

Analisis empiris 79k episode SWE-bench Verified (arXiv:2610.33958, Saurav Bellam): Apakah tool knowledge graph dan embedding search benar-benar melengkapi pemahaman struktural coding agent kecil? Menyingkap degradasi hop gradient (odds ratio 0.50–0.67 per hop), anomali tool uptake pada model 32B, dan bukti linear probing bahwa representasi kode internal agen open-weight masih dominan bersifat leksikal satu-langkah.