DualPath: Memecahkan Storage Bandwidth Bottleneck pada Agentic Multi-Turn LLM Inference 2026

Dalam lanskap rekayasa kecerdasan buatan 2026, paradigma pemanfaatan Large Language Models (LLM) telah bergeser secara fundamental: dari sistem interaksi single-turn chatbot menjadi sistem otonom berbasis agent (agentic LLM systems). Agen otonom modern beroperasi dalam sesi interaksi multi-langkah berhorizon panjang, mengeksekusi puluhan hingga ratusan panggilan alat (tool calls), inspeksi browser, dan perbaikan kode. Konteks yang terakumulasi secara masif ini mengubah profil beban komputasi AI: inferensi tidak lagi didominasi oleh beban kalkulasi FLOPS, melainkan tertahan oleh Storage I/O Bottleneck pada pemuatan Key-Value Cache (KV-Cache).

1. Anomali Beban Kerja Agentic: Mengapa KV-Cache Menjadi I/O Bound

Beban kerja inferensi agentic memiliki karakteristik yang sangat kontras jika dibandingkan dengan percakapan chat konvensional:

• Multi-Turn, Short-Append Trajectory: Pada setiap langkah pengambilan keputusan (misal: eksekusi perintah terminal atau inspeksi DOM), agen hanya menambahkan beberapa ratus token observasi baru, namun membawa puluhan ribu token riwayat percakapan sebelumnya.
• Ekstremnya Rasio KV-Cache Hit (≥ 95%): Karena konteks masa lalu bersifat deterministik, sistem inferensi modern memanfaatkan Prefix Caching. Prefill engine tidak menghitung ulang seluruh token dari awal, melainkan memuat blok KV-Cache yang sudah dihitung dari storage terdistribusi (seperti 3FS).
• Pergeseran dari Compute-Bound ke Storage-Bandwidth-Bound: Waktu prefill untuk prompt baru kini didominasi oleh waktu yang dibutuhkan kartu jaringan (NIC) untuk membaca tensor KV-Cache dari remote disk, bukan waktu komputasi GPU Tensor Core.

Diagram 1.0: DualPath Asymmetric KV-Cache Offloading & RDMA Cross-Engine Interconnect RESEARCH ARTIFACT

2. Asimetri Jaringan pada Arsitektur Prefill-Decoding Disaggregated

Untuk memaksimalkan efisiensi perangkat keras, industri komputasi AI memisahkan kluster menjadi dua entitas terpisah:

Karena decoding engine menghasilkan token satu per satu, konsumsi bandwidth storage untuk menyimpan KV-Cache baru sangat kecil (hanya beberapa megabyte per detik per node). Sebaliknya, prefill engine harus menarik gigabyte tensor KV-Cache dalam hitungan milidetik agar TTFT (Time-to-First-Token) tetap rendah. Inilah ketimpangan fundamental yang diselesaikan oleh DualPath.

3. Arsitektur DualPath: Dual-Path Loading & Global Load Scheduler

Alih-alih memaksa seluruh pembacaan KV-Cache melewati antarmuka storage PE, DualPath membuka jalur sekunder:

1. Storage-to-Decode Path: KV-Cache dari distributed storage (3FS/Lustre) dibaca oleh Decoding Engines yang memiliki bandwidth storage NIC melimpah.
2. Zero-Copy RDMA Forwarding: DE langsung mentransfer blok KV-Cache ke PE menggunakan Compute Network (RDMA over Converged Ethernet / InfiniBand). Karena compute network pada kluster AI umumnya memiliki bandwidth jauh lebih masif (400Gbps - 800Gbps per GPU), transfer ini tidak menimbulkan kemacetan.
3. Interference-Free Execution: DualPath menjadwalkan transfer RDMA di sela-sela iterasi decoding langkah model, memastikan transfer KV-Cache tidak menginterupsi latensi kritis pembuatan token real-time.
4. Full-Block & Layer-Block Storage Layout: Menggunakan struktur Trie terdistribusi dengan format blok terpadu sehingga memory conversion tidak memerlukan overhead rekonstruksi CPU/GPU tambahan.

Implementasi Type-Safe: DualPath Routing Engine

Berikut adalah spesifikasi abstraksi dispatcher DualPath yang mengevaluasi utilisasi jaringan cluster secara dinamis:

// DualPath Dynamic KV-Cache Load Balancing & Asymmetric Route Dispatcher
export interface InferenceSessionContext {
  sessionId: string;
  turnId: number;
  kvCacheBlockIds: string[];
  totalTokens: number;
  prefillEngineBandwidthUtilization: number; // 0.0 - 1.0
  decodeEngineStorageNicIdleRate: number;    // 0.0 - 1.0
}

export interface DualPathRoutingDecision {
  route: 'DIRECT_STORAGE_TO_PREFILL' | 'DUALPATH_STORAGE_TO_DECODE_RDMA';
  estimatedTransferLatencyMs: number;
  targetDecodeNode?: string;
  rdmaChannelAllocated: boolean;
}

export class DualPathDispatcher {
  private peBandwidthThreshold = 0.85; // Ambang batas saturasi NIC Prefill

  // Evaluasi jalur pemuatan KV-Cache berdasarkan kondisi beban storage I/O real-time
  public evaluateOptimalRoute(context: InferenceSessionContext): DualPathRoutingDecision {
    const isPrefillSaturated = context.prefillEngineBandwidthUtilization > this.peBandwidthThreshold;
    const hasDecodeCapacity = context.decodeEngineStorageNicIdleRate > 0.40;

    // Jika Prefill NIC jenuh namun Decoding NIC menganggur, alihkan I/O ke jalur Decode + RDMA
    if (isPrefillSaturated && hasDecodeCapacity) {
      return {
        route: 'DUALPATH_STORAGE_TO_DECODE_RDMA',
        estimatedTransferLatencyMs: (context.totalTokens * 0.0012) + 0.45, // Zero-copy RDMA compute network
        targetDecodeNode: `de-node-${Math.floor(Math.random() * 8)}`,
        rdmaChannelAllocated: true,
      };
    }

    // Default fallback: Pemuatan langsung Storage-to-Prefill konvensional
    return {
      route: 'DIRECT_STORAGE_TO_PREFILL',
      estimatedTransferLatencyMs: context.totalTokens * 0.0038, // Terkendala bottleneck storage NIC
      rdmaChannelAllocated: false,
    };
  }
}

4. Evaluasi Kinerja & Hasil Benchmark Empiris

Dalam pengujian ekstensif menggunakan model frontier berskala besar (DeepSeek-V3, Qwen-2.5-72B, dan Qwen-32B) pada kluster produksi dengan ribuan sesi agen otonom:

5. Implikasi bagi Infrastruktur AI Enterprise Masa Depan

Peralihan menuju era autonomous agent menuntut rekayasa ulang pada lapisan inferensi sistem. Mengasumsikan bahwa performa LLM semata-mata ditentukan oleh jumlah FLOPs GPU adalah kekeliruan besar pada beban kerja interaktif multi-turn. Arsitektur DualPath membuktikan bahwa orkestrasi asimetris antara storage NIC dan compute RDMA mampu melipatgandakan kapasitas serving tanpa memerlukan belanja modal (CapEx) perangkat keras komputasi baru.