1. Paradoks Skalabilitas Looped Transformers: Parameter $\mathcal{O}(1)$ vs KV-Cache $\mathcal{O}(T)$

Di tengah pergeseran komputasi AI menuju edge devices dan tingginya biaya klaster inferensi, looped architectures (seperti Parcae, Huginn, Recurrent Depth, dan Looped Mixture-of-Experts) muncul sebagai paradigma arsitektur paling menjanjikan. Alih-alih menumpuk puluhan atau ratusan layer independen dengan miliaran bobot baru, looped transformer melewatkan representasi token berulang kali (recurrence loop sebanyak $T$ iterasi) melalui blok layer yang sama dengan bobot terikat (tied weights).

Secara matematis, untuk model berparameter $P$, panjang konteks $L$, kedalaman blok $D$, dan dimensi KV $d_{\text{kv}}$, konsumsi memori inferensi $M$ terbagi menjadi dua komponen utama:

Inilah Inference-Memory Gap: Kendati footprint parameter $M_\theta$ tetap terkunci konstan di level $\mathcal{O}(P)$ tanpa peduli seberapa banyak perulangan komputasi dilakukan ($T = 8, 16, 32$), KV-cache ($M_{\text{kv}}$) justru tumbuh linier terhadap jumlah rekurensi $T$. Pada sistem serving produksi, memori KV-cache yang membengkak ini menyebabkan kegagalan Out-of-Memory (OOM), memicu penggusuran prefix cache (cache eviction), melipatgandakan latensi re-prefill, dan meruntuhkan throughput batching.

2. Mekanisme Teoretis: Kontraksi Dinamika Residual & Lipschitz Attention Caches

Mengapa sejumlah model rekuren dapat membagikan KV cache secara gratis, sementara model lainnya hancur total? Riset Prairie et al. (2026) merumuskan landasan matematika pertama untuk properti KV-shareability melalui teori pemetaan kontraksi (Banach fixed-point theorem).

Struktur umum looped language model membagi komputasi menjadi tiga blok terurut:

1. Prelude Block ($mathcal{P}$): Memetakan urutan token $s in mathcal{V}^n$ menjadi embedding laten $e = mathcal{P}(s) in mathbb{R}^{n imes d_e}$.
2. Recurrent Block ($mathcal{R}$): Memperbarui hidden state secara rekuren: $h_{t+1} = mathcal{R}(ar{mathbf{A}} cdot h_t + ar{mathbf{B}}e)$, dengan konstrain radius spektral $ ho(ar{mathbf{A}}) < 1.0$ untuk menjamin stabilitas aktivasi.
3. Coda Block ($mathcal{C}$): Memproyeksikan hidden state akhir $h_T$ ke distribusi probabilitas token output $p = mathcal{C}(h_T) in mathbb{R}^{n imes |mathcal{V}|}$.

Ketika blok rekuren $mathcal{R}$ dilatih menjadi operator kontraksi pada hidden state $h_t$, representasi akan konvergen ke sebuah titik tetap (fixed point) $hat{h}$:

Karena proyeksi matriks Key dan Value ($W_K, W_V$) bersifat locally-Lipschitz continuous terhadap $h$, maka cache $k_t^{(l)}$ dan $v_t^{(l)}$ pada setiap layer $l$ secara alamiah ikut konvergen ke titik tetap $hat{k}^{(l)}, hat{v}^{(l)}$. Mengganti cache intermediate dengan cache rekurensi terakhir $K_T, V_T$ hanya memicu perturbasi output atensi yang terikat secara ketat (bounded perturbation) oleh selisih residual:

Peran Vital Stochastic Depth vs Static Depth

Penelitian ini membuktikan secara empiris bahwa Stochastic Depth Pretraining (mengambil kedalaman perulangan secara acak $T sim Lambda(mu_{ ext{rec}})$ dari distribusi Poisson untuk tiap sekuens) secara inheren memaksa representasi untuk mencapai titik tetap. Karena bobot layer yang sama harus mampu menghasilkan representasi bernilai loss rendah pada sembarang kedalaman, representasi dilarang melayang (residual drift). Sebaliknya, model yang dilatih dengan kedalaman tetap (static depth) tidak memiliki dorongan kontraksi, sehingga KV-cachenya divergen dan tidak dapat dibagikan sama sekali.

3. Misteri Skalabilitas: Mengapa Model 770M & 1.3B Mengalami Ledakan Perplexity?

Namun, sebuah paradoks mengejutkan muncul saat para peneliti menguji model pada skala yang lebih besar (770M dan 1.3B). Kendati kedua model tersebut dilatih dengan stochastic depth dan diverifikasi konvergen ke titik tetap dalam mode normal (unshared), saat KV-sharing diterapkan, perplexity model 1.3B meledak secara dramatis dari 10.80 menjadi 17,100 (hancur total)!

Melalui isolasi layer per layer (layer ablation study), tim UCSD dan Together AI menemukan fakta mengejutkan:

• Jika hanya Layer 1 pada Rekurensi 1 yang mempertahankan KV mandiri (sementara seluruh layer lain dan rekurensi setelahnya menggunakan shared KV dari rekurensi terakhir), perplexity model langsung pulih sempurna ke 10.80!
• Kegagalan KV-sharing ternyata 100% terkonsentrasi pada interaksi awal di layer pertama dari perulangan pertama.
• Yang paling mencengangkan: analisis dekomposisi ruang vektor (subspace decomposition) mengungkap bahwa error pada layer pertama ini memiliki pairwise cosine similarity sebesar 0.99 di antara seluruh token!

4. Framework BeNice!: Dua Tahap Menuju Zero-Loss KV-Sharing

Untuk menutup celah ini tanpa memerlukan rollout sequential yang mahal di fase pretraining, peneliti merumuskan framework BeNice! yang elegan:

Di sini, $p_ heta^{(T)}$ adalah prediktor rekurensi penuh standar yang menjaga mutu model dasar, sedangkan $p_ heta^{(1 leftarrow T)}$ adalah prediktor hibrida yang menggunakan query dan residual rekurensi pertama tetapi dipasangkan dengan KV cache rekurensi ke-$T$. Nilai $gamma$ (ditetapkan antara $0.01$ hingga $0.06$) melatih layer pertama untuk toleran dan adaptif terhadap basis KV masa depan tanpa merusak kestabilan representasi akhir.

5. Komposisi Multi-Modal: Integrasi dengan MLA, KDA, dan Kuantisasi Ekstrem

Salah satu temuan paling bernilai bagi rekayasa sistem modern adalah sifat ortogonal dari KV-sharing. Penghematan memori dari BeNice! tidak meniadakan teknik kompresi KV lainnya; justru dapat ditumpuk (composed) secara langsung:

6. Implementasi Produksi & Evaluasi Sistemik pada SGLang & Mooncake Traces

Untuk memvalidasi dampak nyata di klaster komputasi berskala tinggi, tim peneliti mengimplementasikan kernel KV-sharing di dalam SGLang dan melakukan replay terhadap trace beban kerja nyata Mooncake menggunakan framework AIPerf. Model proxy GLM 4.7-FP8 dievaluasi pada berbagai tingkat kedatangan request (offered request rate).

Peningkatan masif pada TTFT dan throughput ini dimungkinkan karena bertambahnya kapasitas token di GPU mencegah terjadinya prefix cache eviction. Pada beban tinggi 2.0 request/detik, cache hit rate melonjak 8.1 poin persentase (dari 25.8% ke 33.9%), mengeliminasi siklus komputasi re-prefill yang sebelumnya menjadi bottleneck terparah pada LLM serving cluster.

7. Rekomendasi Taktis Rekayasa Serving Infrastruktur LLM 2026/2027

1. Standarisasi Stochastic Depth pada Fase Pretraining Model Rekuren: Jangan pernah melatih arsitektur recurrent transformer dengan kedalaman tetap (static depth) jika berniat menghemat memori saat serving. Sampling acak kedalaman per sekuens $T sim ext{Poisson}(mu_{ ext{rec}})$ adalah prasyarat mutlak untuk menginduksi dinamika kontraksi titik tetap.
2. Gunakan BeNice! Objective Sebagai Tahap Pasca-Latih Wajib: Untuk model skala $ge 770 ext{M}$ parameter, jangan mencoba menerapkan KV-sharing tanpa adaptasi. Terapkan 1800 step BeNice! finetuning dengan $gamma = 0.01 - 0.06$ untuk menetralisir token-independent basis shift di layer awal.
3. Implementasikan KV-Sharing Router di Inference Engine (SGLang/vLLM): Dalam custom runtime, konfigurasi paging memory manager untuk mengarahkan pointer atensi seluruh rekurensi $t < T$ ke blok fisik rekurensi ke-$T$. Ini mengubah kompleksitas memori serving dari $mathcal{O}(L cdot D cdot T cdot d_{ ext{kv}})$ kembali menjadi $mathcal{O}(L cdot D cdot d_{ ext{kv}})$.
4. Tumpuk dengan Kompresi Laten dan Kuantisasi Mikroskopis: Kombinasikan BeNice! dengan Multi-Head Latent Attention (MLA) dan kuantisasi NVFP4/MXFP4. Secara kumulatif, kombinasi ini mampu memperkecil footprint memori serving hingga lebih dari $10 imes$, memungkinkan model deep reasoning 32K token dijalankan pada GPU edge tunggal.