COBRA-Skills 2026: Arsitektur Contextual Bandit-Guided Evolution, LinearUCB Dynamic Prioritization, dan Evidence-Grounded Population Refinement pada Autonomous AI Agents

Di era otonomisasi kecerdasan buatan, agen LLM (Language Model Agents) yang beroperasi pada tugas multi-langkah—seperti navigasi web, eksekusi kode, manipulasi spreadsheet, hingga penalaran sosial—sangat bergantung pada reusable skills: strategi tekstual terstruktur yang diinduksi dari pengalaman masa lalu. Namun, paradigma optimasi skill generasi pertama (seperti SkillOpt dan Trace2Skill) memiliki kelemahan fatal: biaya komputasi yang selangit akibat evaluasi eksekusi berulang kali pada ribuan contoh tugas, serta pemborosan token model pengajar (teaching model).

1. Paradoks Optimasi Skill: Antara Ledakan Biaya dan Kelemahan Heuristik

Untuk memahami signifikansi COBRA-Skills, kita harus melihat bagaimana agen berbasis LLM belajar dari interaksi lingkungan. Ketika sebuah agen gagal menyelesaikan tugas (misalnya manipulasi data multi-tabel di SpreadsheetBench atau interaksi embodied di ALFWorld), agen dapat menginduksi aturan prosedural untuk memperbaiki perilakunya di masa depan.

Namun, metode yang ada saat ini menghadapi hambatan skala ekonomi yang parah:

• Evaluasi Eksekusi Terlalu Mahal (Costly Target Evaluation): Menguji setiap kandidat skill baru memerlukan target agent untuk menjalankan puluhan atau ratusan trajectory lengkap. Jika sebuah framework menghasilkan 100 kandidat skill dan menguji semuanya, biaya komputasi inferensi meledak secara kuadratik.
• Ketergantungan Ekstrem pada Teaching Model: Framework seperti SkillOpt memanggil LLM frontier berbiaya mahal (misalnya GPT-5.5 dengan penalaran tinggi) di setiap iterasi untuk menganalisis trajectory secara komprehensif, menghabiskan jutaan token hanya untuk revisi marjinal.
• Ruang Pencarian Statis vs. Dinamis: Pendekatan bandit tradisional mengasumsikan himpunan opsi (arms) bersifat statis. Di sisi lain, algoritma genetika murni sering kali mengevaluasi mutasi secara acak tanpa mengindahkan eksploitasi reward masa lalu, membuang budget pada kandidat yang jelas-jelas inferior.

2. Formulasi Masalah: Budgeted Sequential Optimization

COBRA-Skills memformulasikan optimasi skill ke dalam kerangka matematika formal: Diberikan subset kecil contoh tugas \(\mathcal{D}_{\mathrm{opt}} \subset \mathcal{D}\) (hanya 50 contoh), trajektori tanpa skill awal \(\mathcal{T}_0\), dan horizon budget tetap \(T\) ronde. Tujuannya adalah menemukan skill optimal \(s^\star\) dari himpunan kandidat yang dieksplorasi \(\mathcal{S}_T\) sedemikian rupa sehingga memaksimalkan metrik kinerja yang diharapkan:

Kunci dari COBRA-Skills adalah memperlakukan setiap kandidat skill \(s\) sebagai sebuah arm dalam setting contextual bandit, di mana fitur arm didefinisikan oleh representasi embedding semantiknya: \(z_s = \phi(s)\), menggunakan embedding model terbekukan (misalnya Qwen3-Embedding-4B).

3. Dual Mechanism: Neural Reward Predictor & LinearUCB Exploration

Alih-alih mengevaluasi seluruh kandidat skill di populasi pada setiap ronde, COBRA-Skills hanya mengevaluasi satu kandidat dengan skor prioritas tertinggi. Skor prioritas \(U_t(s)\) dibangun dari dua komponen yang saling melengkapi:

Skor prioritas gabungan dirumuskan sebagai:

Skor ini memiliki dwifungsi: (1) menentukan kandidat mana yang berhak dieksekusi oleh target agent di ronde berjalan, dan (2) menentukan kandidat mana yang paling tidak bernilai untuk di-pruning saat jadwal evolusi tiba.

4. Evidence-Grounded Population Evolution: Tiga Operator Khusus

Alih-alih meregenerasi populasi setiap ronde, COBRA-Skills menerapkan Scheduled Evolution. Pembaruan populasi hanya dipicu ketika memenuhi interval minimum \(d = 3\) dan kriteria pertumbuhan logaritmik:

Ketika kondisi terpenuhi, \(m = 3\) kandidat dengan skor prioritas terendah dibuang, dan slot kosong diisi menggunakan 3 operator evolusi yang berpijak pada bukti empiris trajektori (evidence-grounded):

5. Hasil Eksperimen Komprehensif Lintas 6 Benchmark & 3 Model

Evaluasi dilakukan pada 6 tolok ukur heterogen yang merepresentasikan spektrum tugas agen modern: SearchQA (retrieval & QA), SpreadsheetBench (multi-turn spreadsheet manipulation), DocVQA (multimodal document understanding), LiveMath (komputasi matematika tingkat olimpiade), SocialMaze (deduksi peran sosial tersembunyi), dan ALFWorld (pengambilan keputusan embodied).

6. Generalisasi Eksternal: Claude Code, Codex, dan Self-Teaching

Pertanyaan krusial dalam rekayasa sistem agen adalah: Apakah skill yang dioptimalkan dengan harness tertentu dapat ditransfer ke harness produksi lain?

Peneliti menguji skill hasil COBRA-Skills pada target model Qwen3.6-35B-A3B di bawah harness CLI eksternal:

• Claude Code Harness: Akurasi meningkat dari 57.1% (no-skill) dan 64.0% (SkillOpt) menjadi 68.2% (+11.1 pp).
• OpenAI Codex Harness: Akurasi meningkat dari 59.7% (no-skill) dan 71.1% (SkillOpt) menjadi 72.4% (+12.7 pp).
• Self-Teaching (Tanpa Teacher Model Frontier): Ketika GPT-5.5 digantikan oleh target model itu sendiri untuk menginduksi dan memutasi skill, kinerja COBRA-Skills hanya turun marjinal dari 73.5% ke 72.5%, sementara biaya optimasi terpotong setengahnya lagi. Ini membuktikan bahwa mekanisme bandit dan evolusi tidak bergantung pada kepintaran guru eksternal.
• Cross-Model Transferability: Dari 36 pasangan transfer lintas model (misal skill dioptimasi di Qwen lalu dievaluasi di Gemma atau GPT), 34 di antaranya berhasil melampaui baseline model tujuan, membuktikan bahwa skill yang diinduksi merupakan heuristik logika universal, bukan overfitting representasi token.

7. Rekomendasi untuk Platform Engineering & Agent Frameworks

Bagi tim pengembang yang membangun agen internal di level enterprise (misalnya Hermes Agent, LangGraph, CrewAI, AutoGen, atau custom tool orchestrators), temuan makalah ini memberikan cetak biru implementasi nyata:

1. Tinggalkan Re-evaluation Brute-Force: Jangan pernah mengevaluasi seluruh pustaka skill secara berurutan. Pasang lightweight contextual bandit di atas embedding skill untuk memprediksi probabilitas keberhasilan sebelum eksekusi dimulai.
2. Gunakan LinearUCB Exploration Bonus: Tanpa suku eksplorasi \(\nu \sqrt{z_s^\top A^{-1} z_s}\), agen akan terjebak merevisi skill yang sama berulang kali dan melewatkan inovasi pendekatan baru.
3. Batasi Sampel Optimasi ke 50 Kasus: Menguji pada ratusan data pelatihan terbukti hanya membuang kuota API tanpa peningkatan generalisasi yang signifikan. 50 kasus representatif sudah cukup menjadi sinyal reward yang solid bagi bandit.