Menebak lalu Memverifikasi: Cara Speculative Decoding Mempercepat Inferensi

Key takeaways

• Speculative decoding memakai drafter kecil untuk mengusulkan beberapa token, lalu model target memverifikasi semuanya dalam satu kali forward pass. Token hanya dipakai bila diterima model target, sehingga keluaran tetap sama dengan decode biasa kecuali kriteria penerimaannya sengaja dilonggarkan.
• Manfaatnya datang dari pergeseran titik hambat: verifikasi menaikkan kebutuhan komputasi tanpa menaikkan jumlah byte bobot yang dibaca, sehingga decode bergerak dari wilayah terikat memori ke wilayah terikat komputasi.
• Panjang draft bukan parameter yang makin besar makin baik. Ada titik saturasi, dan setelah titik itu waktu jalan tumbuh mengikuti panjang draft sementara jumlah token yang diterima tumbuh sublinear.
• Menurut dokumentasi NVIDIA, teknik ini menukar memori dan komputasi dengan latensi. Pada beban yang sudah jenuh tanpa komputasi sisa, ia bisa gagal menaikkan throughput dan bahkan menurunkannya.
• Pada Oktober 2026 drafter mulai dikirim menyatu dengan rilis modelnya, bukan lagi sebagai komponen yang dipasang terpisah oleh operator.
• Angka percepatan yang diumumkan vendor memakai metrik, model, dan perangkat yang berbeda-beda sehingga tidak bisa dibandingkan langsung satu sama lain.

Hambatan yang sedang diserang

Pada pembangkitan teks autoregresif, setiap token keluaran bergantung pada token sebelumnya. Untuk satu sesi, langkah-langkah itu tidak bisa diparalelkan. Setiap langkah harus membaca ulang bobot lapisan yang aktif dari memori, tetapi hanya memakainya untuk sedikit operasi aritmetika. Akibatnya unit komputasi banyak menganggur dan yang menentukan kecepatan adalah bandwidth memori.

Cara lazim mengisi komputasi yang menganggur adalah menaikkan konkurensi, agar satu kali pembacaan bobot dipakai untuk banyak permintaan. Masalahnya, itu memperbesar KV cache dan memperburuk latensi per pengguna, sehingga tidak selalu bisa dipakai ketika target interaktivitasnya ketat.

Speculative decoding menawarkan jalan lain. Blog teknis NVIDIA tentang co-design model, yang perlu dicatat terbit 2 September 2026 dan bukan pengumuman Oktober, menjelaskan bahwa teknik ini mengurangi jumlah iterasi decode sekaligus menaikkan intensitas aritmetika model target tanpa menuntut konkurensi yang lebih tinggi. Dua sifat itu membuatnya menarik untuk beban kerja agentik yang menuntut respons cepat pada jumlah sesi sedang.

Mekanika draft lalu verifikasi

Alurnya dua langkah. Pertama, sebuah drafter yang jauh lebih murah mengusulkan sejumlah token lanjutan. Kedua, model target memproses seluruh usulan itu dalam satu kali forward pass dan memeriksa mana yang memang akan ia hasilkan sendiri. Penerimaan berjalan berurutan sampai ketidakcocokan pertama, lalu siklus berikutnya dimulai dari posisi itu.

Konsekuensi aturan ini menyangkut kebenaran keluaran, bukan kecepatan. Karena hanya token yang diterima model target yang dipertahankan, speculative decoding menghasilkan urutan keluaran yang sama dengan decode biasa, kecuali kriteria penerimaannya sengaja dilonggarkan. Dokumentasi NVIDIA NIM menyatakan hal serupa: ketika tebakan drafter salah, model target kembali ke decode normal sehingga keluaran tidak terdegradasi.

Dua besaran dipakai untuk menalar kinerjanya. Panjang draft, dinotasikan D pada blog NVIDIA, adalah jumlah token yang diusulkan per iterasi model target. Panjang penerimaan, atau acceptance length, adalah jumlah token yang benar-benar dihasilkan per iterasi, berkisar dari 1 sampai 1+D karena model target selalu bisa menghasilkan satu token sahih sendiri.

Besaran ketiga adalah acceptance rate, yaitu proporsi token draft yang diterima. Dokumentasi NIM menegaskan angka ini sangat bergantung pada jenis beban kerja seperti coding, matematika, atau penulisan, sehingga ia properti pasangan drafter, model, dan trafik, bukan angka tetap milik sebuah teknik.

Aritmetikanya: mengapa verifikasi lebih murah daripada kelihatannya

Kuncinya ada pada apa yang berubah dan apa yang tidak ketika D token diverifikasi bersamaan. Menurut blog co-design NVIDIA, selama verifikasi kebutuhan komputasi tumbuh mengikuti faktor 1+D sementara jumlah akses memori tetap: bobot yang sama hanya dibaca sekali untuk memeriksa banyak token. Strateginya karena itu adalah menaikkan D sampai verifikasi berpindah dari terikat memori menjadi terikat komputasi.

Pada lapisan linear, efeknya terlihat pada dimensi GEMM. Blog yang sama menjelaskan bahwa dengan spekulasi, dimensi M setiap GEMM lapisan linear model target tumbuh dari M menjadi M dikali 1+D, sehingga panjang draft yang lebih besar membuat GEMM mencapai kinerja puncak pada batch yang lebih kecil. Contoh terukur yang disebut NVIDIA: dengan D sama dengan 7, batch yang dibutuhkan untuk menjadi terikat komputasi hanya seperdelapan dibanding D sama dengan 0.

Pada attention, penalarannya memakai intensitas aritmetika. Blog NVIDIA menyatakan attention fase decode punya intensitas aritmetika sekitar 2 dikali G, dengan G adalah jumlah query head yang berbagi satu KV head. Spekulasi menaikkannya menjadi 2 dikali G dikali 1+D, sebab token hasil tebakan memakai ulang KV cache yang sama. Dengan asumsi kernel attention mencapai utilisasi baik pada dimensi GEMM-M sebesar 128, blog itu menyimpulkan panjang draft optimalnya adalah 128 dibagi G, dikurangi satu.

Hasil berikut adalah turunan aritmetika dari rumus tersebut, bukan hasil pengukuran. Untuk model dengan G sama dengan 8, panjang draft optimalnya sekitar 15; untuk G sama dengan 32, angkanya turun menjadi 3. Selisih lima kali ini menunjukkan konfigurasi yang bagus pada satu model bisa jauh dari optimal pada model lain dengan rasio query terhadap KV head yang berbeda.

Batas atasnya juga jelas. Blog NVIDIA mencatat bahwa setelah titik saturasi throughput, attention tidak lagi terikat bandwidth DRAM dan waktu jalannya ikut tumbuh mengikuti D, sementara panjang penerimaan hanya tumbuh sublinear terhadap D. Menaikkan D melewati titik itu justru memperlambat.

Gelombang Oktober 2026: drafter dikirim bersama modelnya

Yang baru dalam dua pekan terakhir bukan tekniknya, melainkan posisinya dalam rantai pasok perangkat lunak. Pada 15 Oktober 2026 NVIDIA merilis Nemotron 3.5 Super VL, model mixture-of-experts 120 miliar parameter yang mengaktifkan 12 miliar parameter per token. Rilis itu memperkenalkan LiLiCorr, teknik speculative decoding terbuka yang menilai kandidat token secara bersama-sama di seluruh draft, bukan satu per satu secara terpisah. NVIDIA menyebut LiLiCorr sebagai drafter yang disarankan untuk inferensi latensi rendah model itu pada DGX Spark, dengan klaim pembangkitan token hingga 2,3 kali lebih cepat dibanding decode tanpa spekulasi.

Pola serupa muncul di luar NVIDIA. Lembar model MiniMax-M3.1-Flash versi 1.0, bertanggal Oktober 2026 pada katalog NVIDIA, menjelaskan model mixture-of-experts 428 miliar parameter dengan 23 miliar parameter aktif per token yang menyertakan draft head DSpark. Catatan rilisnya menyebut DSpark menggantikan pendekatan sebelumnya yang mirip EAGLE berbasis MTP. Konsekuensinya bagi tim platform: kualitas drafter kini sebagian ditentukan di pihak penerbit model, bukan hanya oleh penyetelan operator.

Di sisi mesin inferensi, pada 21 Oktober 2026 di GTC Berlin NVIDIA mengumumkan dukungan speculative decoding dengan MTP masuk ke llama.cpp, dengan klaim tugas agentik ujung ke ujung hingga 1,4 kali lebih cepat untuk Qwen 3.8 Flash Next pada RTX PRO 6000 Blackwell. Untuk vLLM, speculative decoding yang lebih cepat bersama kernel prefill FlashInfer baru diklaim membuat tugas agentik dengan Qwen3.8 27B hingga 1,3 kali lebih cepat pada DGX Spark, sementara GLM 5.3 Flash pada DGX Station disebut mendapat throughput hingga 1,2 kali lebih tinggi.

Keempat angka itu klaim vendor dan tidak sebanding satu sama lain: metriknya berbeda, mulai dari kecepatan pembangkitan token sampai throughput, model dan perangkatnya berbeda, dan semuanya memakai kata hingga yang menandai batas atas pada kondisi terbaik.

Satu perubahan terakhir berdampak pada arsitektur penyajian. Dokumentasi TensorRT-LLM yang tercatat terakhir diperbarui 19 Oktober 2026 menyatakan pendekatan dua model untuk EAGLE3 sudah dihapus, dan EAGLE3 kini selalu berjalan sebagai implementasi satu model dengan model draft sebagai submodul. Dokumen yang sama menyebut penyajian terdisagregasi dengan EAGLE3 didukung pada backend PyTorch.

Tiga keluarga drafter dan harga memorinya

Dokumentasi NVIDIA NIM membagi drafter menjadi tiga bentuk: model terpisah seperti EAGLE3, head tambahan yang menyatu pada model target seperti MTP, dan metode tanpa model berupa histogram pencarian dari prompt yang disebut n-gram. Ketiganya berbeda bukan hanya pada kualitas tebakan, tetapi pada ongkos memori yang harus disiapkan lebih dulu.

Dokumen itu menyatakan setiap metode selalu memerlukan memori GPU tambahan, dengan urutan EAGLE3 jauh di atas MTP, yang masih di atas n-gram. Alasannya langsung: EAGLE3 membawa model draft dengan bobot dan KV cache tersendiri, MTP hanya menambah beberapa head prediksi pada model target, sedangkan n-gram tidak memuat model apa pun.

Satu catatan operasional dari dokumentasi NIM: metode yang dikirim bersama sebuah profil adalah opsi yang didukung dan tervalidasi, belum tentu yang optimal untuk beban kerja tertentu. Dokumen itu menyarankan mengukur acceptance rate dan throughput pada trafik representatif, dan menyebut draft EAGLE3 yang dilatih pada trafik sendiri biasanya mengalahkan default.

Kapan teknik ini justru merugikan

Dokumentasi NVIDIA NIM merumuskan pertukarannya dalam satu kalimat: speculative decoding menukar memori dan komputasi dengan latensi. Ia menolong paling banyak ketika GPU punya komputasi sisa, misalnya pada konkurensi rendah sampai sedang. Pada beban yang sudah jenuh tanpa komputasi sisa, dokumen itu menyatakan teknik ini bisa gagal menaikkan throughput dan bahkan bisa menurunkannya, sebab token draft yang ditolak menjadi pekerjaan terbuang. Dua cara mengisi komputasi menganggur, menaikkan konkurensi dan menaikkan panjang draft, memakan sumber daya yang sama.

Risiko kedua bersifat kapasitas, bukan kecepatan. Karena setiap metode menambah jejak memori, mengaktifkannya pada sistem yang sudah mepet dapat memicu kehabisan memori. Dokumentasi NIM menyarankan memastikan ada ruang memori lebih dulu, terutama untuk EAGLE3, dan menyebut mitigasi seperti mengecilkan jejak KV cache atau menurunkan konkurensi. Kesimpulan praktisnya, teknik ini adalah pengaturan yang bergantung pada profil trafik, bukan sakelar yang dinyalakan sekali untuk semua kondisi.

Apa yang belum bisa disimpulkan

Tidak ada satu pun angka percepatan di atas yang berasal dari pengukuran independen. Semuanya klaim vendor pada konfigurasi pilihan vendor, dan tidak ada benchmark pihak ketiga yang menguji LiLiCorr, DSpark, maupun percepatan llama.cpp dan vLLM itu pada beban kerja dan metodologi yang sama. Klaim-klaim ini karena itu belum bisa dipakai sebagai dasar sizing.

Acceptance rate yang bisa dicapai pada trafik nyata sebuah organisasi juga tidak bisa diperkirakan dari dokumen publik. Dokumentasi NVIDIA sendiri menyatakan angka ini sangat bergantung pada beban kerja dan menyarankan pengukuran sendiri, sehingga tidak ada angka rujukan yang bisa dipinjam.

Selain itu, panjang draft optimal di atas berasal dari satu asumsi penyederhanaan, yaitu kernel attention mencapai utilisasi baik pada dimensi GEMM-M sebesar 128. Blog NVIDIA menyebut asumsi itu untuk perangkat GPU saat ini, dan nilainya bisa berubah antar generasi maupun antar implementasi kernel. Angka 15 dan 3 di atas karena itu titik awal untuk diuji, bukan rekomendasi konfigurasi.

NVIDIA GPU evolution timeline

1. 2 Sep 2026

   Panduan co-design NVIDIA diterbitkan

   Blog teknis NVIDIA memuat rumus percepatan, hubungan panjang draft dengan GEMM dan attention, serta lima panduan pemilihan. Tanggal aslinya disebut karena ini rujukan teknis, bukan berita Oktober.

2. 15 Okt 2026

   Nemotron 3.5 Super VL dan LiLiCorr

   NVIDIA merilis model MoE 120B dengan 12B parameter aktif per token, memperkenalkan LiLiCorr sebagai drafter yang disarankan di DGX Spark dengan klaim hingga 2,3 kali lebih cepat.

3. 19 Okt 2026

   Dokumentasi TensorRT-LLM diperbarui

   Pendekatan dua model untuk EAGLE3 dihapus; EAGLE3 kini selalu berjalan sebagai implementasi satu model dengan model draft sebagai submodul.

4. 21 Okt 2026

   Percepatan mesin inferensi di GTC Berlin

   Speculative decoding dengan MTP masuk llama.cpp, dan vLLM mendapat speculative decoding yang lebih cepat bersama kernel prefill FlashInfer baru.

5. Okt 2026

   MiniMax-M3.1-Flash v1.0

   Model MoE 428B dengan 23B parameter aktif per token merilis draft head DSpark yang menggantikan pendekatan MTP mirip EAGLE sebelumnya.

NVIDIA GPU architecture comparison

Sources and further reading

• Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference (NVIDIA Technical Blog, 2 September 2026)
• NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning (NVIDIA Technical Blog, 15 Oktober 2026)
• Bringing the Spark to Europe: Local Intelligence Powers Next Wave of Agents (NVIDIA Blog, 21 Oktober 2026)
• Speculative Decoding (Dokumentasi NVIDIA NIM for LLM and VLM, versi 2.1.4)
• Speculative Sampling (Dokumentasi TensorRT-LLM, terakhir diperbarui 19 Oktober 2026)
• MiniMax-M3.1-Flash model card (NVIDIA API Catalog, versi v1.0 Oktober 2026)