Kapasitas atau Bandwidth: Membaca Memori Akselerator Inferensi

Key takeaways

• Inferensi terdiri dari dua fase dengan karakter berbeda: prefill terikat komputasi, sedangkan decode terikat bandwidth memori. Satu kartu sulit optimal untuk keduanya sekaligus.
• Kapasitas memori menentukan seberapa besar model dan seberapa banyak sesi konkuren yang bisa ditampung; bandwidth memori menentukan langit-langit kecepatan token per detik. Keduanya tidak saling menggantikan.
• Pilihan HBM, GDDR7, atau LPDDR5X adalah titik kompromi antara bandwidth, kapasitas per watt, biaya, dan kebutuhan pendinginan, bukan urutan baik ke buruk.
• Dihitung dari angka vendor, kartu berbasis LPDDR5X dapat memberi kapasitas per watt jauh lebih tinggi, tetapi bandwidth per watt-nya tidak lebih baik daripada kartu HBM kelas atas.
• Angka puncak pada lembar spesifikasi adalah nilai teoretis dari vendor. Tanpa benchmark independen dan status ketersediaan yang jelas, angka itu belum bisa dipakai sebagai dasar sizing.

Satu pengumuman yang mengubah cara membaca lembar spesifikasi

Pada 12 Oktober 2026, di Open Compute Project Global Summit, Intel memberi nama produk pada akselerator yang sebelumnya hanya dikenal lewat kode Crescent Island: Intel GPU D-series. Menurut keterangan resmi Intel, kartu ini dibangun di atas arsitektur Xe3P dan menggabungkan memori LPDDR5X hingga 480 GB, bandwidth memori 1,5 TB/s, serta komputasi FP8 1,3 petaflops di dalam selubung daya 350 watt.

Semua angka itu adalah klaim vendor, dan satu catatan kaki pada rilis Intel sendiri penting untuk dibaca: kartu bermerek Intel membawa 160 GB LPDDR5X, sedangkan opsi hingga 480 GB disediakan bagi mitra ODM yang merakit kartu sendiri. Intel juga menyatakan sampling pelanggan sedang berjalan, tanpa mengumumkan harga maupun tanggal ketersediaan umum.

Yang menarik dari pengumuman ini bukan kartunya, melainkan pilihan teknologi memorinya. Akselerator pusat data kelas atas selama bertahun-tahun hampir selalu memakai HBM, memori bertumpuk yang dipasang satu paket dengan die komputasi. LPDDR5X berasal dari dunia yang berbeda: memori hemat daya yang biasa dipakai pada perangkat bergerak dan laptop. Begitu teknologi memorinya tidak lagi seragam, kapasitas dan bandwidth menjadi dua sumbu yang harus dibaca terpisah.

Inferensi punya dua fase dengan kebutuhan yang berlawanan

Melayani satu permintaan ke model bahasa terdiri dari dua fase. Fase prefill membaca seluruh prompt dan menghitung state key-value untuk setiap token masukan. Fase decode kemudian menghasilkan token keluaran satu per satu, dan setiap langkah bergantung pada hasil langkah sebelumnya sehingga tidak bisa diparalelkan dalam satu sesi.

Dokumentasi NVIDIA Dynamo menyatakan perbedaan ini secara eksplisit: prefill bersifat compute-bound sementara decode bersifat memory-bound. Alasannya bersifat aritmetis. Pada prefill, ribuan token diproses bersamaan terhadap satu set bobot yang sama, sehingga setiap byte bobot yang dibaca dari memori dipakai untuk banyak operasi aritmetika.

Pada decode, perbandingan itu terbalik. Untuk menghasilkan satu token bagi satu sesi, seluruh bobot lapisan yang aktif harus dibaca ulang dari memori, tetapi hanya dipakai untuk sedikit sekali operasi. Akibatnya unit komputasi banyak menunggu, dan yang menentukan kecepatan adalah seberapa cepat bobot bisa dialirkan dari memori ke chip.

Di samping itu ada komponen ketiga yang sifatnya lagi-lagi berbeda: KV cache. Ukurannya tumbuh seiring panjang konteks dikalikan jumlah sesi yang dilayani bersamaan. KV cache menuntut kapasitas, bukan bandwidth, dan inilah yang membuat kapasitas memori besar punya nilai tersendiri meski bandwidthnya sedang-sedang saja.

Aritmetika kasar: bandwidth menetapkan langit-langit

Ada perhitungan sederhana yang berguna sebelum menyentuh benchmark apa pun. Batas atas jumlah langkah decode per detik kira-kira sama dengan bandwidth memori dibagi jumlah byte bobot yang harus dibaca pada setiap langkah. Perhitungan ini mengabaikan pembacaan KV cache, overhead kernel, dan sparsitas model, jadi hasilnya adalah plafon optimistis, bukan prediksi kinerja.

Terapkan pada angka yang diumumkan Intel. Model 300 miliar parameter dalam presisi FP8 memakan sekitar 300 GB untuk bobotnya saja, satu byte per parameter. Pada bandwidth 1,5 TB/s, membaca 300 GB bobot memerlukan sekitar 0,2 detik, yang berarti plafon sekitar lima langkah decode per detik ketika hanya satu sesi dilayani.

Bandingkan dengan kartu berbasis HBM. Datasheet AMD untuk Instinct MI355X mencantumkan 288 GB HBM3E dengan bandwidth puncak 8 TB/s. Pada bandwidth itu, membaca 300 GB bobot hanya memerlukan sekitar 37,5 milidetik, setara sekitar 27 langkah per detik. Namun 300 GB tidak muat di satu kartu 288 GB, sehingga model harus dipecah ke beberapa kartu lebih dulu.

Satu metrik turunan membuat perbedaan ini lebih mudah dibaca: bandwidth per gigabyte kapasitas. Untuk MI355X, 8 TB/s dibagi 288 GB menghasilkan sekitar 27,8 GB/s per GB. Untuk konfigurasi Intel 480 GB, 1,5 TB/s dibagi 480 GB menghasilkan sekitar 3,1 GB/s per GB, kira-kira sembilan kali lebih rendah. Pada varian 160 GB angkanya naik menjadi sekitar 9,4 GB/s per GB.

Tiga teknologi memori, tiga titik kompromi

HBM mencapai bandwidth tinggi dengan menumpuk die DRAM dan menempatkannya satu paket dengan prosesor melalui jalur yang sangat lebar. Dokumentasi arsitektur AMD ROCm menjelaskan bahwa MI350X dan MI355X menghubungkan delapan tumpukan HBM3E 12-Hi, masing-masing 36 GB, ditambah 256 MB Infinity Cache di I/O die. Harganya adalah selubung daya 1400 watt pada MI355X dan kebutuhan pendinginan cair langsung.

LPDDR5X mengambil jalan sebaliknya. Memori ini tidak mengejar bandwidth, melainkan kapasitas dan efisiensi daya, dan dipasang tanpa interposer silikon yang mahal. Hasilnya, menurut klaim Intel, adalah kartu PCIe berpendingin udara 350 watt yang bisa masuk ke rak pusat data yang sudah ada tanpa infrastruktur pendinginan khusus.

Perbandingan daya di sini perlu dibaca hati-hati karena arahnya tidak seragam. Dihitung dari angka vendor, MI355X memberi sekitar 5,7 GB/s bandwidth per watt sementara kartu Intel 480 GB memberi sekitar 4,3 GB/s per watt, jadi kartu HBM justru lebih unggul pada sumbu ini. Keunggulan LPDDR5X muncul pada sumbu lain: sekitar 1,37 GB kapasitas per watt berbanding 0,21 GB per watt, selisih lebih dari enam kali.

GDDR7 menempati posisi tengah, dan preseden untuk pendekatan ini sudah ada lebih dulu. NVIDIA mengumumkan Rubin CPX pada 9 September 2025, sehingga ini bukan berita baru melainkan rujukan arah desain. Rilis resmi NVIDIA menyebut kartu itu membawa 128 GB memori GDDR7 yang disebutnya hemat biaya, komputasi NVFP4 hingga 30 petaflops, serta kemampuan attention tiga kali lebih cepat dibanding sistem GB300 NVL72.

Yang penting dari Rubin CPX bukan angkanya, melainkan niat desainnya. NVIDIA memposisikannya sebagai kelas GPU khusus untuk pemrosesan konteks bervolume besar, yaitu fase prefill, dan menjalankannya berdampingan dengan GPU Rubin standar di dalam satu platform. Dengan kata lain, dua vendor besar sampai pada kesimpulan serupa: fase yang berbeda layak mendapat perangkat dengan profil memori yang berbeda.

Konsekuensinya di tingkat klaster, bukan hanya kartu

Begitu prefill dan decode dijalankan di perangkat yang berbeda, arsitektur layanan ikut berubah. Dokumentasi NVIDIA Dynamo menguraikan pola disaggregated serving, di mana prefill dan decode dipisah ke mesin yang berbeda sehingga masing-masing bisa diskalakan sendiri, misalnya dengan tensor parallel lebih besar untuk decode yang terikat memori dan lebih kecil untuk prefill yang terikat komputasi.

Pemisahan ini tidak gratis. KV cache yang dihasilkan mesin prefill harus dipindahkan ke mesin decode sebelum token pertama keluar, dan biaya pemindahan itu berpindah ke jaringan serta hirarki memori. Dokumentasi yang sama mencatat bahwa menambah replika prefill justru bisa menurunkan kapasitas layanan total apabila kapasitas KV di sisi decode yang menjadi penghambat.

Riset terbaru menunjukkan sulitnya memperkirakan efek gabungan ini. Sebuah praprint arXiv yang diunggah 11 Oktober 2026 oleh tim Peking University membangun simulator discrete-event untuk klaster inferensi dengan KV caching berjenjang. Argumen pokoknya: profil kinerja per operasi yang diukur terpisah tidak cukup menentukan latensi klaster, karena lokasi, kapasitas, dan kontensi KV ikut mengatur urutan eksekusi.

Tim itu melaporkan validasi terhadap SGLang pada Qwen3-8B dan Qwen3-32B di topologi satu-prefill-satu-decode dan tiga-prefill-satu-decode, dengan galat rata-rata latensi ujung ke ujung 1,34 persen pada beban tanya jawab dan 6,36 persen pada sesi coding yang direkam. Angka ini adalah hasil penelitian pada konfigurasi tertentu, bukan jaminan untuk beban kerja lain.

Satu detail bentuk fisik juga mudah terlewat. Kartu PCIe berpendingin udara umumnya tidak memiliki fabric scale-up khusus, sehingga pemecahan satu model ke beberapa kartu harus menempuh jalur PCIe. Sebagai pembanding, lembar spesifikasi AMD mencantumkan tujuh tautan Infinity Fabric sebesar 153 GB/s per kartu pada MI355X untuk keperluan tersebut.

Cara membaca lembar spesifikasi tanpa tertipu satu angka

Dari pembahasan di atas, ada beberapa pertanyaan yang lebih berguna daripada menanyakan berapa gigabyte memori sebuah kartu. Pertama, berapa bandwidth memori puncaknya, dan berapa bandwidth per gigabyte kapasitas. Kedua, berapa byte bobot yang harus dibaca per langkah decode untuk model yang benar-benar akan dijalankan, bukan model contoh dari vendor.

Ketiga, berapa banyak sesi konkuren yang masih bisa dilayani setelah bobot model menempati memori, karena sisa kapasitas itulah yang menjadi anggaran KV cache. Keempat, berapa selubung daya dan jenis pendinginannya, sebab kartu 350 watt berpendingin udara dan modul 1400 watt berpendingin cair menuntut rak, distribusi daya, dan rencana operasional yang berbeda.

Kelima, bagaimana kartu saling terhubung bila satu model perlu dipecah, dan apakah jalurnya PCIe biasa atau fabric khusus. Keenam, seberapa matang perangkat lunaknya untuk mesin penyajian yang sudah dipakai tim. Terakhir, periksa status produknya: sampling pelanggan bukan hal yang sama dengan ketersediaan umum, dan tanpa harga publik perhitungan biaya per token tidak bisa diselesaikan.

Apa yang belum bisa disimpulkan

Semua angka kinerja yang dibahas di sini berasal dari vendor dan bersifat teoretis puncak. Bandwidth efektif pada beban nyata selalu lebih rendah daripada angka puncak, dan selisihnya bergantung pada pola akses memori, ukuran batch, serta kualitas kernel.

Sampai tulisan ini disusun, belum ada hasil benchmark independen untuk Intel GPU D-series, misalnya pengajuan ke MLPerf Inference, dan Intel belum mengumumkan harga maupun tanggal ketersediaan umum. Tanpa keduanya, perbandingan biaya per token antara pendekatan LPDDR5X dan HBM masih berupa latihan aritmetika, bukan temuan terukur.

Kesimpulan yang bisa diambil sekarang lebih bersifat kerangka berpikir daripada rekomendasi perangkat. Pasar akselerator inferensi tampak bergerak dari satu produk serba bisa ke beberapa produk dengan profil memori berbeda, dan cara mengevaluasinya perlu mengikuti perubahan itu dengan memisahkan pertanyaan kapasitas dari pertanyaan bandwidth sejak awal.

NVIDIA GPU architecture comparison

Sources and further reading

• Intel Accelerates Open Infrastructure for the Agentic AI Era (12 Oktober 2026)
• NVIDIA Unveils Rubin CPX: A New Class of GPU Designed for Massive-Context Inference (9 September 2025)
• AMD Instinct MI355X GPU — spesifikasi produk
• AMD Instinct MI350 Series microarchitecture — ROCm documentation
• Disaggregated Serving — NVIDIA Dynamo documentation
• Compositional Performance Modeling of LLM Inference Clusters with Hierarchical KV Caching, arXiv:2610.15366 (11 Oktober 2026)