VRAM, Bukan TFLOPS: Batas Nyata GPU untuk Video Generatif
Pada beban kerja video generatif, pembatas pertama yang ditemui tim bukan kecepatan komputasi melainkan kapasitas memori per kartu. Tulisan ini menjelaskan mengapa, dan bagaimana membaca kebutuhan VRAM sebelum memilih perangkat.
Key takeaways
- Kebutuhan memori video generatif tumbuh mengikuti resolusi dikalikan jumlah frame, sehingga naik jauh lebih cepat daripada kebutuhan komputasi.
- Kartu 24 GB secara praktis menjadi lantai bawah untuk model video terbuka kelas besar, dan umumnya mentok pada resolusi 480p.
- Melangkah ke 48 GB membuka 480p dengan nyaman, sementara 720p pada model 14B parameter menuntut kisaran 65 hingga 80 GB.
- Ketersediaan NVLink menentukan apakah satu model besar bisa dipecah antar GPU, atau setiap kartu harus berdiri sendiri.
Mengapa memori lebih dulu habis daripada komputasi
Pada pembuatan gambar statis, satu langkah denoising bekerja pada satu tensor laten berukuran tetap. Begitu dimensi waktu masuk, tensor itu berlipat mengikuti jumlah frame yang dihasilkan sekaligus. Model video modern juga mempertahankan attention lintas frame agar gerakan tetap konsisten, dan itu berarti aktivasi dari banyak frame harus berada di memori pada saat yang sama, bukan diproses satu per satu lalu dibuang.
Akibatnya kebutuhan memori naik mendekati perkalian antara resolusi dan jumlah frame, sedangkan kebutuhan komputasi naik lebih landai karena bobot model tidak berubah. Inilah sebabnya sebuah kartu bisa terasa cepat pada benchmark sintetis tetapi langsung gagal mengalokasikan memori saat diminta menghasilkan klip yang lebih panjang atau lebih tajam.
Membaca angka kebutuhan dengan jujur
Dokumentasi model terbuka saat ini menempatkan 24 GB sebagai titik masuk yang realistis untuk varian besar. Angka itu memang cukup untuk menjalankan model, tetapi hampir tanpa ruang sisa, sehingga resolusi praktis tertahan di sekitar 480p dan panjang klip harus dipotong menjadi beberapa bagian.
Naik ke tingkat 40 sampai 48 GB mengubah pengalaman kerja secara nyata: 480p berjalan tanpa akrobat teknis, dan presisi FP8 memberi ruang tambahan. Untuk 720p pada model empat belas miliar parameter, rujukan teknis yang tersedia menyebut kisaran 65 hingga 80 GB, yang secara praktis mengarahkan pilihan ke kartu kelas data center dengan memori besar.
Konsekuensi anggarannya sering terbalik dari dugaan awal. Kartu dengan memori dua kali lebih besar jarang berharga dua kali lipat per jam, sehingga biaya per gigabita VRAM pada kartu besar justru bisa lebih rendah. Perbandingan yang adil karena itu sebaiknya dihitung per gigabita memori yang benar-benar terpakai, bukan per unit kartu.
Topologi antar-GPU menentukan strategi, bukan hanya kecepatan
Kartu kelas konsumen pada generasi terakhir tidak lagi menyediakan NVLink, sehingga komunikasi antar-GPU harus melewati PCIe. Untuk pola kerja yang menjalankan delapan proses render independen dalam satu node, keterbatasan ini hampir tidak terasa karena setiap kartu memuat salinan modelnya sendiri.
Keadaan berubah ketika satu model tidak lagi muat pada satu kartu dan harus dipecah antar GPU. Pada kondisi itu bandwidth antar-kartu berubah menjadi penentu utama, dan jalur PCIe menjadi hambatan yang sulit ditutup dengan optimasi perangkat lunak. Karena itu keputusan membeli kartu bermemori besar sering lebih murah daripada menambah jumlah kartu kecil.
Satu kerangka sederhana sebelum memilih perangkat
Mulailah dari keluaran yang diinginkan, bukan dari daftar perangkat. Tetapkan resolusi target, durasi klip, dan jumlah pekerjaan paralel yang harus berjalan bersamaan, lalu cari kebutuhan memori dari dokumentasi model yang benar-benar akan dipakai. Setelah angka itu ada, pemilihan kartu menjadi pekerjaan aritmetika, bukan perdebatan selera.
Langkah terakhir yang sering dilewatkan adalah memeriksa lisensi dan bentuk fisik perangkat. Beberapa kartu berperforma tinggi tidak diizinkan dipakai pada lingkungan pusat data menurut perjanjian lisensi penggunanya, dan sebagian lain tidak tersedia dalam bentuk server standar. Memeriksa dua hal ini lebih awal mencegah rancangan yang tampak ekonomis di atas kertas namun tidak bisa dijalankan.
NVIDIA GPU architecture comparison
| Kapasitas VRAM | Resolusi praktis | Catatan operasional |
|---|---|---|
| 24 GB | 480p | Lantai bawah model besar; hampir tanpa ruang sisa |
| 40-48 GB | 480p nyaman | FP8 memberi ruang tambahan; masih berat untuk 720p |
| 65-80 GB | 720p | Rujukan teknis mengarah ke kartu kelas data center |
| 96 GB ke atas | 720p dengan ruang | Memungkinkan klip lebih panjang dan batch lebih besar |