GPU (Graphics Processing Unit) dan TPU (Tensor Processing Unit) adalah jenis chip komputasi khusus yang menjadi tulang punggung perangkat keras di balik pelatihan dan penjalanan model AI modern, karena kemampuannya melakukan komputasi paralel dalam skala sangat besar jauh lebih efisien dibanding prosesor komputer konvensional (CPU).
GPU awalnya dirancang untuk merender grafis dalam video game dan aplikasi visual, yang membutuhkan pemrosesan jutaan piksel secara bersamaan (paralel). Kebutuhan komputasi ini ternyata memiliki kemiripan struktural dengan operasi matematis yang mendasari pelatihan neural network—terutama perkalian matriks dalam jumlah masif—yang membuat GPU sangat cocok untuk keperluan machine learning, meski awalnya tidak dirancang untuk tujuan tersebut. Perusahaan seperti Nvidia menjadi pemain dominan di pasar chip GPU untuk AI seiring ledakan kebutuhan komputasi AI sejak awal 2010-an.
TPU adalah chip yang dirancang secara khusus oleh Google sejak awal untuk mempercepat komputasi machine learning, berbeda dengan GPU yang pada dasarnya adalah adaptasi dari chip grafis. Karena dirancang khusus untuk tugas AI dari awal, TPU dapat menawarkan efisiensi komputasi dan energi yang lebih baik untuk beban kerja tertentu, meski penggunaannya lebih terbatas pada ekosistem Google Cloud.
Kelangkaan dan tingginya permintaan chip GPU/TPU kelas tinggi menjadi salah satu hambatan utama (bottleneck) dalam perlombaan pengembangan AI global sejak 2022-2023, mendorong lonjakan nilai pasar perusahaan produsen chip dan memicu investasi besar-besaran dari berbagai negara dan perusahaan teknologi untuk membangun kapasitas komputasi AI mereka sendiri, termasuk upaya sejumlah perusahaan besar mengembangkan chip AI kustom mereka sendiri guna mengurangi ketergantungan pada segelintir pemasok chip dominan.
Bagi developer aplikasi AI, pemahaman dasar tentang GPU/TPU penting terutama saat mempertimbangkan biaya infrastruktur untuk melatih atau menjalankan model AI sendiri (self-hosted), karena biaya sewa atau kepemilikan chip-chip ini menjadi komponen biaya terbesar dalam operasional sistem AI berskala besar.