Detrás de cada token de ChatGPT, de cada frame de Sora y de cada LLM que ejecutas en Ollama, hay un acelerador haciendo la misma cuenta billones de veces: multiplicación de matrices. Las dos formas de hacerlo en silicio — GPU (NVIDIA) y TPU (Google) — parten de filosofías opuestas. Este texto parte del vídeo GPU vs TPU: How AI Chips Actually Work, de Pouria Taj.
El vídeo usa la H100 y la TPU v5e como piezas de enseñanza. En 2026 el suelo de fábrica ya es Blackwell por un lado y Trillium/Ironwood por el otro; la lección de arquitectura no ha cambiado.
Por qué la IA es MatMul
Un LLM no vomita el párrafo de una vez. La generación es autorregresiva: el prompt se convierte en embeddings, el Transformer produce una distribución sobre el siguiente token, el token elegido vuelve a la entrada y el ciclo se repite.
En los diagramas, neuronas y flechitas. En el silicio, matrices de pesos. El GPT-3 (175 B, 96 capas) ya apila decenas de miles de ellas; Claude Opus y GPT-4 ascienden a cientos de miles de millones o billones de parámetros. Casi todo el coste es el mismo MAC: fila × columna, suma, escribe la celda de salida.
La suerte del hardware: cada celda de la matriz resultante es independiente. No hace falta esperar a la [0,0] para calcular la [500,200]. Por eso una CPU de pocos núcleos rápidos pierde de goleada, y por eso existen la GPU y la TPU.
Dentro de la GPU: H100
El die GH100 (Hopper) de la H100 SXM: 80 mil millones de transistores, 8 GPCs, 132 SMs, 80 GB de HBM3 a 3,35 TB/s, TDP hasta 700 W.
GH100 (H100 SXM)
80 B transistores | 8 GPC | 132 SM | 80 GB HBM3
SM × 132
4 warp schedulers
128 CUDA cores (FP32/INT32)
4 Tensor Cores (MatMul 4×4, FP8/FP16/BF16)
256 KB registradores | até 228 KB shared/L1
- 16.896 núcleos CUDA: ALU de uso general. A ~1,98 GHz eso da ~67 TFLOPS FP32 (un FMA por ciclo).
- 528 Tensor Cores (4 por SM): hardware de álgebra densa. Bloque de matriz por instrucción, FP16/BF16/FP8. Pico de marketing: ~2 PFLOPS FP8 denso, ~4 PFLOPS con dispersión 2:4.
El host despacha un kernel. Un MatMul 4096×4096 tiene 16,7 millones de celdas → millones de hilos, empaquetados en bloques (hasta 1024). El GigaThread Engine reparte los bloques entre los 132 SMs. Dentro del SM, los hilos avanzan en warps de 32, misma instrucción en el mismo ciclo (SIMT).
El cuello de botella: muro de memoria
Un MAC en los registros: ~4 ciclos. Traer el número de la HBM3 hasta el núcleo: cientos de ciclos. Escribir el resultado: otro viaje. Y miles de núcleos vecinos buscan, al mismo tiempo, la misma fila y la misma columna que el compañero de al lado acaba de cargar.
Gran parte de la energía de la GPU no es matemática — es mover dato. Es el mismo muro que la industria de DRAM intenta romper con HBM y LPDDR (vea el CXMT en el LPDDR6).
La apuesta de la TPU: arreglo sistólico
La pregunta de Google: y si el núcleo pasase el número que acaba de usar directamente al vecino, sin devolver a la memoria?
La TPU es un ASIC solo para tensores. En la v5e, cada TensorCore tiene cuatro MXU de 128×128 MACs — 16.384 unidades por array, casi el total de CUDA cores de la H100, pero soldadas unas a otras. Sin registro en medio. El nombre viene de la sístole: el dato pulsa al ritmo del reloj.
X0 X1 X2
| | |
v v v
Y0→ MAC → MAC → MAC →
| | |
v v v
Y1→ MAC → MAC → MAC →
| | |
v v v
S0 S1 S2
- Pesos se quedan: salen de la HBM, entran en la VMEM (SRAM) y quedan fijos en cada celda del array.
- Entradas fluyen: el prompt entra por la izquierda y avanza un paso por ciclo.
- Acumulación desciende: cada celda multiplica lo que pasa por el peso local, suma lo que vino de arriba, lo envía hacia abajo.
- El resultado sale en el borde — columna a columna, sin viaje de ida y vuelta.
La HBM se toca dos veces: cargar el peso, leer el resultado. Casi 100% de la energía se vuelve cómputo, no tránsito. v5e: ~197 TFLOPS BF16, 16 GB de HBM, 819 GB/s — menos pico que la H100, más julio por MAC en MatMul densa. En 2026 el mismo diseño creció: Trillium (v6e) fue la 256×256; Ironwood (TPU7x) alcanza ~4,6 PFLOPS FP8 y 192 GB de HBM3e por chip, todavía solo en GCP.
En 2026: Blackwell por un lado, Ironwood por el otro
La H100 y la v5e siguen siendo las mejores piezas de enseñanza: el diseño es limpio y las cifras caben en la cabeza. Pero quien vaya a comprar hoy no compra ninguna de las dos. Vale la pena ver en qué se convirtió la misma lógica cuando se lleva al límite.
Del lado de NVIDIA, la arquitectura Blackwell abandonó el die único. Una GPU Blackwell empaqueta 208 mil millones de transistores en dos dies en el límite del retículo, cosidos por una interconexión chip a chip de 10 TB/s que hace que ambos se comporten como una sola GPU. El Transformer Engine de segunda generación bajó a FP4: menos bits por número, el doble de rendimiento en la misma área. En un DGX B200, cada GPU entrega del orden de 9 PFLOPS FP4 densos, con 180 GB de HBM3e y ~8 TB/s de ancho de banda — frente a los 80 GB y 3,35 TB/s de la H100. Y el recorte de venta dejó de ser la tarjeta: el GB200 NVL72 es un bastidor refrigerado por líquido con 36 CPU Grace y 72 GPU Blackwell en un único dominio NVLink.
Por parte de Google, el TPU7x Ironwood siguió el camino opuesto al de la flexibilidad: dos TensorCores y cuatro SparseCores por chip, MXU de 256×256, 4.614 TFLOPS FP8, 192 GB de HBM3E a 7.380 GB/s, y superpod de 9.216 chips conectados mediante conmutación óptica. Fue anunciado en abril de 2025 y entró en disponibilidad general en 31 de marzo de 2026.
Fíjate que los dos convergieron en el formato numérico — FP4 y FP8 — y divergieron en el alcance. NVIDIA apila silicio genérico y resuelve la escala con NVLink; Google mantiene el array rígido y resuelve la escala con espejo y láser. La cuenta de abajo, el MAC, es la misma en ambos lados.
Ya no es un duelo: el tercer banco
En 2017 la pregunta “¿GPU o TPU?” tenía sentido porque solo había esas dos respuestas. En 2026 el mapa tiene más gente.
- AMD. La línea Instinct (MI300X, MI325X y sucesoras) coloca mucha HBM por placa y funciona en Linux con el ROCm, que es abierto. El cuello de botella nunca ha sido el silicio: es la distancia entre un kernel que compila en CUDA y el mismo kernel en HIP. Con cada release esa distancia se acorta, pero aún existe.
- AWS Trainium. Amazon fabricó su propio ASIC y construyó un centro de datos entero a su alrededor: es el tema del post sobre Project Rainier. Misma tesis que la TPU, dueño distinto.
- NPUs en el procesador. Intel, AMD y los SoC ARM ya incorporan un bloque de inferencia en el die de la CPU. No entrenan nada, pero resuelven el modelo pequeño ejecutándose en local sin encender la GPU.
El patrón es claro: quien tiene carga predecible y escala suficiente para amortizar un proyecto de chip construye el ASIC. Todo el demás alquila GPU.
GPU vs TPU, lado a lado
| NVIDIA H100 (GPU) | Google TPU v5e | |
|---|---|---|
| Tipo | SIMT programable | ASIC de tensores |
| MatMul | CUDA + Tensor Cores, a través de registros/caché | MXU sistólico 128×128 |
| Memoria | HBM en todo momento | los datos fluyen celda a celda |
| Pico | ~2 PFLOPS FP8 denso / 700 W | ~197 TFLOPS BF16 |
| Dónde se ejecuta | AWS, Azure, GCP, on-prem, PC | solo Google (GCP / pods) |
| Software | CUDA, PyTorch, Triton, TensorRT | JAX, TensorFlow, XLA, PyTorch-XLA |
| Generación de 2026 | Blackwell B200 / GB200 NVL72 (FP4) | TPU7x Ironwood (FP8, superpod de 9.216) |
Por qué el mundo aún compra GPU
Si la TPU gasta menos julios en la misma cuenta, ¿por qué la cola de NVIDIA no se acaba?
- Rigidez del ASIC. La TPU es rápida porque el silicio es la matemática de los Transformers de ahora. Un modelo nuevo que no se sostenga sobre MatMul densa deja un centro de datos de ASIC en el vacío.
- La GPU no hizo esa apuesta. Cualquier kernel — física, molecular, híbrido, el próximo paper — cabe en software.
- El foso de CUDA. Dos décadas de bibliotecas y gente que ya sabe. El código nuevo sube al driver de NVIDIA el mismo día. El riesgo de adopción, para una empresa, es lo que decide la compra, no el TDP de la MXU.
¿Y en tu máquina?
Nada de esto cambia el hecho de que, en el Linux de tu escritorio, el acelerador es la GPU que está en el slot PCIe. Vale la pena saber leer lo que tienes:
# o que está no barramento
lspci | grep -Ei "vga|3d|display"
# NVIDIA: modelo, VRAM, driver, uso em tempo real
nvidia-smi
# AMD: o equivalente do ROCm
rocm-smi
# Intel/Arc e integradas
sudo intel_gpu_top
El número que decide si un modelo cabe no son los TFLOPS, es VRAM. Un modelo de 7 B en cuantización Q4 pide algo cerca de 5 GB; un 70 B en el mismo Q4 pasa de 40 GB y ya exige dos placas u offload a la RAM, con la caída de velocidad que viene con ello. Es la cuenta que el post de servidor reacondicionado hace en la práctica, y el motivo por el que llama.cpp e Ollama insisten tanto en GGUF cuantizado.
La TPU no se instala: solo existe dentro de Google, alquilada por horas en GCP o gratis en Colab y Kaggle. Si tu plan es ejecutar el modelo en local, el camino es CUDA o ROCm, y la comparación de este post sirve para entender por qué la cuenta cuadra así, no para elegir entre las dos.
Línea de tiempo
- 2006 — NVIDIA lanza CUDA y convierte la tarjeta de gaming en procesador de uso general.
- 2012 — AlexNet gana ImageNet entrenando en dos GTX 580 y demuestra que la red neuronal es un asunto de GPU.
- 2015 — Google pone la TPU v1 en producción interna, solo inferencia INT8.
- 2017 — sale el paper de la TPU v1; la v2 incorpora entrenamiento y bfloat16; el Transformer nace en pods de TPU.
- 2017 — la arquitectura Volta estrena Tensor Cores en NVIDIA: la GPU pasa a tener hardware dedicado de MatMul.
- 2020–2022 — Ampere y Hopper consolidan la brecha del CUDA; la A100 y después la H100 se convierten en moneda de cambio.
- 2021 — la TPU v4 estrena la conmutación óptica (OCS) y el toro 3D en el pod.
- 2023 — AMD lanza la serie Instinct MI300 con ROCm abierto; la carrera deja de ser de un único proveedor.
- 2024 — TPU v6e Trillium (MXU 256×256) y anuncio de Blackwell, con dos dies en un solo paquete.
- 2025 — GB200 NVL72 llega a los centros de datos; Anthropic cierra acceso a hasta 1 millones de TPUs.
- abr/2026 — el TPU7x Ironwood entra en disponibilidad general: 4.614 TFLOPS FP8 y superpod de 9.216 chips.
Referencias
- Vídeo: Pouria Taj — GPU vs TPU: How AI Chips Actually Work
- NVIDIA — arquitectura Hopper en profundidad
- Google Cloud — TPU v5e
- How to Scale Your Model — How to think about TPUs
- NVIDIA — arquitectura Blackwell
- Google Cloud — TPU7x (Ironwood)
- Google TPUs: arquitectura, generaciones y modelos
- Project Rainier: el centro de datos de AWS sin NVIDIA
- Cómo DeepSeek reescribió el Transformer
- llama-model: GGUF en Linux sin el demonio de Ollama
Especialización extrema frente a generalidad: la TPU muestra el techo de eficiencia cuando se conoce el cálculo; la GPU vende el seguro de que el cálculo de mañana aún cabe en el mismo rack. En el Linux del día a día, lo que tienes sobre la mesa sigue siendo la GPU — y el CUDA que vino con ella.