Local Inference Calculator

Appearance

Capítulo 4: GPUs Soportadas ​

Base de Datos de GPUs ​

Local Inference Calculator incluye una base de datos completa de más de 40 GPUs, incluyendo tarjetas de consumidor, datacenter y entornos cloud.

GPUs NVIDIA GeForce - Serie RTX 30 ​

GPUVRAMArquitectura
RTX 306012 GBAmpere
RTX 3060 Ti8 GBAmpere
RTX 30708 GBAmpere
RTX 3070 Ti8 GBAmpere
RTX 308010 GBAmpere
RTX 3080 Ti12 GBAmpere
RTX 309024 GBAmpere
RTX 3090 Ti24 GBAmpere

GPUs NVIDIA GeForce - Serie RTX 40 ​

GPUVRAMArquitectura
RTX 40608 GBAda Lovelace
RTX 4060 Ti8 GBAda Lovelace
RTX 4060 Ti (16GB)16 GBAda Lovelace
RTX 407012 GBAda Lovelace
RTX 4070 Ti12 GBAda Lovelace
RTX 4070 Ti Super16 GBAda Lovelace
RTX 408016 GBAda Lovelace
RTX 4080 Super16 GBAda Lovelace
RTX 409024 GBAda Lovelace

GPUs NVIDIA GeForce - Serie RTX 50 (Latest!) ​

GPUVRAMArquitectura
RTX 5050TBDBlackwell
RTX 5060TBDBlackwell
RTX 5060 TiTBDBlackwell
RTX 5070TBDBlackwell
RTX 5070 TiTBDBlackwell
RTX 5080TBDBlackwell
RTX 5090TBDBlackwell

GPUs Datacenter ​

GPUVRAMUso Principal
A100 (40GB)40 GBDatacenter
A100 (80GB)80 GBDatacenter
H100 (80GB)80 GBIA/HPC
L424 GBInferencia

Ejemplo de Uso ​

Verificar Compatibilidad ​

bash
# Verificar qué modelos caben en RTX 4090
python main.py --context 4096 --only-runs

# Especificar una GPU
python main.py --model 70 --context 8192 --gpu "RTX 4090"

Salida de Ejemplo ​

$ python main.py --model 7 --context 8192 -q int4

============================================
COMPATIBILIDAD DE GPUs
============================================
✓ RTX 3090 (24GB) - 75% VRAM utilizado
✓ RTX 4090 (24GB) - 75% VRAM utilizado  
✓ RTX 4080 (16GB) - 100% VRAM utilizado
✓ RTX 4070 (12GB) - No compatible (requiere 18GB)

Porcentaje de VRAM Libre ​

bash
python main.py --model 70 --context 4096

# Muestra:
# RTX 4090 (24GB) - 45% libre
# RTX 3090 (24GB) - 45% libre

Tipo de GPU ​

CONSUMER ​

  • Enfocadas en gamers y enthusiasts
  • Mejor precio/rendimiento
  • Limitaciones en drivers para datacenter

DATACENTER ​

  • Optimizadas para IA/HPC
  • Soporte NVLink
  • Mayor VRAM
  • driversenterprise

Google Colab ​

La herramienta también incluye GPUs de Google Colab para planificación de uso en entornos cloud gratuitos/de pago.

Commits Relacionados ​

  • feat: Add NVIDIA GeForce RTX 50 series GPUs to database - Agrega latest GPUs

Siguiente Capítulo ​

En el Capítulo 5, exploraremos las técnicas de optimización como layer offload.