revision: 2 date: 2026-03-14

Local Inference Calculator 📚

Bienvenido al Libro Didáctico

Herramienta de planificación de capacidad para inferencia local de LLM. Descubre rápidamente qué modelos de lenguaje pueden ejecutarse en tu GPU para un tamaño de contexto específico. Esta herramienta te permite calcular rápidamente los requisitos de VRAM y verificar compatibilidad con tu hardware.

¿Qué aprenderás?

✅ [Introducción] - Conceptos básicos y arquitectura del proyecto
✅ [Cálculo de VRAM] - Cómo se calculan los requisitos de memoria
✅ [Modelos y Formatos] - Modelos soportados y formatos de cuantización
✅ [GPUs Soportadas] - Base de datos de GPUs disponibles
✅ [Optimización GPU] - Layer offload y optimización de recursos
✅ [Multi-GPU] - Configuraciones multi-GPU y paralelismo
✅ [Configuración Avanzada] - Opciones avanzadas y casos de uso

Requisitos Previos

Python 3.8+ instalado
Conocimientos básicos de GPUs y memoria VRAM
Familiaridad con línea de comandos

Fuente Original

Este libro está basado en el trabajo de ygorml/local_inference_calculator.

Comienza tu viaje → Capítulo 1: Introducción

revision: 2 date: 2026-03-14 ​

Local Inference Calculator 📚 ​

Bienvenido al Libro Didáctico ​

¿Qué aprenderás? ​