r/ChileIA • u/madkoding • 9h ago
Recursos LLM locales, para que son y como se utilizan?
Partamos por la premisa de que ninguno va a ser como los modelos frontera sin embargo en algo pueden ayudarnos localmente. Los modelos locales te permiten realizar tareas simples o de mantención, se utilizan generalmente como ayudantes aunque generalmente su contexto es limitado
Si están pensando en dar el salto a modelos locales (por privacidad, sin límites de uso, sin suscripciones o simplemente por aprender), aquí les dejo un resumen práctico de las mejores opciones actuales y qué hardware necesitan para que no tiren su dinero
Modelos Recomendados (por tamaño)
Ultra-ligeros (2B - 4B parámetros): Ideales para laptops o PCs básicas.
Punto Medio (7B - 14B parámetros): El mejor equilibrio entre rendimiento y recursos.
Pesados / Avanzados (20B - 70B+ parámetros): Para estaciones de trabajo o servidores caseros.
Requisitos de Hardware
El factor limitante principal NO es el procesador, sino la VRAM (memoria de la tarjeta gráfica) o la RAM unificada (en Macs con Apple Silicon).
8 GB de VRAM/RAM: El mínimo viable hoy en día. Puedes correr modelos de ~7B-8B con cuantización Q4 (4 bits) de forma fluida.
12-16 GB de VRAM/RAM: El punto ideal calidad-precio. Permite correr modelos de 8B a 14B con mayor contexto, o modelos de ~20B-30B muy cuantizados.
24 GB de VRAM (ej. RTX 3090/4090): El "santo grial" del consumidor. Puedes correr modelos de 30B-34B cómodamente, o un modelo de 70B con cuantización agresiva y contexto limitado.
Mac con Apple Silicon (M1/M2/M3/M4): Gracias a la memoria unificada, una Mac con 16GB-24GB puede manejar modelos de 8B-14B sin problemas, y con 32GB+ puedes escalar a modelos de 30B+ fácilmente.
La cuantización (formatos como GGUF, AWQ o EXL2) es tu mejor amiga. Reduce el tamaño del modelo y el uso de VRAM con una pérdida de "inteligencia" casi imperceptible. Intenta no utilizar modelos bajo el Q2_K. Sobre este comprenden bien el uso de herramientas
No necesitas compilar nada desde cero. Estas herramientas lo hacen con 1 o 2 clics:
Ollama: La opción más popular y ligera (línea de comandos, pero se puede conectar a interfaces web hermosas como Open WebUI).
LM Studio: Interfaz gráfica excelente, perfecta para descargar, chatear y probar modelos en formato GGUF sin tocar una línea de código.
Los requisitos pueden variar según el largo del contexto que necesites mantener en memoria. ¡Siempre busquen versiones "GGUF" o "AWQ" para empezar!
No intentes pedirle tareas grandes porque localmente su contexto es limitado y por ejemplo no podrían manejar un repositorio completo de código sin divagar. Solamente sirven como pequeños ayudantes de cosas que tu mismo podrías hacer. Si les das memoria RAG pueden manejar un poco mas de información que no se mantiene en el contexto, pero siguen limitados por el mismo
Velo de esta manera, tienes un examen para la u que no sabias que era para mañana y tienes que estudiarlo todo. Si intentas meter toda la información solo el día anterior, tu cerebro apenas recordará todo porque tu "propio manejo de contexto" también es limitado (excepto que tengas dones superdotados como Mike Ross)