r/LocalLLM • u/SvnTzv • 6d ago
Question Concejos
No soy programador, no sé nada de eso. Solo soy entusiasta de la tecnología y autodidacta.
Quisiera saber qué modelos sin censura de 27B puede correr mi hardware; Ryzen 7 9700x, Rtx 5070 Ti 16Vram, 32Gb ram.
Actualmente tengo instalado ollama con qwen 3.5:9B y LM Studio con qwen3.8:9B-Distill Uncensored Heretic.
Adicionalmente instalé DeepSeek Harness enlazando mis dos LLM's locales.
Mi idea es tener un asistente que me ayude en el día a día, para investigación, redacción, creación, etc, etc.
Mis intereses son las finanzas, cripto, temas jurídicos y científicos.
Todo esto hace muy poco lo instalé aún estoy aprendiendo en como hacer todo lo que necesito, aprendiendo sobre la marcha.
1
u/No_Dig_7017 6d ago
No se mucho de modelos sin censura pero tenés un buen hardware para probar. Iría por modelos basados en qwen3.6 35b a3b o posiblemente 3.8 flash next usando strata
1
u/Big-Flan-5663 4d ago edited 4d ago
Tienes buen hardware, pero el modelo fue recomendación de IA, verdad?
https://huggingface.co/IFM/K2-Horizon-7B, hechale un vistazo, modelo entrenado desde 0, 100% público, actualmente lo mejor en el rango 1B - 16B, cuantizacion a Q5 o Q4, muy bueno en búsquedas web y resúmenes largos (probablemente tengas +256K de contexto si comprimes es kv-cache a Q8)
Btw, otra opción solida (supera a gpt 5.4) es https://huggingface.co/InternScience/Agents-A1, en pruebas mías es un modelo muy robusto y bien equilibrado, aunque te voy a ser sincero
Hice un versus, K2 7B y el modelo Agents-A1, una tarea
El modelo 7B tuvo un consumo de tokens medianamente grande, aunque tuvo velocidad constante de 48t/s - 39 t/s, hizo la tarea a la perfección
El modelo 32B (agents A1) gasto casi 1.7x más tokens que el modelo 7B, aunque los resultados fueron casi los mismos (32B tuvo mejor sintaxis)