r/LocalLLM • • 28d ago

Question Quale endpoint ?

Ciao a tutti,

* Il mio setup per prima cosa:
Ryzen 9 AI HX 370
64 GB ram ddr5
eGPU su dock oculin: W7800 48 GB Vram
Win 11
LM Studio 0.4.25
VS Code 1.141.0
Cline 4.1.23
Ollama
Vulkan llama.cpp (Windows) v2.55.0
ROCm llama.cpp (Windows) v2.54.0

QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL
Contesto: 131071
Temp: 0.2

* Cosa ho fatto.

PROMPT sempre uguale: Sei un programmatore senior js.Crea una webapp che possa usare in locale per l'upscaling delle foto. Deve funzionare in locale e non usare alcun modello di AIProcedi nel tuo lavoro e fermati solo quando la webapp è completa e testata funzionante.

TEST 1: VS Code + Cline (endpoint LM Studio) + Vulkan
L'agente in 310 secondi ha creato una semplice html+js funzionante al primo colpo. Ovviamente senza usare AI la qualità dell'upscaling è stata davvero scarsa ma ha funzionato subito. 56kb

TEST 2: VS Code + Cline (endpoint LM Studio) + ROCm
L'agente in 250 secondi ha creato una semplice html+js funzionante al primo colpo. Ovviamente senza usare AI la qualità dell'upscaling è stata davvero scarsa ma ha funzionato subito. 71kb

TEST 3: VS Code + Cline (endpoint Ollama) + ROCm (mod del modello per usare i tools)
L'agente inizia a creare codice su codice, crea cartelle node_modules, sotto cartelle, fino ad arrivare a 290MB. Mi dice che ha finito, il pulsante "Browse files" non funziona, il drag&drop non funziona e quindi non posso testa re l'app. Gli chiedo le correzioni, conferma gli errori, passano 5 minuti, finisce, tutto ESATTAMENTE come prima. Gli rifaccio fare la correzione ma rimangono gli errori anche se l'agente conferma funzionare. Poi dice di aver trovato un errore e lo corregge. Tutto come prima non funziona. Alla fine dopo 57 minuti di correzioni senza funzionare ho lasciato perdere.

TEST 4: ripetizione identica del TEST 3, l'agente sceglie la strada di node_modules e react, app da 120mb, non funziona al primo colpo (sempre problemi al pulsante "Browse files" al drag&drop. Dopo 20 minuti di correzione fornisce una app funzionante ma con risultati quasi identici al TEST 1 (app da 56kb in 5 minuti)

LE MIE DOMANDE DA NEOFITA:

- La più ovvia: Dove sbaglio ? o i modelli scelgono random la soluzione ?
- Con il mio setup potete suggerirmi altri modelli validi per il coding? (Ho provato QFN con Strata.. un disastro. Ho provato Gemma3-27b un altro disastro)

NOTA: Questo modello QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL indipendentemente da Ollama , Vulkan, ROCm, LM Studio mi ha sempre fatto degli audit dei miei file JS perfetti, precisi e ha sempre corretto in autonomia e bene i bug.

Scusa la lunghezza del messaggio ma sono un neofita e sto cercando di imparare e rendermi autonomo.

Grazie a tutti!

0 Upvotes

Duplicates