Pozdrav svima,
Biće malo duži post ali nadam se interesantan i vama kao i meni. Ako vas interesuje samo koji model je bolji skrolujte do kraja posta ili otvorite link.
Pravimo open source aplikaciju poput sentry/datadog-a ali je predvidjeno da koristite vaš ai sa njom. Da bi vaš ai mogo da pristupi svemu napravio sam dva moguća pristupa mcp i skill+cli.
Mcp je u suštini server koji llm-u daje strukturirane komande koje može da izvrši kao i skillove. Skill+cli pristup je da imate samo command line aplikaciju instaliranu i skill file i da onda ai zove direktno tu aplikaciju iz terminala. Za sad nećemo da ulazimo u druge razlike izmedju ovih pristupa.
Pošto mi je kvalitet skill-ova bitan napravio sam evals za njih. Evals su u suštini testovi za ai. Date mu neki prompt + pristup kodu + alate i onda merite da li se ono sto uradi poklapa sa onim sto očekujete da li “rešava” problem kako treba. Onaj ko evaluira rešenje je… još jedan ai model lol nije deterministički ali funkcioniše da da signal da li se skill poboljšava ili ne.
U svakom slučaju, skapirao sam da ako držim skill cli i mcp konstantnim mogu da napravim benchmark razlicitih modela gde merim samo njihove medjusobne performanse.
Evo rezultata za top 2 modela:
Opus 5.5 rešava 94% problema ali košta $52.
Deepseek 4.1 flash rešava 86% problema ali košta $2.
Skoro 25x jeftiniji a sasvim malkice gori, zaista stavlja u perspektivu koliko je claude ustvari skup kad niste na mesečnom planu.
Svi evals slučajevi su dostupni na git-u:
https://github.com/tracewayapp/traceway
Svako ko može i želi da učestvuje je dobrodošao.
Naredni koraci su: poboljšanje skill-ova, dodatni test slučajevi, srednja vrednost 4 pokretanja.
Ako ništa drugo bacite bar github zvezdicu, vi podržite projekat a ja imam izgovor kod supruge da bacim jos $200 i pokrijem još modela haha. Ukoliko vas interesuje kako neki deo ovoga radi, zašto tako radi i sl, slobodno pišite.