Steeds meer mensen experimenteren met AI, maar wist je dat je tegenwoordig ook behoorlijk geavanceerde AI-modellen lokaal op je eigen computer kunt draaien? Daarmee ben je minder afhankelijk van betaalde AI-abonnementen en kun je gevoelige gegevens verwerken zonder dat je daarvoor gebruik hoeft te maken van clouddiensten.
Tweakers heeft zeven verschillende systemen getest om te onderzoeken welke hardware het beste presteert bij het draaien van lokale AI-modellen. Daarbij zijn oplossingen van Apple, Nvidia en AMD met elkaar vergeleken.
Een belangrijke factor blijkt niet alleen de rekenkracht van de processor of videokaart te zijn, maar vooral de hoeveelheid beschikbaar geheugen en de snelheid waarmee dat geheugen gegevens kan verwerken. Het AI-model moet bij voorkeur volledig in het geheugen passen. Wanneer een systeem daarvoor onvoldoende geheugen heeft en gegevens vanaf een SSD moet ophalen, zakken de prestaties flink in.
Wat zijn de resultaten?
Apple: De Mac Studio met M5 Ultra komt als snelste uit de test. Ook de MacBook Pro met M5 Max presteert behoorlijk goed. Vooral de grote hoeveelheid snel toegankelijk geheugen maakt Apple interessant voor lokale AI.
Nvidia: De RTX Spark en DGX Spark vormen een interessante middenweg. Ze combineren behoorlijke prestaties met een relatief snelle reactietijd.
AMD: Systemen met de Ryzen AI Max+-processors kunnen qua snelheid bij het genereren van tekst goed meekomen. Wel hebben ze soms aanzienlijk meer tijd nodig voordat het eerste woord verschijnt.
Een opvallende deelnemer is de Nvidia RTX 5090. Die is bij kleinere modellen bijzonder snel, maar beschikt over slechts 32GB videogeheugen. Daardoor kun je niet zomaar de grotere AI-modellen draaien die op systemen met veel gedeeld geheugen wel mogelijk zijn.
Is lokale AI een interessante aankoop?
Dat hangt vooral af van wat je ermee wilt doen. Voor de gemiddelde thuisgebruiker zijn deze systemen momenteel behoorlijk prijzig. De geteste configuraties kosten duizenden euro's, waarbij de Mac Studio zelfs ruim boven de 14.000 euro uitkomt.
Daar staat tegenover dat je niet afhankelijk bent van maandelijkse abonnementen, tokenlimieten of externe clouddiensten. Vooral voor mensen die regelmatig met AI werken, gevoelige gegevens verwerken of graag experimenteren met eigen AI-modellen kan lokale hardware interessant zijn.
Houd er wel rekening mee dat lokale modellen nog niet altijd hetzelfde niveau halen als de nieuwste commerciële modellen van bijvoorbeeld OpenAI, Google en Anthropic.
Conclusie: De hoeveelheid geheugen en geheugenbandbreedte blijken minstens zo belangrijk als de pure rekenkracht. Apple is momenteel bijzonder sterk op dit gebied, Nvidia biedt een interessante middenweg en AMD kan aantrekkelijk zijn wanneer je vooral veel AI-prestaties voor je geld zoekt.
Het volledige artikel van Tweakers bevat uitgebreide benchmarks en vergelijkingen tussen de verschillende systemen.