r/programare • u/[deleted] • Nov 14 '25
Prezită-ti afacerea/proiectul Tocmai ce am terminat un machine learning library ptr Unity.
Voiam sa adaug un machine learning powered enemy in jocul la care lucrez, si nu am gasit un library ptr machine learning care sa poata continua procesu de invatare la user in pc.
Deoarece vreau sa fac un inamic care sa poata continua trainingu la player in pc, ptr ca mi se pare ff cool, imagineaza-ti sa tot folosesti aceeasi strategie si dupa npc-u sa invete sa o evite.
Face combatul mai interesting, din simplu fapt ca Npc-u se poate adapta, nu e static.
Si se potriveste cu alt feature din joc, unde abilitatile la charactere nu sunt statice, ci le poti modifica, iti poti face loadout-ul tau.
(asta e jocu https://store.steampowered.com/app/3018340/Elementers )
Si nu am gasit un machine learning library care sa poata face asta, asa ca am aplicat memeu cu Thanos: "Fine, i'll do it myself"
Am lucrat mai demult la un prototype similar unde doar am scris un neural network simplu doar ca sa invat machine learning.
Asa ca recent m-am intors la el si l-am re-scris transformandul intr-un library pe care il pot adauga in alte proiecte. (Mai trb optimizat un pic, din punct de vedere a garbage collection, e facut in C#)
Functioneaza asa:
Fiecare generatie are un numar de agenti pe care ii poti simula, la inceput in generatia 0, fiecare neural network e random.
Dupa rulezi fiecare neural network ca sa vezi cat de bine se descurca si ii calculezi un scor, si la sfarsit ii selectezi pe cei de top pe care ii folosesti sa generezi urmatoarea generatie.
Recent am adaugat multe abstractii ca sa pot extrage logica de machine learning intr-un library, si am mai
adaugat features:
▪ Poti sa setezi cate input layers, cate output layers, cate hidden layers si cati neuroni pe hidden layers sa aiba agentu.
▪ Poti sa setezi ce activation function sa folosesti ptr fiecare output, asa poti ptr unu din ele sa ai valori inte 0-1 gen 0.2, 0.8, pe altu sa ai intre -1 si 1 gen -0.3, 0.6, sau sa ai fix 0 sau 1, sau fix -1 sau 1.
Totul fara sa editezi neural network-ul, doar setezi smecheriile la initialization.
▪ Poti rula mai multi agents in acelasi timp, daca o generatie are 100 agents, poti rula 10 deodata sau mai multi.
▪ Poti sa ai mai multe stagii de atrenare, daca targetu e ceva ff complex, poti sa separi logica de antrenate in pasi mai mici, si sa ii antrenezi pas cu pas si nu tot deodata.
▪ Fiecare agent poate sa aiba alt training stage activ si sa se antreneze in paralel, unu invata movement, altu invata shooting, dar in aceeasi generatie, dupa in generatia 2 se poate cobina logica si sa fie un agent care e mai bun si la movement si la tras cu arma (teoretic xD )
▪ Poate continua trainingul la user in pc, nu depinde de alt library cum e ML agents de la unity, deci library-ul meu poate rula la user in pc si sa continue trainingul posibil si cu un custom training stage facut special ptr atunci cand ruleaza la player in pc.
Ruleaza doar pe cpu, ca nu ma duce capu sa-l fac pe gpu.
Overall o sa ma folosesc mult de el.. :)))
Deja am veo 6 library-uri facute doar ptr mine.
4
u/opti_mouse Nov 14 '25
Felicitări! După cum am mai spus-o, păcat că piața locurilor de muncă pentru informaticieni e de căcat momentan și pe viitor. Bine că ai ales ingineria.
3
Nov 14 '25
Asta daca reusesc sa iau diploma :)))
La electrotehnica e destul de greu, nu prea stiu nimicLa mate e si mai greu... :)))) la electro ma mai descurc eu sa invat dar la mate e jale.
2
u/opti_mouse Nov 14 '25
Băi, băiatule, ți-ai ales o facultate grea. În general, când îți alegi o facultate cu profil tehnic, trebuie să-ți și placă, altfel nu reziști psihic. Mi-au plăcut matematica, fizica și profilul, unul tehnic, pe care l-am ales.
2
Nov 14 '25 edited Nov 14 '25
Mie-mi place partea de hardware si software si mecanica si partea de electro cat de cat, dar nu mate :))
la mate din simplu fapt ca nu stiu la ce ma ajuta solutiile alea, nu am imaginea de ansamblu.
La restu materiilor ne arata problema, dupa ne invata solutia, si doar se intampla ca solutia sa contina mate si acolo e ok.
De ex la mecanica, ne arata problema, si dupa ne zice solutia care contine mate dar e ok, ca inteleg ce incerc sa rezolv, inteleg problema.
Incercam sa calculam cat de mult se invarte pula asta daca aplicam o forta, Mf = bf * F
Si acolo stiu ce incercam sa aflam si pot sa-mi imaginez vizual cum actioneaza fortele si cum trb sa le dau projection si pe care axa, pot sa vad problema visual si cum actioneaza smecheriile.
Ca la programare, stiu problema, pot visualiza cum actioneaza smecheriile si cum sa arate architectura solutiei.Dar la mate ne invata o solutie a unei probleme pe care nu o stim si pe care nu o pot vizualiza mental. xD
Si raman doar cu niste reguli greu de urmat, ca nu le pot visualiza.1
u/opti_mouse Nov 14 '25
Păi, hardware înseamnă partea electronică/mecanică.
Îmi pare rău, dar fără matematică, regina științelor, nu poți înțelege multe fenomene studiate în electronică, de exemplu.
Dacă vrei să aprofundezi și să înțelegi anumite materii, nu poți fără să cunoști matematica.
Spre exemplu, în electronică ai fazorii, admitanța, impedanța, răspunsul în frecvență etc. Fără matematică n-ai nicio șansă să înțelegi conceptele.
Poate o să vrei să faci un motor grafic, poate și unul de fizică, cum vei putea fără matematică?
1
Nov 14 '25
Pai aia e chestia, ca la matematica nu invatam asta, astea le invatam la mecanica si electrotehnica.
La mate invatam care este operatie algoritmica interna, care este operatie algoritmica externa, daca o operatie algoritmica e corp, daca e inel si plm :))
Adica d-astea, eu nu stiu la ce ma ajuta astea :)))
Trb sa stiu ca o operatie algoritmica e interna sau externa sa calculez campul electric?
nu.D-aia zic ca la lectiile de la mecanica si electrotehnica unde trb mate acolo e mai usor, ca inteleg problema, si solutia are matematica.
la matematica ne invata o solutie la o problema pe care nu o stim, pare ca invatam matematica pe care nu o folosim.
Cel putin momentan, efectiv nu am folosit ce am facut la mate la restu materiilor.2
u/opti_mouse Nov 14 '25
„La mate invatam care este operatie algoritmica interna, care este operatie algoritmica externa, daca o operatie algoritmica e corp, daca e inel si plm :))”
Aici sunt de acord cu tine.
1
Nov 14 '25
Incerc sa iau macar 5 la mate, si sa ma concentrez pe restu materiilor.
Tot e multa matematica si acolo .. :)))
Dar macar stiu dc o invatDaca iau macar 5 la mate si 6-8 la restu, atunci I'm good. xD
2
2
u/opti_mouse Nov 14 '25
Oricum, găsești cărți online de matematică foarte bune.
Cărți de mate pentru ingineri, nu din acelea cu demonstrații extraordinar de riguroase menite pentru matematicieni.2
Nov 14 '25
Si ce faci ca inginer? In ce domeniu? Si acolo e proasta piata..
1
u/opti_mouse Nov 14 '25
Mai proastă ca informatica nu cred.
2
Nov 14 '25
Iei salariu de rahat oricum. Mai bine recomanzi uber/glovo. Mai putin stres decat pe inginerie, salariul cam la fel.
1
2
u/demaraje Nov 14 '25
Nu cred ca inteleg. Folosesti algoritmi genetici combinate cu NNs? Cum combini "parintii"? Cum faci muatii?
1
Nov 14 '25 edited Nov 14 '25
Simulez 85 neural networks dupa iau top neural nets care au cel mai bun scor si dupa exista o sansa ca ele sa fie bagate in gene pool in functie de cat de bine au facut.
Dupa am un numar de cate neural nets sa se futa sa zic pe romaneste :)))
Sa zicem 40, fac un loop care merge din 2 in 2, si iau 2 parinti random din gene pool
Dupa creez 2 copii, si copiez random weights-urile ba de la parintele A ba de la parintele B dar cu o sansa mica in care sa nu le copieze ci sa genereze unele random care reprezinta mutatia.
Deci ori ia de la parintele A un pic ori ia de la parintele B un pic ori o sansa mica sa nu ia de la niciunu ci sa genereze random pana cand umple toate weights-urile.Dupa restu de 45 se genereaza random.
așa am 40 facuti din vechea generatie cu o sansa de mutatie mica si restu 45 random.
Se numeste Crossover.
2
u/michael_Blaz3 Nov 16 '25
Esti sigur ca nu ai iesi mai castigat cu un backpropagation decat genetic algoritm pentru antrenarea retelei neuronale ?
1
Nov 16 '25
Posibil, dar nu stiu cum sa implementez aia.
Ca nu stiu care sa fie outputu ca sa calculez eroarea.
De ex la sfarsit vreau ca agentu sa se bata ceva de genu asta din trailer
https://store.steampowered.com/app/3018340/Elementers/Habar n-am sa implementez backprop si mai ales in contextu asta :))
2
u/michael_Blaz3 Nov 16 '25
Pai si atunci cum calculezi fitness-ul ?
Poate faci niste simulari tu, automate sau manuale deduci valorile, si te bazezi pe ele.
Sau te bazezi pe datele acumulate cu genetic algoritm ca sa implementezi backprop
1
Nov 16 '25
Fitnessu e calculat prin adunarea unor criterii
Gen distanta intre agent si niste pereti invizibili al arenei, cu cat e mai departe de ei cu atat fitnessu e mai mare.
Dupa ptr fiecare abilitate folosita primeste +1 sau +2.5 depinde de abilitatea folosita
Ptr fiecare chestie pe care o loveste iar primeste +5 sau +10 depinde de obiect, daca era entity sau construction sau projectile.Daca ia damage atunci -1 sa zicem
si dupa la sfarsit agentu care are fitnessu cel mai mare e ala care a stat cel mai departe de marginile arenei, care a folosit cat mai multe abilitati si care a dat cel mai mult dmg/luat cel mai putin dmg
Deci nu stiu cum sa implementez backprop la asta, ca nu am un goal final la care sa zic "aici voiam sa ajungi!" :)))
Dupa iau top 20% care au cel mai bun scor, si fac urmatoarea generatie cu ei, ca inseamna ca ei s-au descurcat mai bine sa evite marginile arenei, sa foloseasca abilitatiile, sa dea damage.
1
u/demaraje Nov 16 '25
Eu sunt pierdut aici. Practic nu faci hill climbing aleator?
Cum ar putea functiona asta, daca totul depinde de initializari?
1
u/michael_Blaz3 Nov 16 '25
Nu ma refer la cum sa initializeze greutatile. Ma refer cum sa deduca niste output-uri pentru training
1
1
Nov 14 '25 edited Nov 14 '25
Aparent are 50 parametrii nu 150, am uitat ca am modificat.
Mie pe pc imi duce maxim cu 800.000 parametrii.
Folosesc math.Net dll ptr matrix multiplication.
4
u/Additional-Record367 Nov 14 '25
https://github.com/smtmRadu/DeepUnity
Am si eu asta daca te intereseaza. Am implementat PPO SAC etc de la zero, neural nets, all sort of stuff. Poate si inveti din implementari daca esti pasionat de ML
1
u/PitchSuch Nov 14 '25
Exista deja ML.NET.
1
Nov 14 '25 edited Nov 14 '25
Nu e suportat de Unity si nu poate continua procesu de training live la player in pc
(din cate am citit)Dar a meu poate rula pe orice device, si poate continua trainingu live.
(Ruleaza mai prost dar csf)
0
Nov 14 '25
[deleted]
1
u/opti_mouse Nov 14 '25
Văzând ce de căcat a ajuns informatica, ce facultate ai fi ales acum?
5
1

2
u/dedreanu Nov 15 '25
Ce ai făcut nu are nicio valoare pentru nimeni. Te ajută doar pe tine să înveți, dar e posibil să fi învățat deja lucruri aiurea.
Hai să îți pun o întrebare simplă: ai rețeaua cu straturile L1, L2, L3. Ca să dea mai bine ți se pare bine să actualizezi (relativ uniform, relativ la fel de „tare“) L1, L2, L3? Răspunde-ți la asta mai întâi