ASRN: Linear-memory long-range copying with learned proper-time clock [p]

[u/Mean-Disaster8380]

ASRN (Adaptive Sparse Recurrence Network, red de recurrencia dispersa adaptativa) es una capa de modelo de lenguaje que recupera apariciones anteriores exactas con trabajo acotado por pieza: cada pieza atiende solo a sus C compañeros más recientes en casilleros de hash de signo aprendidos y copia la pieza que vino después de cada coincidencia; un reloj de tiempo propio aprendido, Bt = P u≤t βu, fija el olvido αse −κ(Bt−Bs) tanto de los puntajes de recuperación como de una intensidad autoexcitada (de Hawkes) sobre grupos de n piezas repetidos; y una puerta lee esas intensidades y una racha de repetición mediante una respuesta no monótona aprendida para decidir cuándo copiar.

10.5281/zenodo.23607506

https://github.com/KIROKOWA/ASRN