Académie d’Intelligence Neuraxon · Volume 12 · Par l’Équipe Scientifique de Qubic

Le cerveau n’a pas d’horloge centrale. Il en a beaucoup, réparties dans les tissus et accordées à des échelles allant de la microseconde aux saisons de l’année.

Nous savons que l’intelligence n’est pas calculée par étapes mais dans le temps, où le neurone agit comme un système dynamique : un état qui change continuellement et ne se réinitialise jamais. Mais il ne suffit pas à chaque unité de vivre dans un temps continu. Un organisme doit mesurer des intervalles, anticiper ce qui arrive, apprendre à partir de causes survenues il y a quelques secondes et, en même temps, rester stable pendant des années. Ce sont des problèmes temporels différents, et le cerveau ne les résout pas avec le même mécanisme.

Pendant des décennies, la psychologie du temps a cherché une seule horloge interne, un type de métronome qui émettrait des impulsions et un compteur qui les accumulerait. Cette idée a eu un succès descriptif, mais les neurosciences ont continué à trouver autre chose. La littérature distingue aujourd’hui les modèles dédiés, qui postulent un circuit spécialisé dans la mesure du temps, et les modèles intrinsèques, dans lesquels le temps est lu à partir de l’évolution même de l’activité neuronale (Ivry & Schlerf, 2008). Il n’existe pas de chronomètre unique. Il existe des mécanismes distribués, spécialisés selon l’échelle et la fonction : le cervelet pour des intervalles brefs et précis, les circuits cortico-striataux pour des intervalles de l’ordre de la seconde, et le cortex pour l’intégration de longues séquences (Merchant, Harrington & Meck, 2013; Paton & Buonomano, 2018).

Du microsecondes aux saisons : le temps que le cerveau sait déjà gérer

Le cerveau gère simultanément des événements qui durent moins qu’un battement de cils et des cycles qui durent des mois. Aucune autre machine ne couvre une gamme aussi large avec le même tissu.

À l’extrémité la plus rapide, il y a la localisation des sons. Un bruit provenant de la gauche atteint l’oreille gauche quelques dizaines ou centaines de microsecondes avant d’atteindre la droite. Les circuits du tronc cérébral détectent cette différence et la convertissent en une direction dans l’espace (Grothe, Pecka & McAlpine, 2010). Nous ne sommes pas conscients du calcul ; nous tournons simplement la tête vers le son. Un peu plus haut, à l’échelle de dizaines de millisecondes, il y a la parole. Ce qui distingue « ba » de « pa » tient, dans une large mesure, à la durée nécessaire pour que la voix commence à vibrer après l’ouverture des lèvres (voice onset time). Une différence de quelques dizaines de millisecondes modifie la consonne que nous entendons (Lisker & Abramson, 1964).

À l’échelle de la seconde, il y a presque tout ce que nous faisons intentionnellement : rattraper une balle en vol, suivre le tempo d’une chanson, attendre notre tour dans une conversation, remarquer qu’un feu tricolore dure plus longtemps que d’habitude. Ici, le cerveau ne fait pas qu’observer : il anticipe aussi. Il sait quand la prochaine chose doit arriver et est surpris si ce n’est pas le cas.

Des changements apparaissent à l’échelle des minutes et des heures plus lentement : nous ne les percevons pas comme des événements, mais comme des états. Une odeur intense cesse d’être remarquée après un certain temps : c’est l’habituation. L’attention se dégrade après une période de tâche maintenue. Et l’organisme possède des rythmes ultradiens, c’est-à-dire des cycles plus courts qu’un jour qui se répètent plusieurs fois en vingt-quatre heures. Le plus connu est celui du sommeil : pendant la nuit, nous alternons entre des phases de sommeil non-REM et REM en cycles d’environ quatre-vingt-dix minutes. Les hormones de stress ne sont pas non plus libérées en continu : elles surviennent plutôt en bouffées d’environ une heure, et cette pulsatilité a un but : les tissus répondent différemment à une hormone qui arrive par impulsions qu’à la même quantité administrée de façon constante (Lightman & Conway-Campbell, 2010 - https://doi.org/10.1038/nrn2914).

Le sommeil mérite une mention particulière, car il combine deux horloges. L’une est une pression de sommeil qui s’accumule avec les heures d’éveil et se dissipe pendant le sommeil. L’autre est un rythme d’environ vingt-quatre heures qui ouvre et ferme la fenêtre du sommeil quel que soit à quel point nous sommes fatigués. Pendant l’éveil, les synapses ont tendance à se renforcer globalement, et pendant le sommeil elles sont réajustées à la baisse : cela préserve ce qui est pertinent et redonne au cerveau de la marge pour apprendre le lendemain (Tononi & Cirelli, 2014 - https://doi.org/10.1016/j.neuron.2013.12.025).

Ce rythme sur 24 heures est le rythme circadien, du latin circa diem, « autour d’un jour ». Son horloge maîtresse se trouve dans le noyau suprachiasmatique de l’hypothalamus : un petit groupe de neurones (environ vingt mille chez les rongeurs, en comptant les deux côtés) situé juste au-dessus du croisement des nerfs optiques (Abrahamson & Moore, 2001). À l’intérieur de chacune de ses cellules, une boucle de gènes et de protéines qui s’activent et s’inhibent mutuellement met environ vingt-quatre heures à compléter un cycle (Takahashi, 2017). La lumière le règle à l’heure correcte grâce aux cellules de la rétine qui mesurent la quantité de lumière dans l’environnement (Hattar et al., 2002). Le décalage horaire est l’expérience directe de cette horloge : le monde a changé brutalement l’heure, et l’horloge interne met plusieurs jours à se réajuster.

Figure 1. Le rythme circadien sur une journée de 24 heures. Une horloge maîtresse dans le noyau suprachiasmatique synchronise le sommeil, la libération des hormones et l’alerte à la boucle alternant lumière et obscurité. Image : « Horloge biologique (humain) », Wikimedia Commons (domaine public).

Au-dessus du jour, il y a les rythmes infradiens, plus longs que vingt-quatre heures. Chez la femelle du rat, la densité des épines dendritiques dans l’hippocampe, ces petites protrusions où se forment les synapses, baisse d’environ 30 % en seulement vingt-quatre heures, au sein d’un cycle œstral de quatre ou cinq jours qui suit les niveaux d’estradiol (Woolley & McEwen, 1992). Le câblage d’une structure essentielle à la mémoire change de façon rythmique.

Au-delà de cela, il y a les rythmes saisonniers : la durée de la sécrétion nocturne de mélatonine encode la longueur de la nuit, et donc beaucoup de mammifères savent à quelle période de l’année ils se trouvent (Wehr, 2001).

Il reste l’échelle d’une vie entière. Pendant le développement, il existe des périodes critiques au cours desquelles certains circuits ne peuvent s’organiser que dans une fenêtre de temps spécifique ; si l’expérience arrive en retard, le circuit ne se forme pas de la même manière (Hensch, 2005). Le cerveau ne mesure pas seulement le temps. Il est construit dans le temps.

Toutes ces échelles coexistent dans le même organe et s’influencent mutuellement. L’horloge circadienne ouvre la fenêtre du sommeil, le sommeil réajuste les synapses, les hormones modifient le câblage, et tout cela conditionne ce qui est appris au cours de chaque seconde. C’est cette coexistence que nous voulons, autant que possible, simuler.

Une hiérarchie de fenêtres temporelles dans le cortex

Le premier indice de cette architecture est que différentes régions corticales ne « mémorisent » pas la même durée. Murray et ses collègues (https://doi.org/10.1038/nn.3862) ont mesuré combien de temps il faut pour que l’autocorrélation de l’activité spontanée des neurones s’éteigne dans différentes zones chez le macaque. Les aires sensorielles ont des constantes de temps courtes : elles répondent rapidement et oublient rapidement. Les aires préfrontales et d’association ont des constantes beaucoup plus longues : elles intègrent l’information sur une durée plus étendue. Le cortex est ordonné comme une hiérarchie de fenêtres temporelles.

Chez l’humain, quelque chose d’équivalent a été observé avec des stimuli narratifs. Hasson et ses collègues (https://doi.org/10.1523/JNEUROSCI.5487-07.2008) ont présenté des films brouillés à différentes échelles, de fragments de secondes à des scènes complètes. Les aires sensorielles primaires ont répondu de la même manière, quelle que soit la manière de brouiller. Les aires de plus haut niveau ont répondu de façon fiable seulement lorsque la structure à grande échelle était préservée. Chaque région possède sa propre « fenêtre d’intégration temporelle ». Kiebel, Daunizeau et Friston (https://doi.org/10.1371/journal.pcbi.1000209) ont donné une lecture computationnelle de cette observation : si le monde produit des causes qui changent à des vitesses différentes, un cerveau qui veut le prédire a besoin d’une hiérarchie d’échelles de temps qui reflète cette structure.

Il existe même une échelle privilégiée pour l’expérience. Pöppel (https://doi.org/10.1016/S1364-6613(97)01008-5) a rassemblé des preuves montrant que nous intégrons les événements dans des fenêtres d’environ deux ou trois secondes : un « présent » fonctionnel qui regroupe ce que nous percevons comme simultané ou continu. Ce n’est pas un nombre magique. C’est la conséquence du fait que le système nerveux fonctionne avec plusieurs constantes de temps imbriquées.

Le temps comme état : horloges de population et cellules du temps

S’il n’y a pas d’horloge centrale, comment un réseau sait-il combien de temps s’est écoulé ? La réponse la plus élégante est que le temps est codé dans l’état même du réseau. Buonomano et Maass (https://doi.org/10.1038/nrn2558) l’ont formulé comme un calcul dépendant de l’état : un réseau récurrent reçoit un stimulus qui suit une trajectoire d’activité qui ne se répète pas. À chaque instant, sa configuration est différente. Un lecteur qui apprend à reconnaître cette configuration suffit à savoir combien de temps s’est écoulé depuis le stimulus.

L’hippocampe offre une version frappante de cette idée. Pendant les intervalles vides d’une tâche, certains neurones s’activent à des moments précis de l’intervalle, en séquence, comme s’ils marquaient des secondes successives. On les a appelés cellules du temps (MacDonald et al., 2011; Eichenbaum, 2014). Le cortex entorhinal latéral fournit un autre élément : des populations dont l’activité dérive progressivement avec l’expérience, de sorte que le temps écoulé puisse être décodé à partir du changement accumulé de la population (Tsao et al., 2018). Dans les deux cas, le temps n’est pas mesuré par des impulsions, mais par des changements d’état.

Figure 2. Les « cellules du temps » couvrent un intervalle : des neurones individuels de l’hippocampe s’activent à des instants successifs, de sorte que le temps écoulé se lit à partir de la séquence de cellules actives plutôt que d’une horloge centrale. Image : Cao, Bladon et al. (2022), eLife 75353, Fig. 1, CC BY 4.0.

Apprentissage dans le temps : fenêtres de plasticité synaptique

Représenter le temps est une chose. Apprendre dans le temps en est une autre. Le monde livre rarement la conséquence dans la même milliseconde que la cause. Le cerveau résout ce problème avec plusieurs fenêtres de plasticité qui se chevauchent.

La plus brève est la plasticité dépendante du timing des impulsions (STDP, l’un des mécanismes de Neuraxon). Si un neurone présynaptique s’active quelques millisecondes avant celui postsynaptique, la synapse se renforce ; s’il s’active après, elle s’affaiblit. La fenêtre utile dure quelques dizaines de millisecondes (Bi & Poo, 1998). C’est un détecteur de causalité locale, très précis et très bref.

Cette fenêtre n’est pas suffisante pour associer une action à une récompense qui arrive une seconde plus tard. C’est à cela que servent les traces d’éligibilité : la coïncidence de l’activité laisse une marque transitoire sur la synapse, et cette marque devient un changement de poids si un signal de neuromodulation arrive pendant qu’elle persiste. Dans les épines dendritiques du striatum, la dopamine renforce les synapses uniquement si elle arrive entre environ 0,3 et 2 secondes après l’activité (Yagishita et al., 2014). L’hippocampe ajoute une plasticité synaptique à l’échelle du temps comportemental, capable d’associer des entrées séparées par plusieurs secondes et de créer un champ de lieu en un seul essai (Bittner et al., 2017).

Au-dessus, il y a des échelles plus lentes. La consolidation et la plasticité structurelle s’exécutent sur des heures ou des jours, et ce qui est consolidé ne dépend plus de l’activité du moment.

Stabilité sans figer : homéostasie multi-échelle

Un réseau qui apprend selon des règles hebbiennes est instable par nature. Si ce qui s’active ensemble est renforcé, alors ce qui est renforcé s’active davantage et est renforcé davantage encore. Sans contrepoids, le réseau sature ou se tait.

Le cerveau a ce contrepoids. Turrigiano (2008) a décrit l’« ajustement » synaptique : lorsqu’un neurone reste trop actif pendant des heures, il réduit proportionnellement la force de toutes ses synapses, et l’augmente si le neurone reste trop silencieux. L’excitabilité intrinsèque s’ajuste de façon similaire (Desai, Rutherford & Turrigiano, 1999). In vivo, cette boucle lente ramène l’activité corticale à son point de consigne au cours des jours, d’une manière dépendante des états de l’éveil et du sommeil (Hengen et al., 2016).

Mais il y a une difficulté. La plasticité hebbienne agit en secondes, et l’homéostasie synaptique en heures. Zenke, Gerstner et Ganguli (2017) ont montré qu’un tel régulateur lent ne peut, à lui seul, juguler cette instabilité rapide. La conclusion est qu’il doit exister des mécanismes de compensation rapides, agissant à une vitesse presque identique à celle de l’apprentissage, et que l’homéostasie lente s’occupe d’autre chose : corriger une dérive à long terme. La stabilité n’est pas fournie par un thermostat, mais par une cascade de régulateurs, chacun à sa propre échelle.

La théorie de la mémoire aboutit à une conclusion parallèle. Benna et Fusi (2016) ont montré que des synapses avec une seule échelle de temps, si elles changent vite, apprennent bien mais oublient vite ; et si elles changent lentement, elles retiennent mais apprennent à peine. Des synapses dotées de variables internes couplées à différentes échelles échappent à ce dilemme et multiplient la capacité de mémoire. L’organisation multi-échelle est la solution à un problème computationnel.

Que fait un Transformer avec le temps ?

Avec tout ce cadre, on peut examiner l’architecture qui domine l’intelligence artificielle actuelle. Un Transformer traite une séquence de fragments de texte (tokens). Pour que le modèle sache dans quel ordre ils apparaissent, un encodage positionnel est ajouté à chaque token : un vecteur indique s’il s’agit du premier, du deuxième, ou du millième (Vaswani et al., 2017). Ensuite, le mécanisme d’attention compare tous les tokens avec tous les autres, simultanément.


Figure 3. L’architecture du Transformer. L’ordre est fourni une seule fois, sous forme d’un encodage positionnel ajouté à chaque token ; puis l’attention auto-compare tous les tokens simultanément, de sorte que le modèle traite la position dans la séquence comme un index plutôt que de « traverser » le temps. Image : « Transformer, full architecture », Wikimedia Commons (CC BY-SA 4.0).

La conséquence est profonde. Pour un Transformer, le temps est un index. Il n’y a pas de durée, seulement un ordre. Le silence d’une seconde et celui d’une heure sont indiscernables s’ils ne génèrent pas des tokens différents. De plus, l’ensemble du contexte est disponible simultanément. Le modèle ne traverse pas la séquence ; il la contemple dans son ensemble, comme une carte étalée sur une table. En termes neuroscientifiques, il a transformé le temps en espace.

Il n’y a pas non plus d’échelles de temps d’apprentissage pendant l’utilisation. Les poids sont figés pendant l’entraînement et restent gelés. Ce que le modèle « retient » au cours d’une conversation vit dans sa fenêtre de contexte, qui constitue une mémoire de travail externe et finie. Ce qu’il sait du monde s’arrête à sa date de coupure. Entre l’échelle de la fenêtre de contexte et celle du réentraînement, mesurée en mois, il n’y a rien.

Quatre limitations des Transformers qui découlent de ce choix

La première limite est l’insensibilité à la durée. De nombreux phénomènes du monde physique et social dépendent de la durée pendant laquelle quelque chose dure, pas seulement de ce qui vient avant. L’application des Transformers aux séries temporelles illustre le coût. Un modèle linéaire simple a surpassé plusieurs architectures de Transformer spécialisées dans la prévision de longues séries, en partie parce que l’attention, étant invariante par permutation, perd l’information sur l’ordre temporel fin que l’encodage positionnel ne restaure pas complètement (Zeng et al., 2023).

Le second est une mémoire « plate ». La fenêtre de contexte n’a pas de hiérarchie d’échelles : tout ce qui y rentre est également présent, et ce qui n’y rentre pas disparaît. Même à l’intérieur de la fenêtre, l’accès n’est pas homogène. Les modèles récupèrent l’information située au milieu de contextes longs moins bien que celle du début ou de la fin (Liu et al., 2024). Il n’existe pas d’équivalent aux fenêtres imbriquées décrites par Murray et Hasson.

Le troisième point est la séparation rigide entre apprendre et agir. Un Transformer n’apprend pas pendant qu’il fonctionne. S’il est réentraîné avec de nouvelles données sans précautions, il tend à effacer ce qui est venu avant : un phénomène connu depuis des décennies sous le nom d’interférence catastrophique (McCloskey & Cohen, 1989). C’est précisément le dilemme à une seule échelle : en l’absence de variables lentes pour protéger ce qui a été consolidé, le rapide efface l’ancien.

La quatrième est une stabilité importée. Le réseau ne se régule pas lui-même. Sa stabilité dépend de normalisations mathématiques fixes, de calendriers de taux d’apprentissage conçus par des ingénieurs, et d’un processus d’entraînement qui s’achève. Cela fonctionne précisément parce que le système cesse de changer. Un organisme ne peut pas se permettre cette solution.

Rien de tout cela ne nie la puissance des Transformers. Cela explique pourquoi ils excellent sur des tâches où le monde se laisse mettre dans un texte, et pourquoi ils échouent si l’on doit agir, attendre, anticiper et corriger dans un environnement qui continue de bouger. Il existe des alternatives au sein même du deep learning : par exemple des réseaux à constante de temps liquide (Hasani et al., 2021) ou des modèles d’espace d’états. Ce sont de réelles avancées, et elles confirment qu’il faut intégrer le temps dans la dynamique.

Comment Neuraxon 3.0 s’y prend : homéostasie temporelle multi-échelle (MSTH)

Neuraxon part d’une prémisse opposée à celle du Transformer. Le temps n’est pas encodé comme une position ; au contraire, c’est la variable sur laquelle évolue l’état de chaque unité. Neuraxon 2.0 a déjà introduit le traitement en temps continu, des synapses comportant des composantes rapides et lentes, ainsi qu’un mécanisme de ChronoPlasticity permettant à chaque synapse d’ajuster son horizon de mémoire. Neuraxon 3.0, actuellement en développement, réorganise ces éléments autour de la hiérarchie d’échelles que nous avons décrite.

La première décision consiste à séparer ce que le cerveau sépare. Il y a, d’une part, le courant synaptique : il monte et se dissipe en quelques millisecondes selon la cinétique des récepteurs. Il y a, d’autre part, le poids : il persiste. Confondre ces deux variables fait dépendre la mémoire du bruit de l’instant (Destexhe, Mainen & Sejnowski, 1994; Tsodyks & Markram, 1997).

La deuxième consiste à empiler des fenêtres de plasticité. À l’échelle de la milliseconde, une règle dépendant de l’ordre des impulsions opère. À l’échelle des secondes, des traces d’éligibilité qui attendent un signal de neuromodulation, en accord avec la dopamine rétroactive décrite expérimentalement (Yagishita et al., 2014; Brzosko, Schultz & Paulsen, 2015), et une plasticité inspirée de l’hippocampe à l’échelle comportementale du temps. À des échelles plus lentes, des portails de métaplasticité et des domaines astrocytiques qui décident de la quantité de changement possible pour un groupe de synapses.

Le troisième point est l’homéostasie multi-échelle, que dans Neuraxon nous appelons MSTH (Multi-Scale Temporal Homeostasis). Au lieu d’un seul thermostat, quatre boucles de régulation coordonnées, allant d’une boucle ultrarapide qui amortit les bouffées d’activité à une boucle lente qui corrige la dérive à long terme. C’est la traduction computationnelle de l’argument de Zenke, Gerstner et Ganguli (2017) : les régulateurs rapides contiennent l’instabilité hebbienne, et les régulateurs lents préservent le point de consigne sans figer l’apprentissage. La criticité, le régime dans lequel l’activité ni ne s’éteint ni ne s’emballe, se mesure comme une observable du système (Wilting & Priesemann, 2018).

Neuraxon 3.0 est aujourd’hui une architecture en phase de conception, et la contribution de MSTH fera l’objet d’expériences spécifiques en régimes à long horizon avant d’affirmer quoi que ce soit sur son efficacité. De plus, il n’intègre pas encore une phase de consolidation hors ligne équivalente au sommeil, que l’aperçu précédent suggère comme essentielle et que nous considérons comme l’une des principales tâches restant à accomplir.

Pourquoi le temps compte pour Qubic

L’intelligence que nous cherchons ne répond pas à des questions fermées. Elle agit dans des environnements qui changent pendant qu’elle agit. Les jeux interactifs de ARC-AGI-3 le montrent bien : ils ne présentent pas un énoncé de problème, mais un monde dont les règles sont découvertes en jouant, tour après tour. Un système qui ne distingue pas ce qui vient de se passer de ce qui s’est passé cinquante coups plus tôt, qui ne peut pas associer une action à sa conséquence différée, et qui n’apprend pas pendant qu’il joue, est désavantagé sur le plan structurel.

C’est pourquoi le temps n’est pas un simple détail d’implémentation dans Neuraxon. C’est le terrain sur lequel il est décidé si une architecture peut s’adapter. Et c’est aussi pour cela que cela a du sens de le développer sur un réseau comme Qubic : un système qui fonctionne en continu et avec un état, dans lequel une entité peut persister, changer et se réguler sans que quiconque ait besoin de la réinitialiser. Le cerveau a mis des centaines de millions d’années à apprendre à gérer le temps sur de nombreuses échelles à la fois. Nous essayons de calculer cette caractéristique unique.

Références

  • Abrahamson, E. E., & Moore, R. Y. (2001). Noyau suprachiasmatique chez la souris : innervation rétinienne, organisation intrinsèque et projections efférentes. Brain Research, 916(1–2), 172–191. https://doi.org/10.1016/S0006-8993(01)02890-6

  • Benna, M. K., & Fusi, S. (2016). Principes computationnels de la consolidation de la mémoire synaptique. Nature Neuroscience, 19(12), 1697–1706. https://doi.org/10.1038/nn.4401

  • Bi, G. Q., & Poo, M. M. (1998). Modifications synaptiques dans des neurones de l’hippocampe en culture : dépendance au timing des impulsions, à la force synaptique et au type de cellule postsynaptique. Journal of Neuroscience, 18(24), 10464–10472. https://doi.org/10.1523/JNEUROSCI.18-24-10464.1998

  • Bittner, K. C., Milstein, A. D., Grienberger, C., Romani, S., & Magee, J. C. (2017). La plasticité synaptique à l’échelle du temps comportemental sous-tend les champs de lieu CA1. Science, 357(6355), 1033–1036. https://doi.org/10.1126/science.aan3846

  • Borbély, A. A. (1982). Un modèle à deux processus pour la régulation du sommeil. Human Neurobiology, 1(3), 195–204.

  • Brzosko, Z., Schultz, W., & Paulsen, O. (2015). Modulation rétroactive de la plasticité dépendante du timing des impulsions par la dopamine. eLife, 4, e09685. https://doi.org/10.7554/eLife.09685

  • Buonomano, D. V., & Maass, W. (2009). Calculs dépendants de l’état : traitement spatiotemporel dans les réseaux corticaux. Nature Reviews Neuroscience, 10(2), 113–125. https://doi.org/10.1038/nrn2558

  • Desai, N. S., Rutherford, L. C., & Turrigiano, G. G. (1999). Plasticité de l’excitabilité intrinsèque des neurones pyramidaux du cortex. Nature Neuroscience, 2(6), 515–520. https://doi.org/10.1038/9165

  • Destexhe, A., Mainen, Z. F., & Sejnowski, T. J. (1994). Synthèse de modèles pour les membranes excitables, la transmission synaptique et la neuromodulation grâce à un formalisme cinétique commun. Journal of Computational Neuroscience, 1(3), 195–230. https://doi.org/10.1007/BF00961734

  • Eichenbaum, H. (2014). Les cellules du temps dans l’hippocampe : une nouvelle dimension pour cartographier les souvenirs. Nature Reviews Neuroscience, 15(11), 732–744. https://doi.org/10.1038/nrn3827

  • Grothe, B., Pecka, M., & McAlpine, D. (2010). Mécanismes de localisation sonore chez les mammifères. Physiological Reviews, 90(3), 983–1012. https://doi.org/10.1152/physrev.00026.2009

  • Hasani, R., Lechner, M., Amini, A., Rus, D., & Grosu, R. (2021). Réseaux à constante de temps liquide. Actes de la conférence AAAI sur l’intelligence artificielle, 35(9), 7657–7666. https://doi.org/10.1609/aaai.v35i9.16936

  • Hasson, U., Yang, E., Vallines, I., Heeger, D. J., & Rubin, N. (2008). Une hiérarchie de fenêtres de réceptivité temporelle dans le cortex humain. Journal of Neuroscience, 28(10), 2539–2550. https://doi.org/10.1523/JNEUROSCI.5487-07.2008

  • Hattar, S., Liao, H.-W., Takao, M., Berson, D. M., & Yau, K.-W. (2002). Cellules ganglionnaires rétiniennes contenant de la mélanopsine : architecture, projections et photosensibilité intrinsèque. Science, 295(5557), 1065–1070. https://doi.org/10.1126/science.1069609

  • Hengen, K. B., Torrado Pacheco, A., McGregor, J. N., Van Hooser, S. D., & Turrigiano, G. G. (2016). L’homéostasie du taux de décharge des neurones est inhibée par le sommeil et favorisée par l’éveil. Cell, 165(1), 180–191. https://doi.org/10.1016/j.cell.2016.01.046

  • Hensch, T. K. (2005). Plasticité des périodes critiques dans les circuits corticaux locaux. Nature Reviews Neuroscience, 6(11), 877–888. https://doi.org/10.1038/nrn1787

  • Ivry, R. B., & Schlerf, J. E. (2008). Modèles dédiés et intrinsèques de la perception du temps. Trends in Cognitive Sciences, 12(7), 273–280. https://doi.org/10.1016/j.tics.2008.04.002

  • Kiebel, S. J., Daunizeau, J., & Friston, K. J. (2008). Une hiérarchie d’échelles de temps et le cerveau. PLoS Computational Biology, 4(11), e1000209. https://doi.org/10.1371/journal.pcbi.1000209

  • Kleitman, N. (1982). Cycle repos-activité de base — 22 ans plus tard. Sleep, 5(4), 311–317. https://doi.org/10.1093/sleep/5.4.311

  • Lightman, S. L., & Conway-Campbell, B. L. (2010). Rôle crucial de l’activité pulsatile de l’axe HPA pour l’équilibration dynamique continue. Nature Reviews Neuroscience, 11(10), 710–718. https://doi.org/10.1038/nrn2914

  • Lisker, L., & Abramson, A. S. (1964). Une étude translinguistique de la sonorité dans les arrêts initiaux : mesures acoustiques. Word, 20(3), 384–422. https://doi.org/10.1080/00437956.1964.11659830

  • Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2024). Perdu au milieu : comment les modèles de langage utilisent les contextes longs. Transactions of the Association for Computational Linguistics, 12, 157–173. https://doi.org/10.1162/tacl_a_00638

  • MacDonald, C. J., Lepage, K. Q., Eden, U. T., & Eichenbaum, H. (2011). Les « cellules du temps » hippocampiques comblent le fossé de la mémoire pour des événements discontinus. Neuron, 71(4), 737–749. https://doi.org/10.1016/j.neuron.2011.07.012

  • McCloskey, M., & Cohen, N. J. (1989). Interférence catastrophique dans les réseaux connexionnistes : le problème d’apprentissage séquentiel. Psychology of Learning and Motivation, 24, 109–165. https://doi.org/10.1016/S0079-7421(08)60536-8

  • Merchant, H., Harrington, D. L., & Meck, W. H. (2013). Base neurale de la perception et de l’estimation du temps. Annual Review of Neuroscience, 36, 313–336. https://doi.org/10.1146/annurev-neuro-062012-170349

  • Murray, J. D., Bernacchia, A., Freedman, D. J., Romo, R., Wallis, J. D., Cai, X., Padoa-Schioppa, C., Pasternak, T., Seo, H., Lee, D., & Wang, X.-J. (2014). Une hiérarchie de temps intrinsèques à travers le cortex des primates. Nature Neuroscience, 17(12), 1661–1663. https://doi.org/10.1038/nn.3862

  • Paton, J. J., & Buonomano, D. V. (2018). La base neurale du timing : mécanismes distribués pour des fonctions diverses. Neuron, 98(4), 687–705. https://doi.org/10.1016/j.neuron.2018.03.045

  • Pöppel, E. (1997). Un modèle hiérarchique de la perception du temps. Trends in Cognitive Sciences, 1(2), 56–61. https://doi.org/10.1016/S1364-6613(97)01008-5

  • Takahashi, J. S. (2017). Architecture transcriptionnelle de l’horloge circadienne des mammifères. Nature Reviews Genetics, 18(3), 164–179. https://doi.org/10.1038/nrg.2016.150

  • Tononi, G., & Cirelli, C. (2014). Le sommeil et le prix de la plasticité : de l’homéostasie synaptique et cellulaire à la consolidation et l’intégration de la mémoire. Neuron, 81(1), 12–34. https://doi.org/10.1016/j.neuron.2013.12.025

  • Tsao, A., Sugar, J., Lu, L., Wang, C., Knierim, J. J., Moser, M.-B., & Moser, E. I. (2018). Intégrer le temps à partir de l’expérience dans le cortex entorhinal latéral. Nature, 561(7721), 57–62. https://doi.org/10.1038/s41586-018-0459-6

  • Tsodyks, M. V., & Markram, H. (1997). Le code neuronal entre les neurones pyramidaux néocorticaux dépend de la probabilité de libération du neurotransmetteur. Proceedings of the National Academy of Sciences, 94(2), 719–723. https://doi.org/10.1073/pnas.94.2.719

  • Turrigiano, G. G. (2008). Le neurone « auto-accordé » : ajustement synaptique des synapses excitatrices. Cell, 135(3), 422–435. https://doi.org/10.1016/j.cell.2008.10.008

  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). L’attention suffit. Dans Advances in Neural Information Processing Systems 30 (pp. 5998–6008). https://arxiv.org/abs/1706.03762

  • Wehr, T. A. (2001). Photopériodisme chez l’humain et d’autres primates : preuves et implications. Journal of Biological Rhythms, 16(4), 348–364. https://doi.org/10.1177/074873001129002060

  • Wilting, J., & Priesemann, V. (2018). Inférer des états dynamiques collectifs à partir de systèmes peu observés. Nature Communications, 9, 2325. https://doi.org/10.1038/s41467-018-04725-4

  • Woolley, C. S., & McEwen, B. S. (1992). L’estradiol médie la fluctuation de la densité des synapses hippocampiques au cours du cycle œstral chez le rat adulte. Journal of Neuroscience, 12(7), 2549–2554. https://doi.org/10.1523/JNEUROSCI.12-07-02549.1992

  • Yagishita, S., Hayashi-Takagi, A., Ellis-Davies, G. C. R., Urakubo, H., Ishii, S., & Kasai, H. (2014). Une fenêtre temporelle critique pour les actions de la dopamine sur la plasticité structurale des épines dendritiques. Science, 345(6204), 1616–1620. https://doi.org/10.1126/science.1255514

  • Zeng, A., Chen, M., Zhang, L., & Xu, Q. (2023). Les transformeurs sont-ils efficaces pour la prévision de séries temporelles ? Actes de la conférence AAAI sur l’intelligence artificielle, 37(9), 11121–11128. https://doi.org/10.1609/aaai.v37i9.26317

  • Zenke, F., Gerstner, W., & Ganguli, S. (2017). Le paradoxe temporel de l’apprentissage hebbien et de la plasticité homéostatique. Current Opinion in Neurobiology, 43, 166–176. https://doi.org/10.1016/j.conb.2017.03.015

Neuraxon Intelligence Academy : la série complète

Continuer d’explorer la science derrière l’IA inspirée du cerveau, Aigarth et Neuraxon dans les volumes précédents de la Neuraxon Intelligence Academy :

  • Volume 1 de la NIA : Pourquoi l’intelligence n’est pas calculée par étapes, mais dans le temps — Explore pourquoi l’intelligence biologique fonctionne en temps continu plutôt qu’en étapes de calcul discrètes comme les LLM traditionnels.

  • Volume 2 de la NIA : Dynamique ternaire comme modèle d’intelligence vivante — Explique la dynamique ternaire et pourquoi la logique à trois états (excitation, neutre, inhibition) compte pour modéliser des systèmes vivants.

  • Volume 3 de la NIA : Neuromodulation et IA inspirée du cerveau — Couvre la neuromodulation et comment la signalisation chimique du cerveau (dopamine, sérotonine, acétylcholine, noradrénaline) inspire l’architecture de Neuraxon.

  • Volume 4 de la NIA : Réseaux neuronaux en IA et en neurosciences — Une comparaison approfondie des réseaux neuronaux biologiques, des réseaux neuronaux artificiels et de l’approche « troisième voie » de Neuraxon.

  • Volume 5 de la NIA : Astrocytes et IA inspirée du cerveau — Comment la modulation d’accès par les astrocytes transforme la plasticité des réseaux neuronaux via le cadre AGMP dans Neuraxon.

  • Volume 6 de la NIA : Machines conscientes vs organismes intelligents : l’IA consciente expliquée — Explore la conscience de l’IA à travers le prisme de la théorie du « Global Workspace », la théorie de l’information intégrée et le codage prédictif.

  • Volume 7 de la NIA : Le Jeu de la vie de Conway, la vie artificielle et les écosystèmes digitaux — La science derrière Qubic, Aigarth et la complexité émergente de Neuraxon et la criticité auto-organisée.

  • Volume 8 de la NIA : Criticité cérébrale et ratio de branchement dans les réseaux neuronaux et artificiels — Pourquoi un ratio de branchement proche de 1 et la criticité auto-organisée sont des principes de conception bioinspirés dans Neuraxon.

  • Volume 9 de la NIA : L’origine du facteur g : de l’éducation et des neurosciences à l’intelligence artificielle — Explore l’origine du facteur g à travers l’éducation, les neurosciences et l’IA.

  • Volume 10 de la NIA : Comment mesurons-nous l’intelligence d’une machine ? Le facteur g, le benchmark ARC-AGI, et l’avenir de l’évaluation de l’IA — Le facteur g, le benchmark ARC-AGI de François Chollet, la contamination des données dans l’évaluation des LLM, et pourquoi l’efficacité d’acquisition de compétences est le vrai test de l’intelligence.

  • Volume 11 de la NIA : Qu’est-ce que l’AGI ? Limites, visions & définitions de l’intelligence générale artificielle

#Qubic #AGI #AI #Neuraxon