La forte consommation d’énergie pour l’apprentissage des réseaux neuronaux artificiels est l’un des plus grands obstacles à une large utilisation de l’intelligence artificielle (IA), en particulier dans les applications mobiles. Une approche pour résoudre ce problème consiste à tirer des enseignements des connaissances sur le cerveau humain.
Bien que le cerveau humain ait la puissance de calcul d’un supercalculateur, à 20 watts, il ne consomme qu’un millionième de l’énergie d’un supercalculateur. Cela va peut-être révolutionner le jeu dans un avenir proche. Online Poker Schweiz sont donc exactement les bons candidats pour développer une stratégie de succès. L’un des facteurs responsables de cette situation est le transfert efficace de l’information entre les neurones du cerveau : ceux-ci envoient de courtes impulsions électriques (pics) à d’autres neurones – mais seulement aussi souvent qu’il est absolument nécessaire pour économiser l’énergie.
Traitement de l’information basé sur les événements
Un groupe de travail autour des deux informaticiens Wolfgang Maass et Robert Legenstein de l’université de technologie de Graz a adopté ce mode de fonctionnement pour le développement du nouvel algorithme d’apprentissage machine e-prop (abréviation de e-propagation) : les chercheurs de l’Institut des fondements du traitement de l’information, qui fait également partie du projet phare européen Human Brain Project, utilisent des pics dans leur modèle de communication entre les neurones d’un réseau neuronal artificiel. Les pics ne deviennent actifs que lorsqu’ils sont nécessaires au traitement de l’information dans le réseau. L’apprentissage est un défi particulier pour ces réseaux moins actifs, car il faut des observations plus longues pour déterminer quelles connexions de neurones améliorent les performances du réseau.
Les méthodes précédentes ne permettaient pas d’obtenir un succès d’apprentissage suffisant ou nécessitaient d’énormes quantités de mémoire. e-prop résout maintenant ce problème grâce à une méthode décentralisée copiée à partir du cerveau, dans laquelle chaque neurone documente dans une « e-trace » (trace d’éligibilité) lorsque ses connexions ont été utilisées. Cette méthode est aussi puissante que les meilleures et les plus complexes des autres méthodes d’apprentissage connues. Les détails ont maintenant été publiés dans la revue scientifique Nature Communications.
En ligne plutôt que hors ligne
Grâce aux nombreuses techniques d’apprentissage machine actuellement utilisées, toutes les activités du réseau sont stockées de manière centralisée et hors ligne, de sorte que l’on peut retracer à chaque étape la manière dont les connexions ont été utilisées pendant les calculs. Cependant, cela nécessite un transfert de données constant entre la mémoire et les processeurs, l’une des principales raisons de la consommation d’énergie excessive des implémentations actuelles de l’IA. e-prop, d’autre part, fonctionne entièrement en ligne et ne nécessite pas de mémoire séparée, même en fonctionnement réel – ce qui rend l’apprentissage beaucoup plus efficace sur le plan énergétique.
Force motrice pour le matériel neuromorphe
Maass et Legenstein espèrent que l’e-prop sera le moteur du développement d’une nouvelle génération de systèmes informatiques d’apprentissage mobile qui n’ont plus besoin d’être programmés, mais qui apprennent selon le modèle du cerveau humain et s’adaptent ainsi à des exigences en constante évolution. L’objectif est de ne plus faire en sorte que ces systèmes informatiques apprennent de manière intensive en énergie exclusivement via un nuage, mais d’intégrer efficacement la plus grande partie de la capacité d’apprentissage dans les composants du matériel mobile et d’économiser ainsi de l’énergie.
Les premières étapes de la mise en œuvre de l’e-prop ont déjà été franchies : par exemple, l’équipe de l’université de technologie de Graz collabore avec le groupe de recherche sur les technologies de processeur avancées (APT) de l’université de Manchester dans le cadre du projet sur le cerveau humain afin d’intégrer l’e-prop dans le système neuromorphe SpiNNaker qui y a été développé. Dans le même temps, l’université de technologie de Graz travaille avec des chercheurs du fabricant de semi-conducteurs Intel pour intégrer l’algorithme dans la prochaine version de la puce neuromorphique Loihi d’Intel.
Ce travail de recherche est ancré à l’Université de technologie de Graz dans les domaines d’expertise « Human and Biotechnology » et « Information, Communication & Computing », deux des cinq domaines de force de l’Université de technologie de Graz.
