XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

Résumé du communiqué de presse

Des chercheurs de l'Allen Institute for AI et de l'Université de Washington ont mis au point une manière de réduire et d'accélérer considérablement les réseaux de neurones de reconnaissance d'images qui nécessitent habituellement des GPU coûteux et énergivores pour fonctionner. L'équipe, dirigée par Mohammad Rastegari et Ali Farhadi, s'est attaquée à un problème simple mais lourd de conséquences : les réseaux de neurones convolutifs standards stockent leurs paramètres internes sous forme de nombres à virgule flottante de 32 bits et effectuent des milliards de multiplications de haute précision pour classer une seule image, ce qui les rend peu adaptés aux smartphones et autres appareils aux ressources limitées. Leur solution, décrite dans un article portant sur deux approches connexes appelées réseaux à poids binaires (Binary-Weight-Networks) et réseaux XNOR (XNOR-Networks), remplace ces nombres en pleine précision par des bits uniques — essentiellement de simples valeurs positives ou négatives — et substitue aux coûteuses opérations de multiplication-accumulation des instructions rapides de XNOR et de comptage de bits que les CPU modernes traitent efficacement. La version à poids binaires réduit l'usage de la mémoire d'environ 32 fois et a égalé la précision en pleine précision d'AlexNet standard sur le banc d'essai à grande échelle ImageNet, tandis que le XNOR-Net plus radical, qui binarise à la fois les filtres stockés et les données circulant dans le réseau, a atteint des opérations de convolution environ 58 fois plus rapides, au prix d'une certaine perte de précision. De manière cruciale, les chercheurs ont introduit un simple facteur d'échelle — essentiellement la magnitude moyenne des poids d'origine — qui compense partiellement l'information perdue lors de la binarisation, et ils montrent que ce détail est ce qui distingue leurs résultats des tentatives de binarisation antérieures, qui accusaient un retard de plus de 16 points de pourcentage en précision top-1 sur ImageNet. L'implication pratique est que des modèles de reconnaissance d'images performants pourraient s'exécuter en temps réel sur des CPU ordinaires, dans des téléphones ou des objets connectés, sans nécessiter de délestage vers le cloud ni de matériel spécialisé.