XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
보도 자료 요약
Allen Institute for AI와 University of Washington의 연구진은 일반적으로 비싸고 전력을 많이 소모하는 GPU가 필요한 이미지 인식 신경망을 극적으로 축소하고 가속하는 방법을 개발했다. Mohammad Rastegari와 Ali Farhadi가 이끈 연구팀은 단순하지만 중대한 문제를 다루었다: 표준 합성곱 신경망은 내부 파라미터를 32비트 부동소수점 숫자로 저장하고 단일 이미지를 분류하기 위해 수십억 번의 고정밀 곱셈을 수행하는데, 이는 스마트폰 및 기타 자원 제약 기기에는 비현실적이다. Binary-Weight-Networks와 XNOR-Networks라는 두 가지 관련 접근법을 설명한 논문에서 제시한 그들의 해결책은, 그러한 완전 정밀도 숫자를 본질적으로 양수 또는 음수 1에 해당하는 단일 비트로 대체하고, 비용이 큰 곱셈-누산 연산을 현대 CPU가 효율적으로 처리하는 빠른 XNOR 및 비트 카운팅 명령으로 대체한다. 이진 가중치 버전은 메모리 사용량을 약 32배 줄였고 대규모 ImageNet 벤치마크에서 표준 AlexNet의 완전 정밀도 정확도에 필적했으며, 저장된 필터와 네트워크를 통해 흐르는 데이터를 모두 이진화하는 더 공격적인 XNOR-Net은 일부 정확도를 희생하는 대가로 약 58배 더 빠른 합성곱 연산을 달성했다. 결정적으로, 연구진은 본질적으로 원래 가중치의 평균 크기에 해당하는 단순한 스케일링 인자를 도입하여 이진화에서 손실된 정보를 부분적으로 보상했으며, ImageNet top-1 정확도에서 16%포인트 이상 뒤처졌던 이전 이진화 시도들과 자신들의 결과를 구별하는 것이 바로 이 세부 사항임을 보인다. 실용적 함의는, 유능한 이미지 인식 모델이 클라우드 오프로딩이나 특수 하드웨어 없이 휴대전화나 웨어러블의 평범한 CPU에서 실시간으로 실행될 수 있다는 점이다.
초록
우리는 표준 합성곱 신경망에 대한 두 가지 효율적인 근사를 제안한다: Binary-Weight-Networks와 XNOR-Networks. Binary-Weight-Networks에서는 필터를 이진 값으로 근사하여 32배의 메모리 절약을 이룬다. XNOR-Networks에서는 필터와 합성곱 계층의 입력 모두가 이진이다. XNOR-Networks는 주로 이진 연산을 사용하여 합성곱을 근사한다. 이는 58배 더 빠른 합성곱 연산과 32배의 메모리 절약을 가져온다. XNOR-Net은 최첨단 네트워크를 (GPU가 아닌) CPU에서 실시간으로 실행할 가능성을 제공한다. 우리의 이진 네트워크는 단순하고, 정확하며, 효율적이고, 까다로운 시각 작업에서 작동한다. 우리는 우리의 접근법을 ImageNet 분류 작업에서 평가한다. Binary-Weight-Network 버전 AlexNet의 분류 정확도는 (top-1 척도에서) 완전 정밀도 AlexNet보다 단지 2.9% 낮다. 우리는 우리 방법을 최근의 네트워크 이진화 방법인 BinaryConnect 및 BinaryNets와 비교하며, ImageNet에서 top-1 정확도로 16% 이상의 큰 차이로 이러한 방법들을 능가한다.
인용
@inproceedings{rastegari2016xnor,
title = {XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks},
author = {Rastegari, Mohammad and Ordonez, Vicente and Redmon, Joseph and Farhadi, Ali},
year = {2016},
booktitle = {European Conference on Computer Vision. ECCV 2016},
url = {http://arxiv.org/abs/1603.05279},
}