onceforall
-
ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPE- CIALIZE IT FOR EFFICIENT DEPLOYMENT 리뷰paper review 2021. 11. 7. 02:36
0. Abstract 다양한 device의 제약조건 하에서 효율적으로 inference 하는 것은 쉽지 않은 문제. 전통적인 방법으로 네트워크를 디자인하는 것도 엄청난 연산량이 부담. 본 연구에서는 a once-for-all (OFA) 네트워크 학습법을 제안하며, OFA는 training과 search를 분리함으로써 다양한 환경을 지원. OFA 네트워크에서 추가적인 학습 없이 특화 sub-network를 빠르게 선택할 수 있음. 효율적으로 OFA 네트워크를 학습하기 위해, Progressive Shrinking (PS) Algorithm 도 제안함. PS는 보다 일반화된 pruning 방법으로, model size를 일반 pruning 방법보다 다양한 차원에 걸쳐 줄일 수 있음(depth, width, ..