지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.12
- 수록면
- 527 - 534 (8page)
- DOI
- 10.5391/JKIIS.2024.34.6.527
이용수
초록· 키워드
오류제보하기
지식 증류는 대규모 딥러닝 모델의 성능을 유지하면서 모델 크기를 축소할 수 있는 대표적인 딥러닝 기반 모델 경량화 기법이다. 지금까지 다양한 지식 증류 기법들이 학계에서 제안되었으나 기존의 지식 증류 방법들은 모든 학습 샘플에 대해 동일한 가중치를 적용하는 정적인 방식을 사용하여, 문제의 난이도나 교사 모델의 특성을 고려하지 못하는 한계가 있다. 따라서, 본 연구에서는 교사 모델 출력의 엔트로피를 기반으로 지식 증류의 강도를 적응적으로 조절하는 새로운 방법을 제안한다. 제안된 방법은 교사 모델의 출력 엔트로피를 통해 각 학습 샘플의 난이도를 추정하고, 이를 바탕으로 지식 증류와 직접 학습의 비중을 조절한다. CIFAR-100 데이터셋에서의 실험 결과, 제안된 방법은 기존 지식 증류 방법 대비 동일 네트워크 구조에서 평균 0.47%, 서로 다른 네트워크 구조에서 평균 0.62%의 추가적인 정확도 향상을 달성하였다. 특히, 교사 모델이 오답을 제시한 샘플들에서 더 큰 성능 개선을 보임으로써, 제안된 방법이 단순한 모방을 넘어 향상된 일반화 능력을 달성할 수 있음을 입증하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 기법
4. 실험 결과
5. 결론 및 향후 연구
References
참고문헌 (21)
참고문헌 신청
Geoffrey Hinton, “Distilling the Knowledge in a Neural Network,” arXiv preprint arXiv:1503.02531, 2015.
B. Zhao, Q. Cui, R. Song, Y. Qiu, and J. Liang, “Decoupled Knowledge Distillation,” Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 11943-11952, 2022.
A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio, “Fitnets: Hints for thin deep nets,” arXiv preprint arXiv:1412.6550, 2014.
S. Zagoruyko and N. Komodakis, “Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer,” Proceedings of the 5th International Conference on Learning Representations (ICLR), Toulon, France, April 24-26, 2017.
Y. Tian, D. Krishnan, and P. Isola, “Contrastive Representation Distillation,” Proceedings of the 8th International Conference on Learning Representations (ICLR), Addis Ababa, Ethiopia, April 26-30, 2020.
B. Zhao, Q. Cui, R. Song, Y. Qiu, and J. Liang, “Decoupled Knowledge Distillation,” Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 11943-11952, 2022.
A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio, “Fitnets: Hints for thin deep nets,” arXiv preprint arXiv:1412.6550, 2014.
S. Zagoruyko and N. Komodakis, “Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer,” Proceedings of the 5th International Conference on Learning Representations (ICLR), Toulon, France, April 24-26, 2017.
Y. Tian, D. Krishnan, and P. Isola, “Contrastive Representation Distillation,” Proceedings of the 8th International Conference on Learning Representations (ICLR), Addis Ababa, Ethiopia, April 26-30, 2020.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
지식의 분포 특성을 활용한 지식 증류
정보 및 제어 논문집
2021 .04
-
지식증류를 통한 딥러닝 기반 정지영상 압축 모델의 성능 향상에 관한 연구
대한전자공학회 학술대회
2022 .06
-
지식 증류 기법 별 교사와 학생 간 강건성 상호 관계
한국정보과학회 학술발표논문집
2024 .06
-
다변량 시계열 데이터에서 이상 탐지를 위한 지식 증류
한국정보과학회 학술발표논문집
2021 .06
-
샘플 별 모델 신뢰도를 통한 지식 증류 강화
한국정보과학회 학술발표논문집
2022 .06
-
초해상화 모델 경량화를 위한 지식 증류 방법의 비교 연구
융합신호처리학회 논문지
2023 .03
-
대조 학습 기반 자가증류를 이용한 단일 영상 초해상화 모델 경량화 기법
방송공학회논문지
2023 .11
-
자가 지식 증류 기법을 적용한 객체 검출 기법의 성능 분석
한국방송미디어공학회 학술발표대회 논문집
2022 .11
-
오픈 도메인 질의응답을 위한 Dense Text Retrieval에서의 Teacher-free self-training 지식 증류 기법의 효과
정보과학회 컴퓨팅의 실제 논문지
2023 .12
-
내연기관 자동차에 사용되는 연료의 증류특성에 관한 실험적 연구
한국가스학회지
2021 .10
-
규제화된 지식 증류기법 (Knowledge Distillation)을 이용한 네트워크 압축
한국정보과학회 학술발표논문집
2019 .12
-
딥러닝 기반 자율주행 애플리케이션의 경량화를 위한 예습을 통한 지식 증류 기법
한국자동차공학회 추계학술대회 및 전시회
2022 .11
-
지식 증류 모델의 정보 수용 한계에 의한 성능 불안정 현상 탐색
한국정보과학회 학술발표논문집
2024 .06
-
모델 내부/외부 특징량 상관 학습을 통한 지식 증류
한국컴퓨터정보학회논문지
2023 .04
-
다중 스케일 특징맵 지식 증류를 통한 3D 객체 검출
한국컴퓨터정보학회논문지
2024 .10
-
멀티 클래스 환경에서 추천을 위한 지식 증류를 이용하는 딥러닝 기반의 행렬 분해 기법
한국정보과학회 학술발표논문집
2021 .06
-
경량화된 딥러닝 모델의 성능 보완을 위한 지식 증류 기반의 미세 조정 기법
대한전자공학회 학술대회
2022 .06
-
추천 시스템을 위한 지식 증류 기술
정보과학회지
2021 .03
-
데이터 증대 및 지식 증류와 앙상블을 통한 딥러닝 성능 강화
한국컴퓨터정보학회 학술발표논문집
2024 .07
이 논문의 저자 정보
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-092154249