지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제29권 제5호
- 발행연도
- 2023.5
- 수록면
- 228 - 239 (12page)
- DOI
- 10.5626/KTCP.2023.29.5.228
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근 방대한 텍스트 데이터에 대해 사전학습을 수행한 모델인 사전학습 언어모델이 다양한 텍스트 분석에 활용되며 성과를 거두고 있다. 하지만 BERT와 같은 범용 사전학습 언어모델은 전문 도메인의 말뭉치에 대해서는 비교적 낮은 성능을 보인다는 한계를 가지며, 이에 따라 전문 도메인에 맞게 도메인 특화 사전학습 언어모델을 새롭게 개발하고자 하는 수요가 증가하고 있다. 하지만 이러한 수요에 비해 도메인 특화 사전학습 언어모델을 개발하기 위한 체계적인 전략 및 접근법에 대한 논의는 부족한 실정이다. 이에 본 연구에서는 도메인 특화 언어모델 개발 시 고려해야할 사항을 정리하여 제안하였으며, 이러한 개발 전략에 따라 자동차 분야 언어모델인 V-BERT를 개발한 사례를 소개하였다. 또한 자동차 분야의 전문 문서에 대한 실험을 통해 V-BERT 기반 CPC 분류 모델이 일반 BERT 기반 모델에 비해 우수한 성능을 보임을 확인하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 방법론
4. 실험
5. 결론
References
참고문헌 (33)
참고문헌 신청
S. Seo and S. B. Cho, "A Transfer Learning Method for Solving Imbalance Data of Abusive Sentence Classification," Journal of KIISE, Vol. 44, No. 12, pp. 1275-1281, 2017.
G. Kim and S. Kang, "Effective Transfer Learning in Text Classification with the Label-Based Discriminative Feature Learning," Journal of KIISE, Vol. 49, No. 3, pp. 214-220, 2022.
S. Lee, H. Jang, Y. Baik, S. Park, and H. Shin, "A Small-Scale Korean-Specific BERT Language Model," Journal of KIISE, Vol. 47, No. 7, pp. 682-692, 2020.
J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding,” arXiv preprint arXiv:1810.04805, 2019.
Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov, “Roberta: A Robustly Optimized Bert Pretraining Approach,” arXiv preprint arXiv:1907. 11692, 2019.
G. Kim and S. Kang, "Effective Transfer Learning in Text Classification with the Label-Based Discriminative Feature Learning," Journal of KIISE, Vol. 49, No. 3, pp. 214-220, 2022.
S. Lee, H. Jang, Y. Baik, S. Park, and H. Shin, "A Small-Scale Korean-Specific BERT Language Model," Journal of KIISE, Vol. 47, No. 7, pp. 682-692, 2020.
J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding,” arXiv preprint arXiv:1810.04805, 2019.
Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov, “Roberta: A Robustly Optimized Bert Pretraining Approach,” arXiv preprint arXiv:1907. 11692, 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
도메인 특수성이 도메인 특화 사전학습 언어모델의 성능에 미치는 영향
한국지능정보시스템학회 학술대회논문집
2022 .11
-
도메인 특수성이 도메인 특화 사전학습 언어모델의 성능에 미치는 영향
지능정보연구
2022 .12
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
지능정보연구
2022 .06
-
데이터 증강을 활용한 BERT 언어모델 사전학습
대한산업공학회 추계학술대회 논문집
2020 .11
-
BERT 언어 모델을 사용한 상담 매칭 시스템
한국정보과학회 학술발표논문집
2020 .07
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
한국지능정보시스템학회 학술대회논문집
2022 .06
-
사전 학습된 BERT와 미세 조정된 BERT간의 어텐션 헤드 유사도 분석
한국정보과학회 학술발표논문집
2022 .12
-
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
한국정보과학회 학술발표논문집
2020 .12
-
Combining Sentiment-Combined Model with Pre-Trained BERT Models for Sentiment Analysis
Journal of KIISE
2021 .07
-
Text classification에 특화 시킨 개선된 BERT 활용 방법론 제안
한국통신학회 학술대회논문집
2021 .02
-
A Small-Scale Korean-Specific BERT Language Model
Journal of KIISE
2020 .07
-
사전 학습 언어모델 기반 오픈 도메인에서의 한국어 대화 생성
한국정보과학회 학술발표논문집
2022 .06
-
BERT 파생 모델의 한국어에 대한 성능 비교
한국통신학회 학술대회논문집
2020 .02
-
중공업 도메인 특화 언어 모델 : HeavyBERT
한국정보과학회 학술발표논문집
2021 .06
-
BERT 마스크 언어 모델을 활용한 시스템 로그 이상치 탐지
대한산업공학회 춘계공동학술대회 논문집
2021 .06
-
BERT 기반 교통사고 비정형 데이터 분류 모델 개발
대한교통학회 학술대회지
2022 .04
-
추가학습 없는 BERT를 활용한 시스템 로그 이상치 탐지
대한산업공학회 춘계공동학술대회 논문집
2023 .05
-
법률 판례 검색을 위한 BERT 및 유사도 기반 모델 연구
Proceedings of KIIT Conference
2023 .11
-
좌충우돌 감성분석 BERT 미세조정 분석
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
BERT 기반 한국어 개방형 정보 추출
한국정보과학회 학술발표논문집
2019 .06
이 논문의 저자 정보
최근 본 자료
댓글(0)
0