지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.4
- 수록면
- 105 - 112 (8page)
이용수
초록· 키워드
오류제보하기
빅데이터 시대에 접어들며 데이터에 대한 관심이 폭발적으로 늘어나고 있다. 특히, 인터넷 및 소셜미디어의 발전은 새로운 데이터들의 생성으로 연결되어 빅데이터와 인공지능 시대의 실현과 융합 기술의 새로운 장을 열 수 있게 되었으며, 과거에는 프로그램으로 다루지 못하던 데이터에 대한 분석 요구가 많이 발생하고 있다.
본 논문에서는 빅데이터 시대에서 많이 요구되는 비정형 데이터에 대한 분류를 위하여 분석 모델을 설계하고 이를 검증하였다. 데이터는 디비피아의 논문 요약과 주제어, 그리고 부주제 어를 크롤링하였으며, 코엔엘피의 데이터 사전을 이용해 데이터베이스를 생성하고, 형태소 분석을 통하여 단어의 토큰화 과정을 수행하였다. 또한, 카이스트의 9 품사 분류 체계를 이용해 명사를 추출하고, TF-IDF 값을 생성하였으며, 학습 데이터와 Y 값을 결합하여 분석 데이터 셋을 생성하였다. 이와 같이 생성된 분석 데이터 셋에 랜덤 포레스트와 서포트 벡터 머신 그리고 의사결정트리, 이렇게 세 가지 분석 알고리즘을 적용하여 분류의 적정성을 측정하였다.
본 논문에서 제안한 분류 모델 기법은 논문 분류 외에도 민원 분류 분석 및 텍스트 관련 분석 등 다양한 분야에 유용하게 사용될 수 있다.
본 논문에서는 빅데이터 시대에서 많이 요구되는 비정형 데이터에 대한 분류를 위하여 분석 모델을 설계하고 이를 검증하였다. 데이터는 디비피아의 논문 요약과 주제어, 그리고 부주제 어를 크롤링하였으며, 코엔엘피의 데이터 사전을 이용해 데이터베이스를 생성하고, 형태소 분석을 통하여 단어의 토큰화 과정을 수행하였다. 또한, 카이스트의 9 품사 분류 체계를 이용해 명사를 추출하고, TF-IDF 값을 생성하였으며, 학습 데이터와 Y 값을 결합하여 분석 데이터 셋을 생성하였다. 이와 같이 생성된 분석 데이터 셋에 랜덤 포레스트와 서포트 벡터 머신 그리고 의사결정트리, 이렇게 세 가지 분석 알고리즘을 적용하여 분류의 적정성을 측정하였다.
본 논문에서 제안한 분류 모델 기법은 논문 분류 외에도 민원 분류 분석 및 텍스트 관련 분석 등 다양한 분야에 유용하게 사용될 수 있다.
목차
Abstract
요약
I. Introduction
II. Preliminaries
III. The Proposed Scheme
IV. Implementation and Testing
V. Conclusions
REFERENCES
참고문헌 (21)
참고문헌 신청
Barnett, T. P. / 1987 / Origins and levels of monthly and seasonal forecast skill for United States surface air temperatures determined by canonical correlation analysis / Monthly Weather Review 115
Key-Sun Choi / 1994 / KAIST tree bank project for Korean: Present and future development / Proceedings of the International Workshop on Sharable Natural Language Resources :7~14
Cho Taeho / 2001 / Concepts and Applications of Text Mining / Journal of scientific & technological knowledge infrastructure (5):76~85
Leo Breiman / 2001 / Random Forests / Machine Learning 45(1):5~32
2001 / Encyclopedia of Mathematics / SpringerVerlag
Key-Sun Choi / 1994 / KAIST tree bank project for Korean: Present and future development / Proceedings of the International Workshop on Sharable Natural Language Resources :7~14
Cho Taeho / 2001 / Concepts and Applications of Text Mining / Journal of scientific & technological knowledge infrastructure (5):76~85
Leo Breiman / 2001 / Random Forests / Machine Learning 45(1):5~32
2001 / Encyclopedia of Mathematics / SpringerVerlag
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Text Mining and Visualization of Unstructured Data Using Big Data Analytical Tool R
한국정보통신학회논문지
2021 .09
-
주행데이터 기계학습 활용을 위한 데이터 분석 및 분류 방법론
한국자동차공학회 추계학술대회 및 전시회
2020 .11
-
빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축
한국컴퓨터정보학회 학술발표논문집
2020 .07
-
빅데이터 분석 도구 R 언어를 이용한 비정형 데이터 시각화
한국정보통신학회 종합학술대회 논문집
2021 .05
-
빅데이터, 오픈데이터, 마이데이터의 비교 연구
한국빅데이터학회지
2018 .01
-
빅데이터 분석 도구 R 언어를 이용한 논문 데이터 시각화
한국정보통신학회 종합학술대회 논문집
2021 .05
-
소리 데이터 분류에 대한 데이터 증대 방법 연구
한국방송미디어공학회 학술발표대회 논문집
2022 .06
-
자동차 데이터 플랫폼: 데이터 수집 및 분류 시스템
한국정보과학회 학술발표논문집
2024 .06
-
센서 데이터 분류에 대한 분류 알고리즘 성능 비교
한국정보과학회 학술발표논문집
2015 .06
-
머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구
한국빅데이터학회지
2017 .01
-
데이터 공유체계의 프라이버시 데이터 비식별 메커니즘
Proceedings of KIIT Conference
2021 .11
-
Preference and Visualization for Computer Languages Education Based Big Data
한국정보통신학회논문지
2024 .09
-
TF-IDF와 네트워크분석을 이용한 특허 데이터 분석과 경쟁우위 전략수립에 관한 연구
디지털콘텐츠학회논문지
2018 .03
-
시계열 데이터 분류 알고리즘성능 비교 및 분석
한국통신학회 학술대회논문집
2021 .02
-
스마트도시 정보 관리를 위한 도시 데이터 분류체계 정립 및 적용에 관한 연구
대한공간정보학회지
2021 .03
-
그래프 데이터베이스 기반 데이터맵의 구조와 생성 방법
한국통신학회 학술대회논문집
2022 .02
-
자기지도학습을 활용한 정형데이터 분류 모델 생성
대한산업공학회 추계학술대회 논문집
2021 .11
-
빅데이터 기반 비정형 텍스트 데이터 시각화의 시사점
한국정보통신학회 종합학술대회 논문집
2024 .05
-
빅데이터를 활용한 직업관련 분석 및 시각화
한국컴퓨터정보학회 학술발표논문집
2020 .07
-
데이터 거버넌스 실증연구: 구성요소 간 구조적 관계와 영향을 중심으로
정보화정책
2023 .09
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0