지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.9
- 수록면
- 1,135 - 1,143 (9page)
이용수
초록· 키워드
오류제보하기
최근 빅데이터 분석을 위해 웹 크롤러를 이용한 텍스트 수집이 빈번하게 이루어지고 있다. 하지만 수많은 태그와 텍스트로 복잡하게 구성된 웹 페이지에서 필요한 텍스트만을 수집하기 위해서는 웹 크롤러에 빅데이터 분석에 필요한 본문이 포함된 HTML태그와 스타일 속성을 명시해야 하는 번거로움이 있다. 본 논문에서는 HTML태그와 스타일 속성을 명시하지 않고 웹 페이지에서 출현하는 텍스트의 빈도를 이용하여 본문을 추출하는 방법을 제안하였다. 제안한 방법에서는 수집된 모든 웹 페이지의 DOM 트리에서 텍스트를 추출하여 텍스트의 출현 빈도를 분석한 후, 출현 빈도가 높은 텍스트를 제외시킴으로써 본문을 추출하였으며, 본 연구에서 제안한 방법과 기존 방법의 정확도 비교를 통해서 본 연구에서 제안한 방법의 우수성을 검증하였다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 빈도 분석을 이용한 HTML 텍스트 추출
Ⅳ. 성능 분석
Ⅴ. 결론
References
참고문헌 (12)
참고문헌 신청
H. S. Bang and H. S. Moon, “A study on the methodology to express the main topics of text in time series using text mining,” Journal of the Korean Data And Information Science Society, vol. 30, no. 6, pp. 1259-1276, 2019.
S. R. Lee and E. J. Choi, “Comparison of responses to issues in SNS and Traditional Media using Text Mining - Focusing on the Termination of Korea-Japan General Security of Military Information Agreement(GSOMIA),” Journal of Digital Convergence, vol. 18, no. 2, pp. 277-284, 2020.
J. H. Lee, H. J. Seon, and H. J. Lee, “Positioning of Smart Speakers by Applying Text Mining to Consumer Reviews: Focusing on Artificial Intelligence Factors,” Knowledge Management Review, vol. 21, no. 1, pp. 197-210, 2020.
M. G. Cha and J. Y. Lee, “A Study on Spatial Co-experience through Social Data,” Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol. 7, no. 6, pp. 851-859, 2017.
K. W. Cho and Y. W. Woo, “Topic Modeling on Research Trends of Industry 4.0 Using Text Mining,” Journal of the Korea Institute of Information and Communication Engineering, vol. 23, no. 7, pp. 764-770, 2019.
S. R. Lee and E. J. Choi, “Comparison of responses to issues in SNS and Traditional Media using Text Mining - Focusing on the Termination of Korea-Japan General Security of Military Information Agreement(GSOMIA),” Journal of Digital Convergence, vol. 18, no. 2, pp. 277-284, 2020.
J. H. Lee, H. J. Seon, and H. J. Lee, “Positioning of Smart Speakers by Applying Text Mining to Consumer Reviews: Focusing on Artificial Intelligence Factors,” Knowledge Management Review, vol. 21, no. 1, pp. 197-210, 2020.
M. G. Cha and J. Y. Lee, “A Study on Spatial Co-experience through Social Data,” Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol. 7, no. 6, pp. 851-859, 2017.
K. W. Cho and Y. W. Woo, “Topic Modeling on Research Trends of Industry 4.0 Using Text Mining,” Journal of the Korea Institute of Information and Communication Engineering, vol. 23, no. 7, pp. 764-770, 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
태그 경로 및 텍스트 출현 빈도를 이용한 HTML 본문 추출
한국정보통신학회논문지
2021 .12
-
WCTT: HTML 문서 정형화 기반 웹 크롤링 시스템
한국정보통신학회논문지
2022 .04
-
Korean Web Content Extraction using Tag Rank Position and Gradient Boosting
Journal of KIISE
2017 .06
-
HTML 논리적 구조분석을 통한 본문추출 알고리즘
디지털콘텐츠학회논문지
2015 .06
-
HTML 본문 추출을 위한 새로운 시각적 Feature
디지털콘텐츠학회논문지
2023 .04
-
HTML5 신규 기능을 악용한 모바일 웹 페이지 공격유형 연구
한국통신학회 학술대회논문집
2017 .01
-
HTML5 웹 서비스 환경에서의 개인정보 침해 탐지 모듈 구현
정보보호학회논문지
2016 .08
-
텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션
한국컴퓨터정보학회 학술발표논문집
2021 .07
-
웹 페이지 스케치기반 HTML코드 자동생성
한국정보과학회 학술발표논문집
2018 .06
-
공공기관 웹 사이트를 위한 하둡 기반 HTML5 태그 및 속성 취약점 분석
한국정보과학회 학술발표논문집
2015 .06
-
웹 문서상의 공간 텍스트 위치 맵핑과 질의 기법
한국산업정보학회논문지
2022 .06
-
다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
정보과학회 컴퓨팅의 실제 논문지
2021 .02
-
HTML 본문 추출을 이용한 웹사이트 마이그레이션 자동화 방안 연구
한국통신학회 학술대회논문집
2022 .02
-
심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험
한국정보통신학회논문지
2023 .01
-
효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현
한국정보통신학회논문지
2022 .11
-
HTML5 기반의 반응형 웹 컴포지션 도구 설계
대한전자공학회 학술대회
2016 .06
-
인터넷 쇼핑몰 웹접근성 평가 및 대체 텍스트율 향상 방안 구현
디지털콘텐츠학회논문지
2018 .03
-
빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현
디지털콘텐츠학회논문지
2017 .08
-
차세대 웹 표준 HTML5 환경에서의 사이버 공격 위협
한국통신학회 학술대회논문집
2015 .01
-
파이썬을 이용한 다양한 형식의 웹 데이터 크롤링 기법
한국정보통신학회 종합학술대회 논문집
2019 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
수도권 2기 신도시 주거환경만족도 요인 분석 : 웹크롤링과 텍스트 마이닝을 활용하여
김선재
,
이수기
국토계획
2020
.12
반도체 PR 공정의 인화성 물질 누출 빈도분석을 통한 위험성 평가
박명남
,
천광수
,
이진석
외 1명
한국가스학회지
2021
.10
웹 크롤링을 이용한 유해사이트 정보 수집 방법
추승용
,
황예성
,
이상진
디지털포렌식연구
2021
.09
유해사이트 도메인 변경 패턴에 기반한 차단 방안
정중원
,
이상진
디지털포렌식연구
2021
.09
웹 사이트 간 연결 관계를 이용한 유해사이트 판별방법 개선 및 화이트리스트 구축
김병진
,
이상준
정보과학회 컴퓨팅의 실제 논문지
2019
.10
최근 본 자료
댓글(0)
0