지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.4
- 수록면
- 495 - 502 (8page)
이용수
초록· 키워드
오류제보하기
오늘날 웹상의 본문 수집에 주로 이용되는 웹 크롤러는 연구자가 직접 HTML 문서의 태그와 스타일을 분석한 후 수집 채널마다 다른 수집 로직을 구현해야 하므로 유지 관리 및 확장이 어렵다. 이러한 문제점을 해결하려면 웹 크롤러는 구조가 서로 다른 HTML 문서를 동일한 구조로 정형화하여 본문을 수집할 수 있어야 한다. 따라서 본 논문에서는 태그 경로 및 텍스트 출현 빈도를 기반으로 HTML 문서를 정형화하여 하나의 수집 로직으로 본문을 수집하는 웹크롤링 시스템인 WCTT(Web Crawling system based on Tag path and Text appearance frequency)를 설계 및 구현하였다. WCTT는 모든 수집 채널에서 동일한 로직으로 본문을 수집하므로 유지 관리 및 수집 채널의 확장이 용이하다. 또한, 키워드 네트워크 분석 등을 위해 불용어를 제거하고 명사만 추출하는 전처리 기능도 제공한다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. WCTT 설계
Ⅳ. WCTT 구현
Ⅴ. 결론
References
참고문헌 (16)
참고문헌 신청
Y. J. Kim, H. S. Kim, and H. S. Kim, "Understanding the Effects of COVID-19 on the Starbucks Perception through Big Data Analytics: A Comparative Study," Culinary Science & Hospitality Research, vol. 27, no. 6, pp. 276-279, Jun. 2021.
Y. R. Suh, K. P. Koh, and J. W. Lee, "An analysis of the change in media’s reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling," Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731–740, May. 2021.
D. H. Han and Y. K. Koo, "Design of Action-Based Web Crawler Structural Configuration for Multi-Website Management," KIISE Transactions on Computing Practices, vol. 27, no. 2, pp. 98-103, Feb. 2021.
J. H. Lee, “Building an SNS Crawling System Using Python,” Journal of the Korea Industrial Information Systems Research, vol. 23, no. 5, pp. 61-76, Oct. 2018.
S. Y. Park, J. H. Moon, Y. W. Kim, and H. G. Lee, "Design of Tree Structure Based Hypertext Crawler Using Jsoup," in Proceedings of Symposium of the Korean Institute of communications and Information Sciences, vol. 65, no. 1, pp. 896-897, Jan. 2018.
Y. R. Suh, K. P. Koh, and J. W. Lee, "An analysis of the change in media’s reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling," Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731–740, May. 2021.
D. H. Han and Y. K. Koo, "Design of Action-Based Web Crawler Structural Configuration for Multi-Website Management," KIISE Transactions on Computing Practices, vol. 27, no. 2, pp. 98-103, Feb. 2021.
J. H. Lee, “Building an SNS Crawling System Using Python,” Journal of the Korea Industrial Information Systems Research, vol. 23, no. 5, pp. 61-76, Oct. 2018.
S. Y. Park, J. H. Moon, Y. W. Kim, and H. G. Lee, "Design of Tree Structure Based Hypertext Crawler Using Jsoup," in Proceedings of Symposium of the Korean Institute of communications and Information Sciences, vol. 65, no. 1, pp. 896-897, Jan. 2018.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
빈도 분석을 이용한 HTML 텍스트 추출
한국정보통신학회논문지
2021 .09
-
태그 경로 및 텍스트 출현 빈도를 이용한 HTML 본문 추출
한국정보통신학회논문지
2021 .12
-
HTML 논리적 구조분석을 통한 본문추출 알고리즘
디지털콘텐츠학회논문지
2015 .06
-
HTML5 웹 서비스 환경에서의 개인정보 침해 탐지 모듈 구현
정보보호학회논문지
2016 .08
-
HTML5 기반의 반응형 웹 컴포지션 도구 설계
대한전자공학회 학술대회
2016 .06
-
공공기관 웹 사이트를 위한 하둡 기반 HTML5 태그 및 속성 취약점 분석
한국정보과학회 학술발표논문집
2015 .06
-
차세대 웹 표준 HTML5 환경에서의 사이버 공격 위협
한국통신학회 학술대회논문집
2015 .01
-
차세대 Web(HTML5)기반 영상회의 시스템의 표준 기술규격 적용
한국통신학회 학술대회논문집
2015 .06
-
HTML5 신규 기능을 악용한 모바일 웹 페이지 공격유형 연구
한국통신학회 학술대회논문집
2017 .01
-
Semi-Automatic Ontology Construction from HTML Documents : A conversion of Text-formed Information into OWL 2
International JOURNAL OF CONTENTS
2016 .06
-
신뢰적 공인전자문서 소통을 위한 Document-HTML 시스템의 설계 및 구현
공학기술논문지
2021 .01
-
한국 인터넷신문 HTML 규격 및 시맨틱스 수준 분석
디지털콘텐츠학회논문지
2017 .08
-
Korean Web Content Extraction using Tag Rank Position and Gradient Boosting
Journal of KIISE
2017 .06
-
웹 페이지 스케치기반 HTML코드 자동생성
한국정보과학회 학술발표논문집
2018 .06
-
HTML 본문 추출을 위한 새로운 시각적 Feature
디지털콘텐츠학회논문지
2023 .04
-
웹 크롤링을 이용한 소셜 데이터 수집 시스템 개발
한국정보과학회 학술발표논문집
2016 .06
-
차세대 방송에서 HTML5 기반 동기화 방법
한국통신학회 학술대회논문집
2015 .06
-
HTML5에 기반한 건축물의 설계풍하중 산정
대한공간정보학회 학술대회
2015 .09
-
인터넷의 새로운 패러다임을 몰고 올 HTML5
설비저널
2015 .01
-
웹브라우저 초기 로딩시간 단축을 위한 HTML5 분석 및 연구
한국항행학회논문지
2015 .01
이 논문의 저자 정보
이 논문과 함께 이용한 논문
웹 크롤링을 활용한 텔레그램 공지사항 챗봇 구현
송희재
,
김미혜
,
전수빈
외 1명
한국정보과학회 학술발표논문집
2022
.06
웹 크롤링 및 텍스트 마이닝을 활용한 희귀질환 조기 발견 보조시스템
최재민
,
김동현
,
강민지
외 1명
한국통신학회 학술대회논문집
2022
.06
웹 크롤링을 통한 해양쓰레기 이미지 데이터세트 구축 및 Faster R-CNN 모델을 이용한 해양쓰레기 검출
김은주
,
변영훈
,
김한솔
Proceedings of KIIT Conference
2021
.11
확장하고 경합하는 K : 국내 언론 보도를 통해 본 K 담론에 대한 분석
박소정
한국언론학보
2022
.08
Dynamic Web Pages Personalization using Intimacy Theory
Kim Jinhwa
한국전자거래학회 학술대회 발표집
2004
.02
최근 본 자료
댓글(0)
0