메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
한동희 (경희대학교) 이영구 (경희대학교)
저널정보
Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제27권 제2호
발행연도
2021.2
수록면
98 - 103 (6page)
DOI
10.5626/KTCP.2021.27.2.98

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

이 논문의 연구 히스토리 (2)

2021

다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
한동희 ,  이영구 정보과학회 컴퓨팅의 실제 논문지 2021.02 학술저널

2020

다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
한동희 ,  이영구 한국정보과학회 학술발표논문집 2020.07 학술대회자료

초록· 키워드

오류제보하기
웹 크롤러(Web crawler)는 웹 페이지 사이를 이동하며 HTML 구조를 파싱하는 웹 데이터 수집하는 기술이다. 따라서 웹사이트의 리뉴얼 등에 의해 HTML 구조가 변경되면 그에 따라 웹 크롤러의 소스 코드를 수정해야하는 종속적 특징을 가지며, 운영 규모가 클수록 유지보수 비용이 비례적으로 증가하게 되어 웹 크롤링 운영에 대한 부담이 발생하게 된다. 본 논문은 웹 크롤러의 유지보수의 비용을 절감하기 위한 방안으로 웹 크롤러의 동작을 구조화한 설정 항목을 도출하고 설정에 따라 동작하는 크롤러 개발을 통하여 설정만으로 다수의 웹 크롤러 관리하는 방안을 제시한다. 웹 크롤러의 설정은 웹페이지 이동 설정, 데이터 수집 설정으로 구분하여 설계하고 Selenium 프레임워크를 활용한 웹 크롤러를 구현하였으며 다양한 유형에 웹 사이트를 대상으로 데이터 수집 실험을 수행하여 설계된 설정 구조가 다양한 웹 페이지에서 적용 가능함을 확인하였다.
#웹 크롤링 #데이터 수집 #셀레니움 #크롤러 설정 #동적 웹페이지 #web crawling #collect data #Selenium #dynamic webpage #configuration of crawler

목차

요약
Abstract
1. 서론
2. 동작 기반 웹 크롤링
3. 동작 기반 웹 크롤링의 설정 구조 설계
4. 웹 크롤러의 구현
5. 성능 테스트
6. 결론 및 향후 연구
References

참고문헌 (8)

참고문헌 신청
Ministry of the Interior and Safety. Korean Government Data Portal [Online]. Available: https://www.data.go.kr (viewed 2020, Sep. 13) google schola Apache Nutch, [Online]. Available: http://nutch.apache.org/ (viewed 2020, Sep. 13) google schola Se-jin Oh, "A design of web crawler based an event of in HTML tags," Soongsil Univ., 2015. (in Korean) google schola Chul-won Na, Byung-won On, "A proposal on a proactive crawling approach with analysis of state-of-the-art web crawling algorithms," Journal of Internet Computing and Services 2019, Vol. 20, No. 3, pp. 43-59, 2019. (in Korean) google schola w3schools.com. AJAX Introduction [Online]. Availa ble: https://www.w3schools.com/xml/ajax_intro.asp (viewed 2020, Sep. 13) google schola

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

사용자 정의 기반 웹 크롤러 설계 및 구현
강민정 ,  김다예 ,  안영채 외 4명 한국통신학회 학술대회논문집 2019 .06
프뢰벨(F.Froebel)의 유아교육 사상과 실제
김홍연 장신논단 2005 .12
프뢰벨 이론에서 본 한국의 보육프로그램
곽노의 한국영유아보육학 1997 .09
빅데이터 분석을 통한 아두이노와 인공지능에 대한 사회적 인식
이은상 한국컴퓨터정보학회논문지 2023 .01
인공지능 기반 자율형 스마트 온실 생산 환경 관리용 빅데이터 플랫폼 개발
신창선 ,  이명배 ,  임종현 한국원예학회 학술발표요지 2022 .11

최근 본 자료

전체보기

댓글(0)

0

UCI(KEPA) : I410-ECN-0101-2021-569-001489461