Structural SVM을 이용한 백과사전 문서 내 생략 문장성분 복원

황민국; 김영태; 나동열; 임수종; 김현기

추천

검색

질문

자료유형: 학술저널

저자정보: 황민국 (연세대학교) 김영태 (연세대학교) 나동열 (연세대학교) 임수종 (한국전자통신연구원) 김현기 (한국전자통신연구원)

저널정보: 한국지능정보시스템학회 지능정보연구 지능정보연구 제21권 제2호

발행연도: 2015.6

수록면: 131 - 150 (20page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

초록· 키워드

오류제보하기

영어와 달리 한국어나 일본어 문장의 경우 용언의 필수격을 채우는 명사구가 생략되는 무형대용어 현상이 빈번하다. 특히 백과사전이나 위키피디아의 문서에서 표제어로 채울 수 있는 격의 경우 그 격이 문장에서 더 쉽게 생략된다. 정보검색, 질의응답 시스템 등 주요 지능형 응용시스템들은 백과사전류의 문서에서 주요한 정보를 추출하여 수집하여야 한다. 그러나 이러한 명사구 생략 현상으로 인해 양질의 정보추출이 어렵다. 본 논문에서는 백과사전 종류 문서에서 생략된 명사구 즉 무형대용어를 복원하는 시스템의 개발을 다루었다. 우리 시스템이 다루는 문제는 자연어처리의 무형대용어 해결문제와 거의 유사하나, 우리 문제의 경우 문서의 일부가 아닌 표제어도 복원에 이용할 수 있다는 점이 다르다. 무형대용어복원을 위해서는 먼저 무형대용어의 탐지 즉 문서 내에서 명사구 생략이 일어난 곳을 찾는 작업을 수행한다. 그 다음 무형대용어의 선행어 탐색 즉 무형대용어의 복원에 사용될 명사구를 문서 내에서 찾는 작업을 수행한다. 문서 내에서 선행어를 발견하지 못하면 표제어를 이용한 복원을 시도해 본다. 우리 방법의 특징은 복원에 사용된 문장성분을 찾기 위해 Structural SVM을 사용하는 것이다. 문서 내에서 생략이 일어난 위치보다 앞에 나온 명사구들에 대해 Structural SVM에 의한 시퀀스 레이블링(sequence labeling) 작업을 시행하여 복원에 이용 가능한 명사구인 선행어를 찾아내어 이를 이용하여 복원 작업을 수행한다. 우리 시스템의 성능은 F1 = 68.58로 측정되었으며 이는 의미정보의 이용 없이 달성한 점을 감안하면 높은 수준으로 평가된다.

Omission of noun phrases for obligatory cases is a common phenomenon in sentences of Korean and Japanese, which is not observed in English. When an argument of a predicate can be filled with a noun phrase co-referential with the title, the argument is more easily omitted in Encyclopedia texts. The omitted noun phrase is called a zero anaphor or zero pronoun. Encyclopedias like Wikipedia are major source for information extraction by intelligent application systems such as information retrieval and question answering systems. However, omission of noun phrases makes the quality of information extraction poor. This paper deals with the problem of developing a system that can restore omitted noun phrases in encyclopedia documents. The problem that our system deals with is almost similar to zero anaphora resolution which is one of the important problems in natural language processing. A noun phrase existing in the text that can be used for restoration is called an antecedent. An antecedent must be co-referential with the zero anaphor. While the candidates for the antecedent are only noun phrases in the same text in case of zero anaphora resolution, the title is also a candidate in our problem.
In our system, the first stage is in charge of detecting the zero anaphor. In the second stage, antecedent search is carried out by considering the candidates. If antecedent search fails, an attempt made, in the third stage, to use the title as the antecedent. The main characteristic of our system is to make use of a structural SVM for finding the antecedent. The noun phrases in the text that appear before the position of zero anaphor comprise the search space. The main technique used in the methods proposed in previous research works is to perform binary classification for all the noun phrases in the search space. The noun phrase classified to be an antecedent with highest confidence is selected as the antecedent. However, we propose in this paper that antecedent search is viewed as the problem of assigning the antecedent indicator labels to a sequence of noun phrases. In other words, sequence labeling is employed in antecedent search in the text. We are the first to suggest this idea. To perform sequence labeling, we suggest to use a structural SVM which receives a sequence of noun phrases as input and returns the sequence of labels as output. An output label takes one of two values: one indicating that the corresponding noun phrase is the antecedent and the other indicating that it is not. The structural SVM we used is based on the modified Pegasos algorithm which exploits a subgradient descent methodology used for optimization problems.
To train and test our system we selected a set of Wikipedia texts and constructed the annotated corpus in which gold-standard answers are provided such as zero anaphors and their possible antecedents. Training examples are prepared using the annotated corpus and used to train the SVMs and test the system. For zero anaphor detection, sentences are parsed by a syntactic analyzer and subject or object cases omitted are identified. Thus performance of our system is dependent on that of the syntactic analyzer, which is a limitation of our system. When an antecedent is not found in the text, our system tries to use the title to restore the zero anaphor. This is based on binary classification using the regular SVM. The experiment showed that our system’s performance is F1 = 68.58%. This means that state-of-the-art system can be developed with our technique. It is expected that future work that enables the system to utilize semantic information can lead to a significant performance improvement.

#백과사전 #명사구 생략 #무형대용어 해결 #Structural SVM #시퀀스 레이블링 #Encyclopedia #Noun phrase omission #Zero anaphora resolution #Sequence labeling

참고문헌 (23)

참고문헌 신청

[학술지(정기간행물)] - Iida, R. / 2005 / Anaphora resolution by antecedent identification followed by anaphoricity determination / ACM Transactions on Asian Language Information Processing 4 (4) : 417 ~ 434

[학술대회논문] - Iida, R / 2003 / Incorporating contextual cues in trainable models for coreference resolution / Proceedings of the 10th EACL Workshop on the Computational Treatment of Anaphora : 23 ~ 30

[학술지(정기간행물)] - Iida, R / 2007 / Zero-Anaphora Resolution by Learning Rich Syntactic Pattern Features / ACM Transactions on Asian Language Information Processing 6 (4) : 1 ~ 22

[학술대회논문] - Iida, R. / 2011 / A Cross-lingual ILP Solution to Zero Anaphora Resolution / Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics : 804 ~ 813

[단행본] - Jelinek, F. / 1998 / Statistical Methods for Speech Recognition / MIT Press

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

황민국

소속기관 연세대학교

주요연구분야 공학 > 산업공학

논문수 1 이용수 141

김영태

소속기관 연세대학교

주요연구분야 공학 > 컴퓨터학 공학 > 전기전자공학 > 정보통신공학

논문수 49 이용수 2,141

나동열

소속기관 연세대학교

주요연구분야 공학 > 산업공학 공학 > 컴퓨터학

논문수 6 이용수 793

임수종

소속기관 한국전자통신연구원

주요연구분야 공학 > 전기전자공학 > 정보통신공학 TOP 5% 공학 > 컴퓨터학

논문수 29 이용수 7,832

김현기

소속기관 전남대학교

주요연구분야 공학 > 컴퓨터학 TOP 5% 공학 > 전기전자공학 > 정보통신공학

논문수 79 이용수 14,713

이 논문과 함께 이용한 논문

Distributed Assumption-Based Truth Maintenance System for Scalable Reasoning

Batselem Jagva , al , Young-Tack Pa 외 1명 Journal of KIISE 2016 .10

One-Class Classification Model Based on Lexical Information and Syntactic Patterns

이현구 , 최맹식 , 김학수 Journal of KIISE 2015 .06

비정형 사용자 이름의 정형화된 한글 이름 변환 방법

김석현 , 최대선 , 진승헌 한국정보과학회 학술발표논문집 2013 .11

자동 구축된 코퍼스를 이용한 비정형 개인정보 탐지 기법

조진만 , 김석현 , 최대선 외 1명 한국정보과학회 학술발표논문집 2013 .11

단문구조분석과 도메인 지식을 이용한 정보추출

임수종 , 김태현 , 윤보현 한국정보과학회 학술발표논문집 2003 .02

최근 본 자료

전체보기

UCI(KEPA) : I410-ECN-0101-2016-003-001710321

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (23)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

이 논문과 함께 이용한 논문

최근 본 자료

댓글(0)