멀티코어 시스템에서 통신과 계산 중첩을 위한 비동기적 MPI 집합 통신 :Asynchronous MPI Collective Communication toward Overlapping between Communication and Computation on Multi-Core Systems

조중연

추천

검색

자료유형: 학위논문

저자정보: 조중연 (건국대학교, 건국대학교 대학원)

지도교수: 진현욱

발행연도: 2020

저작권: 건국대학교 논문은 저작권에 의해 보호받습니다.

이용수1

이 논문의 연구 히스토리 (2)

2021

멀티코어 시스템에서 노드 내 집합 통신을 위한 통신과 계산 중첩

조중연 , 김건우 , 진현욱 한국정보과학회 학술발표논문집 2021.12 학술대회자료

2020

멀티코어 시스템에서 통신과 계산 중첩을 위한 비동기적 MPI 집합 통신

조중연 컴퓨터·정보통신공 2020.01 학위논문

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

Message Passing Interface (MPI)는 고성능 컴퓨팅 분야의 사실상 표준으로 사용되는 병렬 프로그래밍 모델이다. MPI는 통신 유형 수준으로 추상화된 메시지 기반 통신 인터페이스를 통해 높은 이식성을 제공한다. 일반적으로 MPI 병렬 프로그래밍 모델 기반의 과학 계산 응용들은 집합 통신과 계산을 반복한다. MPI 기반의 과학 계산 응용의 특징에 기인하여 통신 시간과 계산 시간을 중첩할 수 있다면 전체 응용 실행 시간을 감소할 수 있는 잠재력이 있다. 집합 통신과 계산을 중첩하는 방법은 (1) 새로운 집합 통신 인터페이스를 제공하거나 (2) 집합 통신 인터페이스를 유지하면서 MPI 수준의 지원을 통해 집합 통신과 계산을 중첩할 수 있다.
본 논문에서는 집합 통신 인터페이스를 유지하면서 MPI 수준의 지원을 통해 집합 통신과 계산을 중첩하기 위한 비동기적 MPI 집합 통신을 제안한다. 제안된 비동기적 MPI 집합 통신은 MPI 노드 내 집합 통신을 대상으로 하며, MPI 노드 내 집합 통신을 수행하는 과정에서 발생하는 메모리 복사를 비동기적으로 수행하기 위해 복사 엔진을 활용한다. 하지만 일반적으로 복사 엔진은 프로세서 패키지 당 하나 또는 시스템 전체에 하나가 제공되어 멀티코어 시스템에서 MPI 집합 통신 유형에 적용하기에 어려움이 있어 멀티코어 시스템에서 복사 엔진의 물리적인 제약을 보완하기 위한 적응적 메모리 복사 수행 장치 전환을 함께 제안한다.
비동기적 MPI 집합 통신은 마이크로 벤치마크 수준의 실험을 통해 일대 다 집합 통신 유형의 지연시간을 메시지 크기에 따라 최대 28% 감소할 수 있음을 보였으며, 다 대일 집합 통신 유형의 지연시간을 메시지 크기에 따라 최대 93%가지 감소할 수 있음을 보인다. 마이크로 벤치마크 수준의 실험과 함께 가상 MPI 기반 응용프로그램을 구현하고 (1) 비동기적 MPI 집합 통신에 적합한 경우와 (2) 비동기적 MPI 집합 통신에 적합하지 않은 경우로 구분하여 실험한 결과 가상 MPI 기반 응용프로그램의 실행 시간을 최대 58%까지 감소시킬 수 있음을 보인다.

Message Passing Interface (MPI) is a parallel programming model that is used as the de facto standard in high performance computing. MPI provides high portability through message-based communication interfaces abstracted at the communication pattern level. In general, scientific computational applications alternately perform collective communication and computation repeatedly. Due to such characteristics of scientific computing applications, there is the potential for improvement of overall application execution time if the communication time and computing time can be overlapped. We can overlap collective communication and computation by (1) providing a new non-blocking collective communication interfaces or (2) asynchronously handling the collective communication while preserving blocking semantics.
In this paper, I propose asynchronous MPI collective communication to provide overlap between collective communication and computation with MPI level support, while preserving legacy blocking collective communication interfaces. The proposed asynchronous MPI collective communication targets MPI intra-node collective communication, and utilizes copy engine to asynchronously perform memory copy that occurs during MPI intra-node collective communication. However, the copy engine has limitations, such as higher data movement overhead and low level of data movement parallelism, making it difficult to be applied to MPI collective communication on multicore systems. Thus, I also propose a policy of adoptively selecting between copy engine and CPU to overcome the physical limitations of the copy engine in multicore systems. The micro-benchmark results show that asynchronous MPI collective communication can reduce the latency of broadcasting(i.e., MPI_Bcast) and gathering(i.e., MPI_Gather) up to 28% and 93% respectively. Furthermore, I implement synthetic benchmark and measure its execution time with two different workloads: (1) best-case for asynchronous MPI collective communication and (2) worst-case for asynchronous MPI collective communication. The experimental results show that the execution time of synthetic benchmark can be reduced up to 58% thanks to communication and computation overlapping.

#멀티코어 #MPI #집합 통신 #비동기 #중첩 #노드 내 통신

제1장 서론 1
제2장 연구 배경 5
제1절 배경 지식 · 5
1. Message Passing Interface (MPI) 5
2. MPI 노드 내 통신 방법 6
3. 복사 엔진 9
제2절 관련 연구 10
제3장 통신과 계산 중첩을 위한 비동기적 MPI 집합 통신 13
제1절 비동기적 MPI 집합 통신의 전체 구조 13
제2절 MPI 수준 지원 14
1. MPI 수준 지원의 전체 구조 · 15
2. 비동기적 MPI 집합 통신을 위한 집합 통신 인터페이스 16
3. 집합 통신 인터페이스의 시맨틱 유지 방법 18
제3절 운영체제 수준 지원 24
1. 운영체제 수준 지원의 전체 구조 25
2. 운영체제 수준 지원을 위한 사용자 수준 라이브러리 26
3. 운영체제 수준 지원을 위한 커널 모듈 29
4. 비동기 메모리 복사 작업 완료 확인 방법 31
제4절 메모리 복사 수행 장치 전환 36
1. 멀티코어 시스템에서 복사 엔진의 물리적 제약 37
2. 메모리 복사 수행 장치 전환 방법 41
3. 메모리 복사 수행 장치 전환을 위한 CPU 기반 집합 통신 기법 47
제4장 성능 평가 51
제1절 실험 환경 51
제2절 MPI 집합 통신 지연시간 52
1. MPI_Bcast() 52
2. MPI_Gather() 54
제3절 계산이 포함된 마이크로 벤치마크 실행 시간 56
1. MPI_Bcast() 56
2. MPI_Gather() 60
제4절 가상 MPI 기반 행렬 덧셈 응용프로그램 64
1. 가상 MPI 기반 행렬 덧셈 응용프로그램 구현 64
2. 비동기적 MPI 집합 통신에 적합한 경우에 대한 성능 평가 66
3. 비동기적 MPI 집합 통신에 적합하지 않은 경우에 대한 성능 평가 68
제5절 가상 MPI 기반 행렬 곱셈 응용프로그램 71
1. 가상 MPI 기반 행렬 곱셈 응용프로그램 구현 71
2. 비동기적 MPI 집합 통신에 적합한 경우에 대한 성능 평가 73
3. 비동기적 MPI 집합 통신에 적합하지 않은 경우에 대한 성능 평가 76
제5장 결론 및 향후 계획 79
참고문헌 . 80
국문초록 . 85

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)