지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2024.11
- 수록면
- 1,419 - 1,424 (6page)
이용수
초록· 키워드
오류제보하기
In the field of artificial intelligence, the most widely used foundational models are those based on the Transformer architecture[2], which employs the self-attention algorithm. The Transformer structure, leveraging the high learning capacity of the self-attention mechanism, has demonstrated excellent performance in various fields, including NLP, computer vision, and generative models, by training on large-scale datasets.
However, a significant drawback of the Transformer is its computational inefficiency. To address this issue, research has begun on various model architectures that could replace Transformers, such as RNNs and State Space Models (SSMs).
Recently introduced, Mamba[1] has improved upon the performance degradation issues in Structured State Space Models, specifically in Selective Copying and Inductive Heads, by utilizing a Selective Algorithm. Additionally, it enhances GPU memory I/O efficiency through a Hardware-Aware Algorithm, significantly reducing GPU memory usage and improving inference speed. With these improvements, Mamba has garnered considerable attention from AI researchers as a next-generation foundational model architecture that could potentially replace Transformers.
This paper aims to explore how Mamba addresses the challenges of existing Transformers and State Space Models, and to analyze related research utilizing Mamba in the field of computer vision, ultimately offering new research directions for scholars in this domain.
However, a significant drawback of the Transformer is its computational inefficiency. To address this issue, research has begun on various model architectures that could replace Transformers, such as RNNs and State Space Models (SSMs).
Recently introduced, Mamba[1] has improved upon the performance degradation issues in Structured State Space Models, specifically in Selective Copying and Inductive Heads, by utilizing a Selective Algorithm. Additionally, it enhances GPU memory I/O efficiency through a Hardware-Aware Algorithm, significantly reducing GPU memory usage and improving inference speed. With these improvements, Mamba has garnered considerable attention from AI researchers as a next-generation foundational model architecture that could potentially replace Transformers.
This paper aims to explore how Mamba addresses the challenges of existing Transformers and State Space Models, and to analyze related research utilizing Mamba in the field of computer vision, ultimately offering new research directions for scholars in this domain.
목차
Abstract
I. 서론
II. 모델 아키텍처 연구 동향
Ⅲ. Computer Vision Mamba 활용 연구 동향
Ⅳ. 결론 및 향후 연구 방향
참고문헌
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Ko-Mamba : Mamba 모델의 한국어 Pre-training
한국정보과학회 학술발표논문집
2024 .06
-
Mamba Survey: 시퀀스 모델링을 위한 상태 공간 모델의 발전 및 응용
대한전자공학회 학술대회
2024 .06
-
Mamba 모델 적용을 통한 국내 개발지역 변화탐지 성능 향상
대한토목학회 학술대회
2024 .10
-
Mamba, Transformer, LSTM을 이용한 주식 예측 모델 분석
한국정보과학회 학술발표논문집
2024 .06
-
Graph-Mamba 기반 POI 추천 시스템
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
DM-CLIP: Transformer에서 Mamba로의 Knowledge Distillation을 통한 효율적인 CLIP
대한전자공학회 학술대회
2024 .11
-
Mamba 모델을 활용한 ECG 데이터 예측
한국정보통신학회 종합학술대회 논문집
2024 .05
-
효율적인 비전 맘바 동작에 관한 연구
한국통신학회 학술대회논문집
2025 .02
-
선택적 상태공간 모델의 양자화 민감도를 고려한 혼합 자료형 양자화 기법
한국정보과학회 학술발표논문집
2024 .12
-
상태 공간 모델을 활용한 기상 데이터 시계열 분석
한국정보통신학회 종합학술대회 논문집
2024 .10
-
Linear Video Transformer Network
한국자동차공학회 춘계학술대회
2021 .06
-
비전 트랜스포머를 위한 양자화 기법에 대한 연구 동향 조사
대한전자공학회 학술대회
2024 .11
-
A Brief Introduction to Recent Advances in Vision Transformers
한국통신학회 학술대회논문집
2022 .06
-
객체 탐지 과업에서의 트랜스포머 기반 모델의 특장점 분석 연구
대한임베디드공학회논문지
2022 .12
-
Leveraging Vision Transformers for Large-Scale Suction Grasping
대한전자공학회 학술대회
2024 .06
-
250 ㎃ 이하 출력전류를 갖는 전류변성기 특성평가 연구
전기학회논문지
2016 .12
-
Transformer를 활용한 주가 예측 모형
한국지능정보시스템학회 학술대회논문집
2020 .11
-
임베디드 엣지 플랫폼에서의 경량 비전 트랜스포머 성능 평가
대한임베디드공학회논문지
2023 .06
-
변압기 효율 적정화를 위한 변압기 부하율 조사 및 추정
조명·전기설비학회논문지
2016 .01
-
Decision Transformer를 활용한 멀티 태스크 강화학습에서의 트랜스포머 아키텍처 비교 분석
한국통신학회 학술대회논문집
2025 .02
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0