Search
📺

홍보 글

"이미지 기반 한국어 대화가 가능한 멀티모달 모델" 🏔️KoLLaVA 프로젝트를 소개합니다.

🚀  세 줄 요약

1.
한국어 기반 Visual Instruction Dataset(150K) 공개(DeepL 번역)
2.
KoLLaVA-7B 모델 공개(LLM : KoVicuna-7B / Vision encoder : CLIP image encoder)
3.
Gradio 이용 Web 데모 공개
🏔️ KoLLaVA : Korean Large Language and Vision Assistant (feat. LLaVA) 사람이 세상을 온전히 이해하기 위해서는 시각적 정보와 언어적 정보 모두 필요합니다. 이를 위해 최근 LLM의 놀라운 능력을 leverage해, 이미지를 이해하고 대화할 수 있는 Large Multimodal Model(LMM)에 대한 연구가 빠르게 발전하고 있습니다(LLaVA, InstructBLIP, Otter 등).
영어 기반의 오픈소스 LLM의 경우 한국어 버전(Polyglot-ko, KoAlpaca, KoVicuna, KULLM 등)이 나와 한국어 기반 LLM 연구에 많은 기여를 하고 있는데요. 하지만 LMM 분야에서는 아직까지 한국어 버전이 공개되지 않아 발전이 더딘 상태입니다.(저희가 알기로는요..!)
저희는 다양한 LMM 연구 중 🌋LLaVA의 한국어 버전 🏔️KoLLaVA를 공유합니다.
LLaVA는 LLM과 시각 정보를 처리하는 vision encoder를 linear layer로 연결하여 매우 심플한 구조를 설계해 좋은 성능을 보여주었습니다. 또한 LMM 학습을 위한 Visual instruction-following 데이터셋도 새롭게 제작해 공개했습니다. 이러한 LLaVA가 한국어 버전 LMM의 baseline에 적합하다고 생각해 KoLLaVA 프로젝트를 진행하게 되었습니다.
우선 DeepL을 이용해 150K개의 instruction-following 데이터셋을 한국어로 번역했습니다. 또한 Pretrain에 사용한 595K개의 데이터셋도 Ko-CC3M을 이용해 제작했습니다.(허깅페이스 참고) 준비한 데이터셋을 기반으로, 한국어 LLM(KoVicuna-7b)과 CLIP image encoder를 연결해 Pretrain, Finetune 각각 1epoch 씩 학습했습니다. (프로젝트에 대한 더 자세한 내용은 Github을 참고해주세요!)
프로젝트를 진행하며 조금 신기했던 부분은, 영어로 학습한 CLIP의 이미지 encoder가 한국어 LLM(KoVicuna)과 약간의 학습만으로 잘 align 되더라구요..! linear layer가 projection 역할을 해준다고 하지만 그 복잡한 개념들을 matching 해준다는 게 신기했습니다.

향후 계획 🌱

1.
QLoRA를 활용해 더 큰 모델(13B)을 학습하고 있습니다.
2.
LLaVA-Med 처럼 특정 task에 탁월한 성능을 보이는 모델도 계획하고 있습니다.
3.
InstructBLIP, Otter 등 다른 모델의 한국어 버전을 만들 수 있습니다.
데모를 통해 확인해보시면 알겠지만, KoLLaVA-7b 모델의 성능 아직 부족한 부분이 많습니다. 하지만 빠르게 공유해 많은 분의 피드백을 통해 점진적으로 발전시키고 싶었습니다. 깃헙 이슈 혹은 이메일로 많은 피드백 부탁드립니다! 😊
지금까지 사비로 클라우드 GPU를 대여(vast.ai)해 만들어 왔지만, 속도를 내려면 GPU가 좀 더 필요한데요..! 혹시 GPU 지원 사업이나 저렴한 비용에 대여 가능한 곳을 알고 계신 분 있다면 공유 부탁드리겠습니다.
Demo는 깃헙 내 링크를 참고해주세요!
Email : gxq9106@gmail.com
마지막으로 프로젝트 진행에 많은 도움이 된 Polyglot-ko, KoAlpaca, KoVicuna, KULLM, Ko-CC3M 제작자 분들께 깊은 감사의 인사 전합니다.