🎳

Action Items

Github Repo - ./tutorials/ 에 LLaVA training code upload (성훈. 올려주시고 톡방에 알려주세용)

Colab에서 LLaVA 돌리기 (모두)

•

option) Colab에서 KoVicuna model LLaVA에 적용 (모두)

Pretraining dataset 번역

•

CC595K → KOCCM에서 filtering (태백)

Finetuning dataset 번역

•

conversation 58K (태백 → 정현, 승우)

Huggingface dataset upload 해보기 (태백)

KULLM, KoRWKV 실행 (성연)

Scatter Lab 발표내용 정리해서 업로드 (정현) - SCATTER LAB (Deepest 외부 호스팅) 

Colab에서 KoLLaVA 학습 코드, 이미지 다운 방법 공유 - 태백

LoRA, QLoRA 간단 리뷰 - 승우, 정현

한국어 특화 데이터셋 조사 (쇼핑몰 데이터) - 성훈

스터디 이름 카톡방에 인당 3개씩 올리기 - 모두

keyword: korean, language model, spring lounge, climbing, …

스터디 홍보글 작성

NIPA 서버에서 학습 - 승우, 성환

한국어 데이터셋 작업

•

오픈소스 한국어 데이터셋 있는지

•

이미지 캡션 데이터셋도 찾기 (캡션 → 프롬프트로 만들기)

LLM 모델 quantization 알아보기

Quantization 가능한 지

각자 하나의 task 정해 진행하기

Size up 

8ibt으로 학습

Otter 개선 : 태백

한국어 visual instruction 데이터셋 구축 : 성환

Fine-task 조사(데이터셋, 사용자 니즈 등) : 성훈, 승우

•

MIT fine task 예시 참고( https://arxiv.org/abs/2306.08997)

•

한국어 수학, 과학 문제 풀이 데이터셋

•

추가 fine-task 데이터셋 알아보기

•

instruction dataset 만들기 위한 데이터셋 조사

◦

AI-Hub

◦

FashionGen, DeepFashion  패션 이미지-캡션 데이터셋

•

Insturction 데이터 생성하기 위한 프롬프트

◦

기존 어떻게 만들었는지 조사, 패션에 특화해서 어떻게 사용하면 좋을지 

•

비디오 관련 데이터셋을 한글 번역 사용

0723

토의 내용

이미지 → text : LLaVA

text → 음악 : MusicGen

•

SNS에 사진을 올리게 되면 사진과 관련된 음악

•

미술관에서 그림에 맞는 음악을 생성

•

https://colab.research.google.com/drive/1Gj6UTf2gicndUW_tVheVhTXIIYpFTYc7?usp=sharing

•

https://chat.openai.com/share/fa4cb8c0-145f-4b5e-af50-b43f23a0ae9a

논문  

MusicLM - https://arxiv.org/abs/2301.11325 (성환)

MuLan - https://arxiv.org/abs/2208.12415 (승우)

MusicGen - https://arxiv.org/abs/2306.05284 (태백)

BGM 시장 조사 (성연, 성훈)

기존 BGM 시장의 소비자, 공급자 관점에서 조사

이미지 → 음악 혹은 다른 ai 모델을 만들었을 때 사용할거라 예상되는 소비자 페르소나

랜딩페이지 제작 및 마케팅

전시회 작품 배경음악 생성 니즈 확인