백본
•
Polyglot-ko 5.8B
•
Meta LLAMA 7B
데이터셋 v1.0
•
stanford alpaca 52,000의 instruction, input을 DeepL API로 한글로 번역
•
ChatGPT API로 output 생성
데이터셋 v1.1
•
지식인 크롤링
•
ChatGPT 참조 시드로 사용함
학습
•
Polyglot-ko 5.8B 모델 학습 A100 80GB 1대로 진행
•
LLAMA 7B 모델학습은 A100 80GB 4대로 학습을 진행