Search

Polyglot-Ko

https://songys.github.io/2023Langcon/data/kevinko.pdf
•
EleutherAI의 multilingual project의 일환
•
튜닙에서 수집한 1.2TB 한국어 데이터 사용
•
EleutherAI의 GPT-NeoX 코드베이스 활용
•
256개의 A100 GPU
•
40B까지 확장할 계획