Pythia

Affiliation

EleutherAI

Commercial

Fine-tuning Method

SFT

Note

- Paper, code - LLM의 학습 패턴 분석 & scaling laws를 조사하기 위한 project . research에서 “memorization / term frequency / gender bias” 등을 분석할 수 있도록 공개하는 것이 목적 - Models . 16개 LLMs (orginal & deduped) 와 154개 checkpoints를 재현가능하도록 공개

데이터

- the Pile (영어 only; 825GB)

모델 크기

70M 160M 410M 1.0B 1.4B 2.8B 6.9B 12B

새롭게 제공된 Resource

Model

출시일

2023-04-09