GPT-Neo

Affiliation

EleutherAI

Commercial

Fine-tuning Method

Note

- 학습 및 테스트 코드 : https://github.com/EleutherAI/gpt-neo ◦ DDP 라이브러리 mesh-tensorflow 기반 학습 ◦ DL framework : TF

데이터

- the Pile (영어 only; 825GB)

모델 크기

125M 350M 1.3B 2.7B

새롭게 제공된 Resource

출시일

2021-03