GPT-NeoX-20B

Affiliation

EleutherAI

Commercial

Fine-tuning Method

Note

- paper - 학습 및 테스트 코드 : https://github.com/EleutherAI/gpt-neox/ from scratch, LLM 학습 및 분석 코드 ◦ NVdia Megatron https://github.com/NVIDIA/Megatron-LM & DDP 라이브러리 DeepSpeed 기반 학습 ◦ DL framework : PyTorch (이때부터 TF → pytorch로 옮김)

데이터

- the Pile (영어 only; 825GB)

모델 크기

20B

새롭게 제공된 Resource

Model

출시일

2022-04