h2oGPT

Affiliation

H2O

Commercial

Fine-tuning Method

SFT

Note

code, web demo, blog • code ◦ LoRA & 8-bit quantization 제공 ◦ chatbot server code via GPU & Python client API ◦ evaluation code • model list ◦ oasst1-512-20b : gpt-neox-20b로부터 openassistant data (oasst1-46283 & oasst1-48307)로 SFT 모델 ◦ oasst1-512-12b : pythia-12b로부터 openassistant data (oasst1-46283 & oasst1-48307)로 SFT 모델 ◦ oig-oasst1-512-6.9b : pythia-6.9b로부터 oig & oasst1 data & oasst1-48307로 SFT 모델 ◦ oig-oasst1-256-20b : gpt-neox-20b로부터 oig & oasst1 data 로 SFT 모델 ◦ oig-oasst1-256-12b : pythia-12b-deduped로부터 oig & oasst1 data 로 SFT 모델

데이터

oasst1 OIG

모델 크기

6.9B (Pythia) 12B (Pythia) 20B (GPT-NeoX)

새롭게 제공된 Resource

Model

출시일

2023-05-03

주의

•

OpenAI Language model 응답으로봐서는 학습에 활용된 모든 데이터가 commercial로부터 나왔는지는 확인이 필요함.