https://huggingface.co/openlm-research/open_llama_7b_preview_200bt open_llama_7b_preview_200bt

LLaMAをオープンライセンスで再現する

EasyLMを使い学習

RedPajamaのデータセットを使用

今回は200億トークンだが、今後1.2兆トークンでも学習予定

ライセンス