https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3TTinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T

https://github.com/jzhang38/TinyLlamajzhang38/TinyLlama

3兆トークンから1.1BのLlamaモデルを学習する

16台のNvidia A100 40GBで90日間での学習完了を目指す

2023/9/1に開始

RemindMe! 雑談 2023年11月

全体的に伸び続けている？