generated at
phi-1
https://huggingface.co/microsoft/phi-1
https://arxiv.org/abs/2306.11644Textbooks Are All You Need
1.3BパラメータのCode LLM
Web上の教科書品質のデータ(6B)と、GPT-3.5で生成された教科書(1B)を使って学習させた
HumanEvalで50.6%
350Mで45%なのもいいwogikaze

All You Need
#Microsoft