https://www.mosaicml.com/blog/mpt-7b Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs

https://github.com/mosaicml/llm-foundry MPT/モデルリンク

https://huggingface.co/spaces/mosaicml/mpt-7b-instruct Demo

MPTシリーズ

1Tトークンで学習

ALiBiを採用し入力トークン数65k(最大84k)で学習

モデル郡

decoder-style transformer

decoder only?

📜Apache 2.0

超長コンテキスト長で物語を読み書きするように設計されたモデル

the_pile_books3 でファインチューニング

📜Apache 2.0

dolly_hhrlhfでファインチューニング

📜CC BY-SA 3.0

チャットボットのためのモデル

複数の(非商用を含む)データセットでファインチューニング

📜CC BY-NC-SA 4.0

量子化モデル

https://huggingface.co/OccamRazor/mpt-7b-storywriter-4bit-128gmpt-7b-storywriter-4bit-128g