>Mistral NeMoは、100以上の言語で学習されたTiktokenをベースにした新しいトークナイザー「Tekken」を使用しており、これまでのMistralモデルで使用されていたSentencePieceトークナイザーよりも効率的に自然言語のテキストとソースコードを圧縮します。