読み ルワクフ(RwaKuv)(多分)

https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=RepositoriesProject

https://github.com/BlinkDL/RWKV-LMBlinkDL/RWKV-LM

https://wiki.rwkv.com/Doc

https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradioDemo

RNNでありながらTransformerと同程度の性能を持つ言語モデル

Transformerと違い、コンテキスト長が無限

これは理論的な話で、実際には学習時に使用したトークン数に影響されるため一応1024に設定されている

モデル

The Pileで学習

https://huggingface.co/BlinkDL/rwkv-4-pile-7b/tree/mainRWKV-4-PILE-7B

https://huggingface.co/BlinkDL/rwkv-4-pile-14bRWKV-4-PILE-14B

派生モデル

派生ツール

一番手っ取り早く動かせるGUI

Demo : RWKV-4-Pile-14B

...

性能比較待ちだけどVRAM3GBで動くらしいので革命が起きていると思う