Hyena
>Transformerを置き換える新しいHyena（ハイエナ）ってブツらしい。Transformerよりも長いコンテキスト長で、高速に学習できるらしい。H3でもそんな事言ってたやんと思うけど、HyenaはH3の研究を踏まえて、H3だとちょっと精度が下がっちゃってたのを改善したらしい →RT うみゆき@AI研究
1万トークン≒1万文字と仮定して原稿用紙25枚分?
そんなに会話続けることは果たしてあるのか
Scrapboxと連携するならそれぐらいはほしいが
Slackの議論全部入れてその中の情報を加工したりしたい
> #Hyena がんばえ
>
> 「画像認識など文章以外の分野でもTFと同じ性能に達する→今後Transformer一辺倒だったものがHyenaに置き換わっていく可能性も」
>
> 100万トークンの世界
> 「今は非常に素朴なやりとりしかできないChatGPT→人生の友と呼べるくらいに長く付き合える可能性が」
参考