2023年5月20日
昨晩は、寝入ってから1時間ほどで目が覚めてしまい、しかたがないのでそのうちやろうと思っていた、OpenCALMのファインチューニングをやっていた。ロリポおじさんのツイートの全データが手元にあったので、それを使って、その独特の口調で話すLLMを作ってみようという取り組み。
単になにか話すのは、RTX3080Ti（メモリ12GB）でも7Bモデルを使えたのだが、ファインチューニングは400Mのmediumモデル以下でしかできなかった（large以上だと、out of memoryでエラーになってしまう）。学習にはより大きなメモリを必要とするということなのだろうか。あれこれハマったりもしたのだが、それっぽく動くものはできた。
>@kentaro: OpenCALMのmediumを、ロリポおじさん @lolipo_ojisan のツイートでファインチューニングしてみた。普通に話しかけても普通に答えてくるだけだが、「〜だぽ？」みたいに話しかけるとロリポおじさんぽく返事してくる。ちゃんとできてるのかなあ。
>
起きると、少し頭痛がする。ロキソニンを投入。この頃では飲んだ方ではあるとはいえ、そんなに大した量ではないのだけどなあ。もう全然飲めなくなってしまっている。
ファインチューニングについて、同僚にサジェストをいただく。instructionデータセットでファインチューニングしてから、さらにロリポおじさんのデータで学習させれば、もっといい感じになるのではないかという。使えそうなツールが、依存ライブラリの関係でWindowsでは動かせなかったので、Docker化してやってみよう。Windowsを使ってなさ過ぎて、操作も覚えつかない。WSL2もあまり使ってなかったので、いい機会なので取り組んでみよう。
お茶しながら、『お江戸・東京 坂タモリ 港区編』を読む。全然知らないことがたくさんあるなあ。またあちこち巡ってみないと。
日刊スポーツの「市川猿之助代役を19歳市川團子が堂々つとめる 拍手やまず10分間スタンディングオベーション」という記事を読んで、そこで紹介されていた写真を見て大きな感銘を覚えた。澤瀉屋のこれからについて悲観的な見通しを持っていたのだが、團子の顔つきによって、心配がある程度払拭されるとともに、その姿に現れた彼の思いに非常に強く心を打たれた。團子ちゃん、立派である。
Kの実家へ。Kの姪っ子を連れて、三社祭の宵宮へ。千束通りはすごい人だかりで、盛り上がっている。抱っこしてというので、行き帰りずっとしていたのだが、ずいぶん腕が疲れた。10kgちょっとぐらいなのだが、それでこんなに疲れてると、先が思いやられる。リトルKで鍛えていかないと。その後、夕食をいただく。
MacBookを置いてきたので、日記は翌日に書いた。
----
今日のブックマーク
なし
----
前日: #2023年5月19日
翌日: #2023年5月21日