from 20240514 #0514

LM Studio を試す

以前 Windows のマシンでいわゆるローカルLLMってやつを試して、まあさすがにまだちょっと実用は厳しそうだなあ、という実感をもった

ショボい GPU しかもってない低调AIなのでしゃーない

ところが、mac だとユニファイドメモリってやつで RAM と VRAM が共用できる？(詳しいことは知らない)らしいことを知り、ちょっとやってみるかと

調べてみると LM Studio ってやつだと GUI があって Stable Diffusion の Matrix みたいに管理できるらしい(といいつつ別にそっちも使ったことあるわけではないが)

これまでの経験から生成は多少 CUI でなんとかするターンがあったんだけど、コイツはもう本当に GUI で完結してすごいなとおもった(素朴な感想)

とりあえず llama のモデルをポチって実行してみるの図

ただなんか西洋ソフトでありがちな IME の変換エンターで送信されてしまう問題を抱えていて困った

一旦他のテキストエリアで入力してコピペしているけど...

command-r ってのを試してみたくて、Q4 がギリいけるかもって表記だったので試してみたけど

まあ、ダメだよな

Q3_K_S

ローカルLLMってウェブを見に行くことはできるのか？

途中からやや怪しいけどこいつはすげえや

システムプロンプトを変えてみる遊び

まあどんなプロンプトかはご想像にお任せします

ちょうど昨日スジの人と話してて「メモリ単価はイイかもしれんけど Apple Silicon は単純にデバフやろ」とのことだったが、ただ使ってるだけニンゲンからしてみると特に困りは感じないかなあ

今使ってる Mac Studio は Apple Silicon だと Intel 時代よりも省メモリだな、という体感があったのもあって素直に32GBにしてしまった

しかしまあ、メモリを128GBぐらいにしようとすると72万かあ.......

てか最新の MBP は M3 Max だけど iPad Pro (プレス動画でおなじみ)は M4

M2 の Mac Studio をノコノコ買おうとはおもわんが、次期バージョンが出るとしてそれは M3 Max/Ultra のコアになるんだろうか？

M4 Max/Ultra だったら思い切って買い替える説は果たしてあるのか.....