雑談 2025年1月
from 💬雑談
2025/1/31
5-Day Gen AI Intensiveを持ってきた
近日に続きやります
2025/1/29
未来予想図Ⅱ045
クロード・ドビュッシーはフーガを作曲していないw
Geminiが遅れを取っているなど、いろいろ面白い
2025/1/28
> DeepSeek 今日の18時(日本時間19時)に何かをリリース
> 衝撃に備えよっ
> > 🎵Drop Drop Drop...
> >
> deepseek's r1 is an impressive model, particularly around what they're able to deliver for the price.
>
> we will obviously deliver much better models and also it's legit invigorating to have a new competitor! we will pull up some releases.
> We are releasing more re-distilled R1 models. Now including a Qwen-7B with a GSM8K score of 83.4%, +4.55% higher than that of the original distilled model.
>
>
>
ベンチマークってそんなにﾄﾞｺﾄﾞｺあげられるものだっけ
多分蒸留に関しては(Deepseek社としてはメインストリームではないので)技術検証的に作ってみました(ただ計算資源はあるから雑に8k程データぶち込むね…)みたいなノリだった可能性はあるのでそこまで真面目にチューンしてなかった可能性はありそう(なのである程度ちゃんとチューンすれば一回りくらいなら上がるかも)
> @studiomasakaki: 最近、AI絵が万バズしてもイヤミが飛んでくることが全然なくなったんですよね。ガンプラのデジラマ生成サービスも普通に好評だし、Grokの一般開放あたりから急激にトーンダウンしてるのを感じる。（略）
grokで自分が使うようになったからイヤミを言えなくなったってこと？
xAI社の作戦勝ち
2025/1/25
>※例示は1 shot（引用元の新形式と日本語訳）で、制約条件のみを簡単に記載して生成
> ※条件は以下を指定
> - 名詞は漢字で表現するが、中国語と日本語で同じ意味を持つもののみ使用する
> - 副詞と助詞と形容詞と接続詞は英語で表現する
> - 英語表現は、中学生レベルのもののみ使用する
> - 平仮名や片仮名は*絶対に**使わない
書かれてないものだとDeepSeek-R1はクリア、OpenAI o1-miniが失敗、reasoningモデル以外ではClaude 3.5 Sonnetがクリアした(ただ、Claude 3.5 Sonnetはかなり英語に寄る)
ものは試しとClaude 3.5 Haikuで動かしたがまさかのクリア…だと…
Claude 3.5シリーズ、我々が思ってる以上にポテンシャル高い可能性がある…
さすがにちと長いので余裕ができたら記事に切り出すかな…(少し下のR1のreasoning Hack関連も含めて)
Claudeは2ch風のテキストも軽々と生成できるし、プロンプトの指示に従う力が強い
プログラミングにも有用すぎる特徴だから助かるけど、どういう学習してるんだ
GPT-3.5(ChatGPT登場)からまだ3年も経っていないという事実(ただのWikipediaへのリンク)
2025/1/23
Deepseek R1のreasoning関連のHackが無数に生えてくる…
https://x.com/tetumemo/status/1882239826096963752?s=46ClaudeにR1のreasoningをお前の事前思考だと言い聞かせて性能を上げるHack
https://x.com/madiator/status/1882131703927652762R1から実際に蒸留モデルを作った例(ウェイトあり、しかも蒸留に使ったデータセット付き)
ある意味プロンプトエンジニアリングをAI自身にやらせてるような感じなのだろうか
AIイラストとかでは割とよくあるもののテキストでも有効なようだ…
Hackではないが
https://unsloth.ai/blog/deepseek-r1十分なストレージとRAM48GBあれば1.5トークン/s程度出してご家庭でも動かせるらしい？
llmは画像生成に比べて各社が力を入れてるからかモデルのマイナーバージョンが変わっても構造的に互換性がなくなるからLoraを学習しといて他に適用、みたいな事がやりづらいのは辛み
そんなにmergeしたいLoraとかも思いつかない
2025/1/22
AIの創薬・タンパク質・寿命延長などに興味があまりない
健康寿命が伸びるのは基本的に良いことのはずなんだけどね
まあ流石に大抵の一般人で首を突っ込める話ではない(多方面の意味で)過ぎるので当面は「へー」レベルでウォッチするくらいしか無い領域ではある(医薬関係は素人は適当なことも言えんし)
AIに興味あって、工学とかクリエイティブにも興味がある人はネット上でよく見るけど、生物は見ないな…
NDAで喋れないことも他の分野より多そう
化学の分野は手数の総力戦のイメージがあるから効率化できるものはなんでも使っていくはず
https://x.com/skirano/status/1881854481304047656Deepseek R1のreasoning(考えてること)を他のモデルに事前トークンとして抜き出して渡すことで性能を上げる謎Hackが発見された……
逆にreasoningをhackして考えてることを書き換えて思考インジェクションも(ローカルなら)可能らしい(チキチキ)
reasoning部分はまだ研究があまり進んでなさそうだからここを抜き出して交換したりするのは有益そう
2025/1/21
>トランプ米大統領は20日、人工知能（AI）のリスクを管理するバイデン前政権の政策を覆す大統領令に署名した。AI規制は技術の進歩や言論の自由を妨げるとの考え方が背景にある。共和党の綱領にも廃止方針が盛り込まれていた。
> バイデン前大統領が2023年の大統領令で、国家や経済の安全保障への影響が懸念される高度なAI技術の開発企業に、安全試験の結果などの情報を政府に提供するよう義務付けていた。偽情報の拡散対策として、政府公式コンテンツを認証する仕組みの導入も図った
2025/01/20
言語モデルにテキストからブラケティングの自動生成をさせたい
教師データを集めて抜き出す学習をさせたらできるか
https://nordot.app/1253987498611343534共通テスト、AIの得点率91％ 東大文1のボーダー超える ｜ 共同通信
数学12と情報で勝ち越し、他負けで10戦3勝
AIが解けるならこの形式のテストにする意味はない説
DeepSeek-R1がMITライセンスで公開される。
OpenAI o1と肩を並べるレベルのモデルがオープンウェイトで公開されちゃった…
https://x.com/Shinka_Man/status/1881351705922777146数学オリンピックレベルの問題ではo1 proに素の状態ではやや劣る、プロンプトを少し工夫(深く考えろと指示を出す)と互角と言った性能なようだ。
既存モデルベースにR1で蒸留したモデルもでている。QwenベースのDeepSeek-R1-Distill-Qwen-32BがOpenAI o1-miniとほぼ同等のスコア
個人的にDeepSeek-R1-Distill-Qwen-14BやDeepSeek-R1-Distill-Qwen-7Bといった普通に家庭で動くレベルのモデルでo1-miniに近い(GPT-4oをベンチマークでは超えてる)性能と言うのがびっくり過ぎる…X等でのレビューでも期待される回答を出してる辺り少なくともそこまで「盛ってる」訳でもなさそう。
1.5bモデル辺りならいっそ画像生成AIのテキストエンコーダーとかに使えるのでは?感が
ちょっと長く書きすぎたので後で個別記事に移動しとこ
2025/1/17
🥳🎉
ComfyUIのページ作ったの、誕生から10日後だったんだ
2025/1/15
こんなwork4aiな絵あったのか、さすがいらすとやさんだぜ！
2025/1/10
やはり二人以上で書くのが楽しい
+1
新入り私、記法が独特過ぎてちょっと戸惑ってる(特に半自動で編集モードに入るところ)
2025/1/8
https://blog.comfy.org/p/join-the-comfyui-community-logo-creationComfyUIの新ロゴ募集中(2/8まで)
せっかくなのでなにか出したいな
2025/1/7
Nvidia CES 2025が今日あったようだ
NVIDIA Project DIGITSを私にください(強欲)
3000ドル、お買い得だな()
安いと思ってしまった(安くない)
メモリがひたすらに大きいのがメリットなので計算能力だけで言えばRTX 5080とかを買った方がいいかも
>@bdsqlsz: I just thought about digit
>
これがどんなもんの数値なのかイマイチ理解できていない😑
ちょっと変わった選択肢としてRTX 5090のモバイル版のThunderbolt5のeGPUボックスも発売が決まったりしてる。eGPUを使ってるもの好きなら既存のeGPUと合わせてVRAM+24GB！と言う択が生えてきた(多分その択が生えるのが自分以外にほとんどいない)
ゲームじゃなくてAIだと長時間動かしっぱなしにすること多いんで排熱的にデスクトップに乗せたいかなぁ
あと性能が7 ~ 8割に抑えられちゃうイメージ
2025/01/01
あけましておめでとうございます🎍
おめでとうなのです
あけましておめでとうございます！
ということで🐍Vivi
kawaii
ホールピペットにみえてしまったw
口で吸っていくスタイル