Scrapboxでベクトル検索するUserScript作りたい
from 2024/05/15
Scrapboxでベクトル検索するUserScript作りたい
LLMなしでもできるかな？
文章ベクトルを作る事ができるならLLMである必要はなさそう
LLM代を払う気があればすぐできそう
バイトしようかなー
inlineのインデックスを一気に作った日のbillingがこんなもん
ページ数どのくらいだろうな、ページ数というよりtoken数なのだろうけど
井戸端との比較にはならないけど、1000倍も無いでしょう、位は言えるのでは？
というか
さん、井戸端のインデックス作ったりしてないのかな？
僕がやらないとハプンしないことがありすぎて後回しになり続けてる
> $0.0004 / 1K tokens
> 5ドルくらい？意外と安い
> あ、違うな、長いページがオーバーラップしながら分割されるので大雑把に2倍
いまembeddingのAPIがもっと安くなっている
1年前の記事
今確認したらこの時点から4倍安くなってて、さらに5倍安い新しいAPIができてる
新しく始めるなら後者のAPIを使った方がいいんじゃないかな
この前open ai apiのdocsみてたら、いろいろ新しいAPIが生えてて、embedding使わなくてもいけるんじゃないかと思ったりもしました
function callingでscrapboxのAPIを呼び出させるとか
うまい棒6,7本分くらいかな。それなら課金しても怒られなさそう
(何を気にしているんだ)
確か今先払い式になっているので、それを超えたらエラーになると思われます
ベクトルインデックスは中度半端にできてもある程度機能するので、金額決めてできる限り作るとかでも良さそう
やってみます！
spending limitってやつですね
githubとかherokuにもある
ベクトル検索はQdrantの無料プランを使っている
無料版はメモリ制限があるから井戸端全部はいるかな？
本文をオンメモリのペイロードにつむと難しいんじゃないかな
リンク先を出すだけなら本文はいらないよね
遅くて良いなら Scrapbox ChatGPT Connector の中でやってる方法でローカルでPython使って検索させることもできるはず
JSでcodingしなおすか、WASMでなんとか高速化できなかいかと考えています
はいOpenAIのEmbeddings APIをつかっています、というか上のomoikane-embed-coreそのままです
なるほど～
Geminiとか使えば無料の範囲でできるのかな？
15RPMだからちょっと厳しそう
JSから使えるものとしてTensorflowがあるけど、これはベクトル検索関係ない？
これは機械学習してモデルを作るほうのアルゴリズムだから違うか
コサイン距離など何らかの距離関数でソートして取り出せれば何でも良さそう
それよりインデックスをうまいこと作って高速化するとかそのへんが気になる
inlineのベクトル検索のUI
ベクトル検索による関連ページリストが表示されているページを見つけようとしたが、探し出せなかった
関連ページリストの中に紛れ込んで出てます
sim: ページ名 となっているのがそれnoneとなっているのは、実装都合です・・
リンクのない逆リンクを検索の結果も出している
これは自分しか見えないようにしている（全文検索が遅いので・・）
つまり、さん意外は、関連ページリスト内からベクトル検索した結果しか表示されないということですか？(たぶんちがう)