Scrapbox ChatGPT Connectorで遊ぶ（motoso）
Scrapbox ChatGPT Connectorで遊ぶ（motoso）
試してみる
mac
virtualenvをつかってからインストールした
$ python3 -m venv env Python 3.10.6 (main, Aug 30 2022, 04:58:14) [Clang 13.1.6 (clang-1316.0.21.2.5)] on darwin >gpt-3.5-turbo $0.002 / 1K tokens
>Ada $0.0004 / 1K tokens
Embeddingはこっちかな？
Yes
API使用量の料金ページ https://platform.openai.com/account/usage
課金してみよう
と思ったけど、18ドル分のfree trialがあるみたい
rate limitが60とPay-as-you-go扱いになっているのはこのせいかな？
トークンを発行してから48時間たたないと3500RPMにならないのかも
同じところでトラブってる。60から変わってくれぬ
rate limitに達する問題
catchを
sleep(2) にしてみた再開すると進行が途中からになるのか〜
それでも一旦rate limitに達するとcurrent 70/min -> 80/min -> 90/minと10ずつ増えてダメだった
tryの中に
sleep(1) を追加してリクエストごとに1秒待つことにした1秒待ってるんだから、maxでも60/minしか出ない
実際にはネットワークの往復と処理の時間がかかっているのだから60rpsより余裕で少ないはず
なるほど。このコードで初めてAPIを使う人の方が多そうだから、しっかり待つ方をデフォルトの挙動にしておこう✅
自分がRate limitの対象じゃないとわかってる人はコメントアウトすれば良い
またちょっと進行したけどScrapbox ChatGPT Connector#6409b1ae774b170000f724c4になった
放置して様子を見てみると少しつづ進んでいる
>The server is currently overloaded with other requests. Sorry about that! You can retry your request, or contact us through our help center at help.openai.com if the error persists.
度々これが出ているけどこれは自分のせいじゃないはず
特にエラーが起きない。もうちょっと早くしよう。
と思ったらrate limitがでた。うーん。
19:28 34%
19:42 67%
20:01 気づいたら終わってた
待ち時間で違うことをやる
/nishio/Scrapboxのtoken/pageを計算してみたい
Scrapbox ChatGPT Connector#6409559caff09e0000f4fd1fということはどの記事も8000文字文字以下なのがベスト
こっちはchatGPTのtokenizerだから別？
>Scrapboxをcl100k_baseでトークナイズ
text-embedding-ada-002 のトークナイザーがcl100k_base22:45 自分のScrapboxでも
make_index.py を回し始めた23:15 273/18806。先は長い。これだと37時間かかるw
対話的にやり取りできるようにしてみたい
アシスタントの返事とこちらの次の発言をmessagesに積めばいいんだけど少し注意点がある
最初の返事の賢さを最大限に高めたくて4096トークンの限界一般まで参考資料を詰め込んでいる
だからこれに単純にアシスタントの返事と次の自分の発言を付け加えると限界を溢れる(1)
素朴な対処法としては会話だけを積み直す方法(2)
これでチャットをするという目的は達成できるけど、この場合2回目の返事をするAIはScrapboxを読まないのでイマイチ
なので空きスペースいっぱいにScrapboxの情報を詰め込むのが良いかなと思う
ありがとうございます！
試す時に読み返します
何ができると便利かな？
自分に相談する
48時間ぐらい経ったから再開と思ったらrate limit！
https://platform.openai.com/account/billing/limits でクレジットカードを設定してから48hだった？え〜ん
2023/3/11 19:24 設定した
数時間後に回してみたら多分レートリミットとれてた。なにもわからない。
学習が終わったから遊んでみよう
ANSWER:
>>>> もっとも大事な問いとは何だろう？
> 何をやりたいかを発見することが最も大事な問いである。
これは大事