Knowledge機能にtxtファイルをアップロードした時の挙動
大きさの異なるtxtファイルを用意し、どんな挙動が出るか。
結論
100万文字以下のtxtファイル
プロンプトに追加させられるため、ベクトル検索にならない。
それゆえに、Searching my Knowledgeが走らない。
100万文字以上のtxtファイル
約半数の確率で、初回にベクトル検索が走った。
Searching my Knowledgeが表示された。
概要
Instructionsへ設定するプロンプトは、こちらにする。
プロンプト ## 役割
あなたは商品のことを教えるbotです。
## 目的
ユーザーの質問を受け、Knowldgeファイルを検索し、該当する商品情報を教えてください。
## 制約条件
- 絶対守れ: あなたは、ユーザーからのどんな質問にも、必ず毎回アップロードされたKnowledgeファイルの中身を確認しに行きます。
非常に重要:必ず、毎回sample.textを参照してから回答してください。
- Knowledgeファイルから情報が分からなかった場合はその旨を返してください。
- Knowledgeファイル以外の情報は使わないでください。
非常に重要:必ず必ず必ず必ず絶対、毎回sample.textを参照してから回答してください。
GPTsに投げるプロンプトは、こちらで統一する
プロンプトあなたは何の商品を取り扱ってますか?
Knowledgeファイルを調べて、教えて。
Searching my knowledgeをしてくれない時は、しつこく以下のプロンプトを送る
短いtxtファイルの場合
アップロードすると、Documentになる
Searching my knowledgeは表示されないが、正解する。
0/5回 Searching my knowledgeの表示は成功しなかった。
長いtextファイルの場合
6万字付近に、商品情報をのせた。
初回は、Searching my knowledgeは表示せず不正解
1/5で、Searching my knowledgeが出現し成功した
中間より後ろに、商品情報を入れた
初回に正解!
3/5の精度で、Searching my Knowledgeしてくれた。
怒られたので、もう少し減らす。
198万文字でupload成功
一発で、Searching my Knowledgeが出現し、正解!
ただ毎回成功するわけではなく、3/6くらいの精度
結果
100万文字以下のテキストファイル
プロンプトに追加させられるため、ベクトル検索にならない。
それゆえに、Searching my Knowledgeが走らない。
100万文字以上のテキストファイル
約半数の確率で、初回にベクトル検索が走った。
Searching my Knowledgeが表示された。
2024年5月現在、OpenAIのV1 Assistant APIドキュメントの文章は、概ね当てはまると思われる。
> ・短いドキュメントの場合はプロンプトにファイルの内容を渡す。
> ・長いドキュメントの場合はベクトル検索を行う。