Assistants API V2
感じたこと
最大10000ファイル保存できるVector storeはやばい...
概要
私たちは、Assistants APIに様々な新機能と改良を発表し、ベータ版を新しいAPIバージョン OpenAI-Beta: assistants=v2
に移行します。以下は新機能の概要です:
file_search
と呼ばれる改良された検索ツールを発表します。これにより、アシスタントごとに最大10,000ファイルを取り込むことができます。これは以前の500倍です。高速化され、マルチスレッド検索による並列クエリをサポートし、ランキングとクエリの書き換えが強化されています。
file_search
と併せて、APIに vector_store
オブジェクトを導入します。ファイルがベクトルストアに追加されると、自動的に解析、分割、埋め込みが行われ、検索できる状態になります。ベクトルストアはアシスタントやスレッド間で使用でき、ファイル管理と課金が簡素化されます。
Assistants APIで、1回の実行で使用するトークンの最大数を制御できるようになり、トークン使用コストを管理できるようになりました。また、各実行で使用する過去/最近のメッセージ数に制限を設定することもできます。
特定の実行で特定のツール( file_search
、 code_interpreter
、 function
など)の使用を強制するために使用できる tool_choice
パラメータのサポートが追加されました。
ロールが assistant
のメッセージを作成して、カスタムの会話履歴をスレッドに作成できるようになりました。
AssistantオブジェクトとRunオブジェクトが、 temperature
、 response_format
(JSONモード)、 top_p
などの一般的なモデル設定パラメータをサポートするようになりました。
Assistants APIでファインチューニングされたモデルを使用できるようになりました。現時点では、 gpt-3.5-turbo-0125
のファインチューニング版のみがサポートされています。
Assistants APIがストリーミングをサポートするようになりました。
NodeとPythonのSDKにいくつかのストリーミングおよびポーリングヘルパーが追加されました。