エージェント: カスタムAIアシスタントの構築

LibreChatのAIエージェント機能は、さまざまなモデルプロバイダーを活用したカスタムAIアシスタントを作成するための柔軟なフレームワークを提供します。

この機能はOpenAIのAssistants APIやChatGPTのGPTsと似ていますが、より幅広いモデルをサポートし、ノーコードで実装できるため、専門的な機能を備えた高度なアシスタントを構築できます。

はじめに

新しいエージェントを作成するには、endpointメニューから「Agents」を選択し、サイドパネルにあるAgent Builderパネルを開きます。

作成フォームには以下が含まれます：

• Avatar: カスタムアバターをアップロードして、エージェントをパーソナライズします
• Name: エージェントに固有の名前を選択してください
• Description: エージェントの目的に関する詳細（任意）
• Instructions: エージェントの動作を定義するシステム指示
• Model: 利用可能なプロバイダーとモデルから選択してください

既存のエージェントは、サイドパネル上部のドロップダウンから選択できます。

• チャット入力欄で「@」を使ってメンションすることでも可能です。

モデル設定

モデルパラメータのインターフェースでは、エージェントの応答を微調整できます：

• Temperature (0-1の範囲で回答の創造性を調整)
• 最大コンテキストトークン数
• 最大出力トークン数
• プロバイダー固有の追加設定

エージェントの機能

注: すべての機能は librechat.yaml 設定ファイルを通じて切り替えることができます。詳細については、docs/configuration/librechat_yaml/object_structure/agents#capabilities を参照してください。

Code Interpreter

有効にすると、Code Interpreter機能により、エージェントは以下のことが可能になります：

• 以下を含む複数の言語でコードを実行します：
  • Python、JavaScript、TypeScript、Go、C、C++、Java、PHP、Rust、およびFortran
• LibreChat Code Interpreter API を通じてファイルを安全に処理する
• ローカルでのセットアップ、設定、サンドボックスのデプロイなしでコードを実行します
• ファイルのアップロードとダウンロードをシームレスに処理します
• Code Interpreter APIに関する詳細情報
  • オープンソースの code-interpreter サービス（セルフホスト）によって動作しています

File Search

File Search機能により、以下が可能になります：

• RAG (Retrieval-Augmented Generation) 機能
• アップロードされたドキュメント全体に対するセマンティック検索
• ファイルの内容に基づいたコンテキスト認識型の応答
• エージェントおよびチャットスレッドの両レベルにおけるファイル添付のサポート

ファイルコンテキスト

File Context機能を使用すると、エージェントはファイルから抽出したテキストをシステム指示の一部として保存できます。

• ドキュメントの構造と書式を維持しながらテキストを抽出する
• マルチカラムテキストや混合コンテンツを含む複雑なレイアウトを処理する
• テーブル、数式、およびその他の専門的なコンテンツを処理する
• 多言語コンテンツの操作
• テキストはデータベース内のエージェントの指示に保存されます
• OCRサービスは不要 - デフォルトでテキスト解析を使用し、フォールバックメソッドを備えています
• OCRによる強化 - OCRが設定されている場合、画像やスキャンされたドキュメントの抽出品質が向上します
• 「テキストとしてアップロード」と同じ処理ロジックを使用します：OCR > STT > テキスト解析
• OCR設定の詳細はこちら

注: File Contextには、エージェントのシステム指示に含まれる抽出テキストが含まれます。個別の会話で一時的なドキュメントの質問を行う場合は、チャットから Upload as Text を使用してください。

Model Context Protocol (MCP)

MCPは、アプリケーションが大規模言語モデル（LLMs）にコンテキストを提供する仕組みを標準化するオープンプロトコルであり、AIツールやデータソースのためのユニバーサルアダプターとして機能します。

詳細については、MCP のドキュメントを参照してください。

MCPツールを使用するAgents

1. librechat.yaml ファイルで MCP サーバーを設定します
2. LibreChatを再起動して接続を初期化します
3. エージェントを作成または編集する
4. Agent Builderパネルの「Add Tools」ボタンをクリックして、以下に示すTools Dialogを開きます。
5. 追加したいMCPサーバーを選択してください - 各サーバーは単一のエントリとして表示されます
6. エージェントへの変更を保存します

この例では、エージェントに Spotify MCP server を追加しました。

MCPツールの管理

MCPサーバーをエージェントに追加した後、どの特定のツールが利用可能かを微調整できます：

• MCPサーバーを追加した後、それを展開して利用可能なすべてのツールを表示します。
• 必要に応じて個別のツールにチェックを入れるか、外してください
• 例えば、Spotify MCP serverは、約20個のツール（検索、再生制御、プレイリスト管理など）を提供します。
• このきめ細かな制御により、エージェントが必要とするツールのみに制限することができます。

詳細はこちら:

• MCPサーバーの設定
• Model Context Protocol 入門

Deferred Tools

Deferred toolsを使用すると、エージェントはすべてのMCPツールを事前にLLMコンテキストに読み込むことなく、多数のツールにアクセスできるようになります。その代わり、deferred toolsはTool Searchメカニズムを通じて実行時に検出可能となります。

これは、エージェントが多数のツールを持つ多くのMCPサーバーにアクセスする場合に特に有用です。すべてを読み込むとコンテキストウィンドウの大部分を消費し、応答品質が低下するためです。

仕組み:

• 「deferred」とマークされたツールは、初期のLLMコンテキストから除外されます。
• ToolSearch ツールが自動的に追加され、LLM が必要に応じて遅延読み込みツールを検出して読み込めるようになります。
• 一度検出されると、そのツールは残りの会話で使用可能になります。

deferred toolsの設定:

1. Agent Builderを開き、MCPツールを追加します
2. 任意のMCPツールのドロップダウンをクリックします
3. 「読み込みを遅延」を切り替え — 遅延されたツールには時計アイコンが表示されます

注: deferred_tools 機能はデフォルトで有効になっています。これは librechat.yaml エージェント設定から切り替えることができます。

Programmatic Tool Calling

Programmatic Tool Calling (PTC) を使用すると、エージェントは各ツールをモデルから直接呼び出す代わりに、Code Interpreter サンドボックス内から選択した MCP ツールを実行できるようになります。モデルは Code Interpreter によってバックアップされたオーケストレーションツールを受け取り、生成されたツール関数を呼び出すサンドボックス化されたコードを記述します。また、回答を返す前にループ、条件分岐、再試行、結果処理を使用することが可能です。

これは、複数のリソースへのクエリ、結果のページネーション、出力の比較、あるいはエージェントが説明する前にツールからの応答を変換するなど、マルチステップのツールワークフローにおいて有用です。

プログラム可能なツールの設定:

1. librechat.yaml エージェントの機能で、programmatic_tools と execute_code の両方を有効にします。
2. エージェントで Code Interpreter を有効にします。
3. MCPツールを追加し、MCPサーバーを拡張します。また、個々のツールまたはサーバー全体に対してProgrammaticの切り替えを行います。Programmaticなツールにはコードアイコンが表示されます。

注: programmatic_tools はオプトイン機能であり、デフォルトのエージェント機能リストには含まれていません。PTCには、Tool Call Serverコンポーネントを備えたCode Interpreterのデプロイメントも必要です。エージェントに登録されたツールのみがサンドボックスから呼び出し可能であり、未登録のツール呼び出しは拒否されます。

Skills

Skills を使用すると、エージェントは SKILL.md 定義から再利用可能な指示を読み込むことができます。これらはチャットから $ を使用して手動で選択したり、スキルカタログを通じてモデルが自動的に検出したり、あるいはすべてのターンで常に適用したりすることが可能です。

作成、呼び出し、およびアクセス制御の詳細については、Skills を参照してください。

Artifacts

Artifacts機能を使用すると、エージェントがインタラクティブなコンテンツを生成および表示できるようになります。

• Reactコンポーネント、HTMLコード、およびMermaidダイアグラムを作成する
• コンテンツを別のUIウィンドウに表示して、明瞭さとインタラクションを向上させます
• エージェントレベルでアーティファクト固有の指示を設定する
• Artifactsに関する詳細情報

有効にすると、Artifactsの使用に固有の追加の指示がデフォルトで追加されます。オプションは以下の通りです：

• shadcn/ui の指示を有効にする: shadcn/ui コンポーネント（Radix UI と Tailwind CSS を使用して構築された再利用可能なコンポーネントのコレクション）を使用するための指示を追加します。
• Custom Prompt Mode: 有効にすると、デフォルトのアーティファクトシステムプロンプトが含まれなくなり、独自のカスタム指示を提供できるようになります。

エージェントレベルでartifactsを設定する方が、従来のアプリ全体での設定よりもきめ細やかな制御が可能になるため、推奨されるアプローチです。

Custom Prompt Modeを有効にする場合は、指示の中に最低限、基本的なアーティファクト形式を含める必要があります。

最小限必要な指示の簡単な例を以下に示します：

When creating content that should be displayed as an artifact, use the following format:

:::artifact{identifier="unique-identifier" type="mime-type" title="Artifact Title"}

```
Your artifact content here
```

:::

For the type attribute, use one of:

- "text/html" for HTML content
- "application/vnd.mermaid" for Mermaid diagrams
- "application/vnd.react" for React components
- "image/svg+xml" for SVG images

Tools

エージェントは、さまざまな組み込みツールで強化することもできます：

• OpenAI Image Tools: GPT-Image-1 を使用した画像生成および編集
• Gemini Image Tools: Gemini画像モデルを使用した画像生成および画像コンテキスト編集
• DALL-E-3: テキストによる画像生成
• Stable Diffusion / Flux: テキストから画像を生成
• Wolfram: 計算および数学的機能
• OpenWeather: 天気データの取得
• Google Search: ウェブ検索機能へのアクセス
• Calculator: 数学的計算
• Tavily Search: 多様なデータソース統合を備えた高度な検索API
• Azure AI Search: Azure AI Search インデックスからの情報検索
• Traversaal: LLMエージェント向けの堅牢な検索API

画像ツールを使用してエージェントを作成する

1. OpenAI Image Tools用の IMAGE_GEN_OAI_API_KEY など、画像ツールの認証情報を .env に追加します。
2. LibreChatを再起動して、新しい環境変数を読み込ませます。
3. endpointメニューからAgentsを選択します。
4. サイドパネルからAgent Builderを開き、エージェントを作成または編集します。
5. エージェントの Tools リストを開き、OpenAI Image Tools、Gemini Image Tools、DALL-E-3、Stable Diffusion、または Flux を選択してから、エージェントを保存します。
6. そのエージェントとのチャットを開始し、画像の生成や編集を依頼してください。

IMAGE_GEN_OAI_MODEL などのモデル変数を含む画像設定の完全なガイドについては、Image Generation & Editing を参照してください。

• ツールは librechat.yaml 設定ファイルを使用して無効化できます。
  • 詳細情報

Actions

Actions機能を使用すると、OpenAPI specsからツールを動的に作成し、Agentsに追加することができます。

上記のボタンをクリックすると、OpenAPI specのURLを入力してアクションを作成できるフォームが開きます：

• Actionsは、librechat.yaml設定ファイルを使用して無効にできます：
  • 詳細情報
• エージェントのアクションに対して、個別のドメインをホワイトリストに登録できます：
  • 詳細情報
• Note that you can add add the 'x-strict': true flag at operation-level in the OpenAPI spec for actions. If using an OpenAI model supporting it, this will automatically generate function calls with 'strict' mode enabled.
  • Strict modeはjsonの限定的なサブセットのみをサポートしています。詳細は https://platform.openai.com/docs/guides/structured-outputs を参照してください。

Agent Chain

Agent Chain機能はMixture-of-Agents (MoA) アプローチを可能にし、連携して動作するエージェントのシーケンスを作成できるようにします：

• 複雑なタスクのために専門エージェントのチェーンを作成する
• チェーン内の各エージェントは、前のエージェントからの出力にアクセスできます。
• エージェントチェーンの最大ステップ数を設定する
• 注: この機能には、Agent BuilderのAdvanced Settingsパネルからアクセスしてください。
• 注: この機能は現在ベータ版であり、変更される可能性があります。
  • 現在チェーン可能なエージェントの最大数は10ですが、将来的に設定可能になる可能性があります。

この機能は、同名の「Mixture-of-Agents」論文で説明されているように、各エージェントが前の層のすべてのエージェントからの出力を補助情報として取り込み、応答を生成する階層型Mixture-of-AgentsアーキテクチャをLibreChatに導入します。

Subagents

Subagentsを使用すると、エージェントは焦点を絞ったタスクを分離された子実行（child run）に委任できます。子エージェントは独自のコンテキストウィンドウとツール実行フローを持ち、すべての中間ステップで親のコンテキストを埋める代わりに、簡潔な結果を親に返します。

SubagentsはAgent Chainとは異なります。Chainは複数のエージェントをグラフの参加者として調整して実行しますが、Subagentsはエージェントによってツール呼び出しとして生成され、スコープを限定した委任を行います。設定や制限については、Subagentsを参照してください。

高度な設定

「capabilities」以外の、エージェントの詳細設定（エージェントフォームの「詳細」ビューにあります）。

Max Agent Steps

この設定では、エージェントが「実行（run）」内で行えるステップ数を制限できます。これは、最終的な応答が返されるまでのエージェントのループ処理を指します。

設定しない場合、デフォルトは25ステップですが、必要に応じて調整可能です。管理者の方は、librechat.yaml ファイルでグローバルなデフォルト値およびグローバルな最大値を設定できます。

「ステップ」とは、AI APIリクエスト、またはツール使用の1ラウンド（LLMが単一のリクエストから提供するツール呼び出しの数に応じて、1つまたは複数のツール）のいずれかを指します。

ツールを使用しない単一のレスポンスは1ステップです。ツール使用の1ラウンドは通常3ステップとなります：

1. APIリクエスト -> 2. ツール使用（1つまたは複数のツール） -> 3. フォローアップAPIリクエスト

ファイル管理

Agentsは、ファイルを扱うための複数の方法をサポートしています：

チャットインターフェース内

エージェントとチャットする際、4つのアップロードオプションがあります：

1. 画像のアップロード

   • ネイティブのビジョンモデルサポートのために画像をアップロードします
   • 画像をモデルプロバイダーに直接送信します

2. テキストとしてアップロード (context 機能が必要)

   • 会話にドキュメントの全コンテンツを抽出して含めます
   • デフォルトでテキスト解析を使用します。設定されている場合はOCRによって強化されます。
   • 現在の会話にのみコンテンツが存在します
   • テキストとしてアップロード を参照してください

3. ファイル検索のためのアップロード (file_search 機能が必要、ONに切り替え)

   • ベクトルストアを使用したセマンティック検索（RAG）を利用します
   • ツール使用を通じて関連するチャンクを返します
   • 大きなドキュメントや複数のファイルに最適
   • 構造化データ（CSV、Excel、JSONなど）には最適ではありません

4. Code Interpreter用のアップロード (execute_code機能が必要、ONに切り替えること)

   • コードインタープリター環境にファイルを追加します
   • 構造化データ（CSV、Excel、JSONなど）に最適
   • Code Interpreter に関する詳細情報

Agent Builderにて

エージェントを設定する際、異なるカテゴリのファイルを添付できます：

1. 画像アップロード: エージェントが参照できる視覚的コンテンツ用
2. File Search Upload: RAG機能のためのドキュメント
3. Code Interpreter Upload: コード処理用のファイル
4. File Context: エージェントの指示を補足するために抽出されたテキストを含むドキュメント

File Contextはcontext機能を使用し、"Upload as Text"と全く同じように動作します。デフォルトでテキスト解析を使用し、設定時にはOCRによって強化されます。テキストはアップロード時に抽出され、エージェントの指示（instructions）に保存されます。これは、ドキュメント、PDF、コードファイル、またはテキストを含む画像から、エージェントに永続的な知識を与えるのに最適です。

処理の優先順位: OCR > STT > テキスト解析 (「テキストとしてアップロード」と同じ)

注: 抽出されたテキストは、エージェントのシステム指示の一部として含まれます。

共有と権限

エージェントはLibreChatのきめ細やかなaccess controlシステムを使用します。各エージェントは独自のアクセス制御リスト（ACL）を持ち、特定のユーザー、グループ、ロール、または公開設定で共有でき、それぞれ選択した権限レベルを割り当てることが可能です。

アクセスロール

エージェントを共有する際、被共有者には以下の3つの役割のいずれかが割り当てられます。

元の作成者および管理者は、ACLに関係なく常に完全な制御権を保持します。

エージェントの共有

1. Agent Builderでエージェントを開く
2. フッターにある Share ボタンをクリックします（あなたが作成者であるか、管理者であるか、またはその特定のAgentに対して SHARE 権限が付与されている場合に表示されます）。
3. ピープルピッカーでユーザー、グループ、またはロールを検索し、それぞれにロールを割り当てます
4. 必要に応じて Public を切り替えて、インスタンス上の全員がエージェントを閲覧できるようにします（SHARE_PUBLIC 機能の権限が必要です）。

プリンシパル、権限ビット、およびACLがロールベースの機能権限とどのように構成されるかについての詳細は、Access Control を参照してください。

管理者コントロール

管理者は、エージェントビルダーUI内のグローバル権限設定にアクセスできます：

• すべてのユーザー間でのエージェント共有を有効/無効にする
• エージェントの使用権限を制御する
• エージェント作成権限の管理
• プラットフォーム全体の設定を構成する

インスタンスで最初に作成されたアカウントは管理者となります。追加の管理者を設定する必要がある場合は、MongoDB にアクセスしてユーザーのプロファイルを更新してください：

db.users.updateOne(
  { email: 'USER_EMAIL_ADDRESS' },
  { $set: { role: 'ADMIN' } }
)

すべてのユーザーに対するエージェントの使用は、config経由で無効にすることも可能です。詳細はこちら。

機能レベルの権限（誰がエージェントを使用、作成、共有、または公開共有できるか）は、各ロール（カスタムロールを含む）に対して LibreChat Admin Panel から管理されます。librechat.yaml 内の interface.agents ブロックを使用して、起動時に組み込みの USER ロールのデフォルト値を設定することも可能ですが、今後の編集には Admin Panel を使用することが推奨されます。

ユーザーレベルの共有

個々のユーザーは以下が可能です：

• 特定のユーザー、グループ、またはロールとエージェントを共有する（そのロールに対して SHARE が有効になっている場合）
• インスタンス上の全員にエージェントを公開する（SHARE_PUBLIC が有効な場合）
• 各受信者に異なるアクセスレベル（Viewer / Editor / Owner）を付与します。
• 共有ダイアログからいつでもアクセスを再共有または取り消しできます

注記

• Instructions、model parameters、attached files、およびtoolsは、編集権限を持つユーザーにのみ公開されます。
  • エージェントは、指示やファイルなど、添付されたあらゆるデータを会話を通じて漏洩させる可能性があるため、Editor/Owner権限を付与したりエージェントを公開したりする前に、指示がそれに対して堅牢であることを確認してください。
• 共有エージェントを削除できるのは、元の作成者、管理者、および所有者（Owner）権限を持つ被付与者のみです。
• エージェントは共有されない限り、作成者のみが利用可能です

オプション設定

LibreChatでは、管理者が librechat.yaml ファイルを使用してエージェントの使用を設定できます。

• すべてのユーザー（管理者を含む）に対してAgentsを無効にする: 詳細はこちら
• 以下の方法でエージェントの機能をカスタマイズします: 詳細情報

ベストプラクティス

• エージェントに対して、明確かつ具体的な指示を与えてください。
• ユースケースに必要なツールを慎重に検討してください
• 4つのアップロードカテゴリ全体でファイルを適切に整理してください
• エージェントを共有する前に権限設定を確認してください
• 他のユーザーにデプロイする前に、エージェントを徹底的にテストしてください。

まとめ

1. endpoint ドロップダウンメニューから "Agents" を選択します
2. Agent Builderパネルを開く
3. 必要なエージェントの詳細を入力してください
4. 希望する機能（Code Interpreter、File Search、File Contextなど）を設定します。
5. 必要なツールとファイルを追加する
6. 必要に応じて共有権限を設定します
7. エージェントを作成して使用を開始する

エージェントとチャットする際、以下のことができます：

• 「Upload as Text」を使用して、ドキュメントの全コンテンツを会話に含めます（デフォルトでテキスト解析が行われ、OCRによって強化されます）。
• ドキュメントのセマンティック検索を行うには「Upload for File Search」を使用してください（RAG APIが必要です）。
• エージェントの「ファイルコンテキスト」にファイルを追加して、そのファイルの内容全体をエージェントのシステム指示の一部として含めます。

移行が必要 (v0.8.0-rc3+)

移行の内容

エージェント権限の移行により、エージェントは単純な所有権モデルから、複数の権限レベルを備えた高度なACLベースのシステムへと移行します。

• OWNER: エージェントに対する完全な制御権
• EDITOR: エージェントの閲覧および変更が可能
• VIEWER: エージェントへの読み取り専用アクセス

この移行を実行しない場合、既存のAgentは新しい権限対応のAPI endpointからアクセスできなくなります。

マイグレーションの実行

デプロイ方法に応じて適切なコマンドを選択してください：

1. デフォルトの docker-compose.yml の場合 (docker compose up でアプリを起動している場合):

変更のプレビュー (ドライラン):

docker compose exec api npm run migrate:agent-permissions:dry-run

移行を実行:

docker compose exec api npm run migrate:agent-permissions

カスタムバッチサイズ（大規模データセット用）:

docker compose exec api npm run migrate:agent-permissions:batch

2. deploy-compose.yml の場合

Ubuntu Docker Guide に従った場合：

変更のプレビュー (ドライラン):

docker exec -it LibreChat-API /bin/sh -c "cd .. && npm run migrate:agent-permissions:dry-run"

移行を実行:

docker exec -it LibreChat-API /bin/sh -c "cd .. && npm run migrate:agent-permissions"

カスタムバッチサイズ（大規模データセット用）:

docker exec -it LibreChat-API /bin/sh -c "cd .. && npm run migrate:agent-permissions:batch"

3. ローカル開発用（プロジェクトルートから）:

変更のプレビュー (ドライラン):

npm run migrate:agent-permissions:dry-run

移行を実行:

npm run migrate:agent-permissions

カスタムバッチサイズ（大規模データセット用）:

npm run migrate:agent-permissions:batch

移行中に何が起こるか

• Private Agents: 作成者のみがアクセス可能（OWNER権限が付与されます）
• 共有エージェント: エージェントが以前に共有されていた場合、パブリックエージェント（全ユーザーに共有）として適切なACLエントリが付与されます。
• システム検出: LibreChatは起動時に移行されていないエージェントを自動的に検出し、警告を表示します。

Agent Builder UI を介して、結果として得られるエージェントの権限を調整できます。

Agents API (ベータ版)

LibreChatのAgentはAPI経由でプログラムからアクセスすることも可能であり、OpenAI互換のSDKやOpen Responses形式を使用して、外部アプリケーションやスクリプトからAgentを操作できます。

設定と使用方法の詳細については、Agents API documentation を参照してください。

次のステップ

LibreChat Agentsは、LibreChatでの体験全体を通じて、特定のタスクやワークフローのためにエージェントを介して将来のパイプラインを効率化できる、アプリの新しい時代の到来を告げるものです。

今後のアップデートには以下が含まれます：

• 現在のAgentエクスペリエンスに対する全般的な改善
• 複雑なワークフローのためのマルチエージェントオーケストレーション
• 様々な機能に合わせてエージェントをカスタマイズする機能：タイトル付け（チャットスレッドの命名）、メモリ管理（ユーザーのコンテキスト/履歴）、およびプロンプト拡張（入力支援/予測）
• より多くのツール、設定可能なツールパラメータ、動的なツール作成。

さらに、今回のアップデートはLibreChatにとって新しいパラダイムをもたらします。その基盤となるアーキテクチャがアプリに待望の刷新を提供し、ユーザーエクスペリエンスとアプリ全体のパフォーマンスの両方を最適化するためです。

注目すべき最適化の1つとして、従来のendpoint（執筆時点でAgentsおよびAWS Bedrock以外のすべてのendpointオプション）を使用した場合、約1000トークンのAI生成で約1 MBのデータが転送されます。

エージェントを使用すると、同じ生成で転送されるデータは約52 kbとなり、データ転送量が95%削減されます。これは、サーバーおよびユーザーのデバイスにかかる負荷をそれだけ軽減することを意味します。

LibreChatのAI Agentsは、コーディングの知識がなくても専門的なアシスタントを作成できる強力な手段を提供し、同時に好みのAIモデルやプロバイダーと連携する柔軟性を維持します。

#LibreChat #AIAssistants #NoCode #OpenSource