Anyscale

LibreChatでAnyscaleをカスタムendpointとして設定する。

Anyscale Endpointsは、LlamaなどのオープンモデルをOpenAI互換APIを通じて提供しており、LibreChatにカスタムendpointとして追加することができます。

APIキーを取得する

Anyscale credentials からキーを作成します。それを .env ファイルに追加してください：

ANYSCALE_API_KEY=your-api-key

設定

librechat.yaml の endpoints.custom の下にエンドポイントを追加します：

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

注記

fetch: true を設定すると、LibreChat は Anyscale から利用可能なモデルリストを読み込むため、default 配列は初期選択のみに使用されます。

このガイドはいかがでしたか？