LibreChatAnyscale
LibreChatでAnyscaleをカスタムendpointとして設定する。
Anyscale Endpointsは、LlamaなどのオープンモデルをOpenAI互換APIを通じて提供しており、LibreChatにカスタムendpointとして追加することができます。
APIキーを取得する
Anyscale credentials からキーを作成します。それを .env ファイルに追加してください：
ANYSCALE_API_KEY=your-api-key設定
librechat.yaml の endpoints.custom の下にエンドポイントを追加します：
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"注記
fetch: trueを設定すると、LibreChat は Anyscale から利用可能なモデルリストを読み込むため、default配列は初期選択のみに使用されます。
このガイドはいかがでしたか？