Anyscale

Anyscale Endpoints stellt offene Modelle wie Llama über eine OpenAI-kompatible API bereit, die Sie in LibreChat als benutzerdefinierten endpoint hinzufügen können.

Einen API-Schlüssel erhalten

Erstellen Sie einen Schlüssel über Ihre Anyscale credentials. Fügen Sie ihn Ihrer .env Datei hinzu:

ANYSCALE_API_KEY=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

Hinweise

• Mit fetch: true lädt LibreChat die verfügbare Modellliste von Anyscale, sodass das default-Array nur die anfängliche Auswahl darstellt.