Fireworks

Konfiguriere Fireworks als benutzerdefinierten endpoint in LibreChat.

Fireworks AI stellt eine Reihe offener Modelle über eine OpenAI-kompatible API bereit, die in LibreChat als benutzerdefinierter endpoint verwendet werden.

Einen API-Schlüssel erhalten

Erstellen Sie einen Schlüssel auf der Fireworks API keys page. Fügen Sie ihn Ihrer .env Datei hinzu:

FIREWORKS_API_KEY=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "Fireworks"
      apiKey: "${FIREWORKS_API_KEY}"
      baseURL: "https://api.fireworks.ai/inference/v1"
      models:
        default: [
          "accounts/fireworks/models/mixtral-8x7b-instruct",
          ]
        fetch: true
      titleConvo: true
      titleModel: "accounts/fireworks/models/llama-v2-7b-chat"
      summarize: false
      summaryModel: "accounts/fireworks/models/llama-v2-7b-chat"
      modelDisplayLabel: "Fireworks"
      dropParams: ["user"]

Hinweise

Die API ist bei einigen Modellen streng und lehnt möglicherweise Felder wie user ab. Entfernen Sie diese daher mit dropParams.

Wie finden Sie diese Anleitung?