Skip to main content

LibreChat is joining ClickHouse. Learn more

LibreChat

Fireworks

Configura Fireworks come endpoint personalizzato in LibreChat.

Fireworks AI offre una gamma di modelli aperti tramite un'API compatibile con OpenAI, utilizzata in LibreChat come endpoint personalizzato.

Ottieni una API key

Crea una chiave dalla pagina delle API key di Fireworks. Aggiungila al tuo file .env:

FIREWORKS_API_KEY=your-api-key

Configurazione

Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: "Fireworks"
      apiKey: "${FIREWORKS_API_KEY}"
      baseURL: "https://api.fireworks.ai/inference/v1"
      models:
        default: [
          "accounts/fireworks/models/mixtral-8x7b-instruct",
          ]
        fetch: true
      titleConvo: true
      titleModel: "accounts/fireworks/models/llama-v2-7b-chat"
      summarize: false
      summaryModel: "accounts/fireworks/models/llama-v2-7b-chat"
      modelDisplayLabel: "Fireworks"
      dropParams: ["user"]

Note

  • L'API è rigorosa per alcuni modelli e potrebbe rifiutare campi come user, quindi rimuovili con dropParams.

Com’è questa guida?