Fireworks

Configurar Fireworks como un endpoint personalizado en LibreChat.

Fireworks AI ofrece una gama de modelos abiertos a través de una API compatible con OpenAI, utilizada en LibreChat como un endpoint personalizado.

Obtener una API key

Cree una clave desde la página de claves de API de Fireworks. Añádala a su archivo .env:

FIREWORKS_API_KEY=your-api-key

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: "Fireworks"
      apiKey: "${FIREWORKS_API_KEY}"
      baseURL: "https://api.fireworks.ai/inference/v1"
      models:
        default: [
          "accounts/fireworks/models/mixtral-8x7b-instruct",
          ]
        fetch: true
      titleConvo: true
      titleModel: "accounts/fireworks/models/llama-v2-7b-chat"
      summarize: false
      summaryModel: "accounts/fireworks/models/llama-v2-7b-chat"
      modelDisplayLabel: "Fireworks"
      dropParams: ["user"]

Notas

La API es estricta para algunos modelos y puede rechazar campos como user, así que elimínelos con dropParams.

¿Qué te parece esta guía?