LibreChatFireworks
Configura Fireworks come endpoint personalizzato in LibreChat.
Fireworks AI offre una gamma di modelli aperti tramite un'API compatibile con OpenAI, utilizzata in LibreChat come endpoint personalizzato.
Ottieni una API key
Crea una chiave dalla pagina delle API key di Fireworks. Aggiungila al tuo file .env:
FIREWORKS_API_KEY=your-api-keyConfigurazione
Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:
- name: "Fireworks"
apiKey: "${FIREWORKS_API_KEY}"
baseURL: "https://api.fireworks.ai/inference/v1"
models:
default: [
"accounts/fireworks/models/mixtral-8x7b-instruct",
]
fetch: true
titleConvo: true
titleModel: "accounts/fireworks/models/llama-v2-7b-chat"
summarize: false
summaryModel: "accounts/fireworks/models/llama-v2-7b-chat"
modelDisplayLabel: "Fireworks"
dropParams: ["user"]Note
- L'API è rigorosa per alcuni modelli e potrebbe rifiutare campi come
user, quindi rimuovili condropParams.
Com’è questa guida?