Anyscale

Anyscale Endpoints propose des modèles ouverts tels que Llama via une API compatible avec OpenAI que vous pouvez ajouter à LibreChat en tant qu'endpoint personnalisé.

Obtenir une clé API

Créez une clé à partir de vos Anyscale credentials. Ajoutez-la à votre fichier .env :

ANYSCALE_API_KEY=your-api-key

Configuration

Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

Notes

• Avec fetch: true, LibreChat charge la liste des modèles disponibles depuis Anyscale, donc le tableau default n'est que la sélection initiale.