Anyscale

Configurar Anyscale como un endpoint personalizado en LibreChat.

Anyscale Endpoints ofrece modelos abiertos como Llama a través de una API compatible con OpenAI que puedes añadir a LibreChat como un endpoint personalizado.

Obtener una API key

Cree una clave desde sus Anyscale credentials. Añádala a su archivo .env:

ANYSCALE_API_KEY=your-api-key

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

Notas

Con fetch: true, LibreChat carga la lista de modelos disponibles desde Anyscale, por lo que la matriz default es solo la selección inicial.

¿Qué te parece esta guía?