Anyscale

O Anyscale Endpoints disponibiliza modelos abertos, como o Llama, por meio de uma API compatível com OpenAI que você pode adicionar ao LibreChat como um endpoint personalizado.

Obtenha uma API key

Crie uma chave a partir de suas Anyscale credentials. Adicione-a ao seu arquivo .env:

ANYSCALE_API_KEY=your-api-key

Configuração

Adicione o endpoint em endpoints.custom no seu librechat.yaml:

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

Notas

• Com fetch: true, o LibreChat carrega a lista de modelos disponíveis do Anyscale, portanto o array default é apenas a seleção inicial.