Anyscale

Anyscale Endpoints는 LibreChat에 사용자 지정 endpoint로 추가할 수 있는 OpenAI 호환 API를 통해 Llama와 같은 오픈 모델을 제공합니다.

API 키 발급받기

Anyscale 자격 증명에서 키를 생성하세요. 이를 .env 파일에 추가하세요:

ANYSCALE_API_KEY=your-api-key

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

참고 사항

fetch: true를 설정하면 LibreChat은 Anyscale에서 사용 가능한 모델 목록을 불러오므로, default 배열은 초기 선택 항목으로만 사용됩니다.