TrueFoundry AI Gateway

TrueFoundry AI Gateway는 애플리케이션과 LLM 제공업체 사이의 엔터프라이즈 프록시 계층으로, 내장된 관측 가능성(observability)과 거버넌스를 갖춘 통합 OpenAI 호환 인터페이스를 통해 1000개 이상의 모델에 대한 액세스를 제공합니다.

API 키 발급받기

Personal Access Token(개인 액세스 토큰)으로 인증하세요. PAT guide를 따라 토큰을 생성한 다음, 게이트웨이 URL과 함께 .env 파일에 추가하세요:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

TrueFoundry 콘솔의 통합 코드 스니펫에서 게이트웨이 URL과 모델 이름을 가져오세요. 게이트웨이에 추가한 것과 동일한 모델 이름을 사용해야 합니다. 빠른 시작 가이드에서 설정 과정을 안내합니다.

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

참고 사항

• 모델 이름은 openai-main/gpt-4o와 같이 게이트웨이에서 구성한 통합에 의해 네임스페이스가 지정됩니다. TrueFoundry 콘솔에 표시된 이름과 일치시키십시오.
• 더 자세한 내용은 TrueFoundry docs를 참조하세요.