LiteLLM

LiteLLM Proxy adalah gateway yang di-host sendiri yang mengekspos model dari banyak penyedia melalui satu endpoint yang kompatibel dengan OpenAI, sehingga Anda dapat mengarahkan LibreChat ke proxy Anda sendiri.

Konfigurasi

API key tersebut cocok dengan nilai yang diatur dalam konfigurasi proxy LiteLLM Anda, bukan kunci penyedia, jadi gunakan placeholder di bawah ini atau kunci Anda sendiri. Arahkan baseURL ke proxy yang sedang berjalan. Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Catatan

• Lihat Using LibreChat with LiteLLM Proxy untuk panduan lengkap mengenai cara menyiapkan proxy tersebut.
• Dengan fetch: true, LibreChat memuat daftar lengkap model yang dikonfigurasi di proxy Anda, sehingga default hanyalah pilihan awal.
• Jika Anda menjalankan proxy bawaan dari docker-compose.override.yml.example, atur baseURL ke http://litellm:8000/v1 agar kontainer dapat saling terhubung melalui nama layanan.