Endpoint Kustom

Tambahkan penyedia AI kustom seperti OpenRouter, Ollama, dan gateway yang kompatibel dengan Anthropic ke LibreChat menggunakan librechat.yaml

LibreChat mendukung layanan yang kompatibel dengan OpenAI API sebagai endpoint kustom. LibreChat juga mendukung endpoint kustom yang kompatibel dengan Anthropic dengan provider: "anthropic". Anda mengonfigurasi endpoint di librechat.yaml, menyimpan kunci API di .env, dan memasang konfigurasi tersebut melalui docker-compose.override.yml untuk deployment Docker.

File Mana yang Melakukan Apa?

Pengaturan endpoint kustom melibatkan tiga file, masing-masing dengan peran tertentu:

librechat.yaml -- Mendefinisikan endpoint kustom Anda (nama, URL API, model, pengaturan tampilan)
.env -- Menyimpan nilai sensitif seperti kunci API (direferensikan dari librechat.yaml menggunakan sintaks ${VAR_NAME})
docker-compose.override.yml -- Memasang librechat.yaml ke dalam kontainer Docker (khusus pengguna Docker)

Untuk gambaran lengkap tentang bagaimana file-file ini bekerja bersama, lihat Configuration Overview.

Sebelum Anda Memulai

Panduan ini mengasumsikan Anda telah menginstal dan menjalankan LibreChat. Jika belum, selesaikan Docker setup terlebih dahulu.

Langkah 1. Mount librechat.yaml (Khusus Docker)

Pengguna Docker perlu melakukan mount librechat.yaml sebagai volume agar container dapat membacanya. Lewati langkah ini jika Anda menjalankan LibreChat secara lokal tanpa Docker.

cp docker-compose.override.yml.example docker-compose.override.yml

Edit docker-compose.override.yml dan pastikan mount volume tidak dikomentari:

services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

Pelajari lebih lanjut: Docker Override Guide

Langkah 2. Konfigurasi librechat.yaml

Buat file librechat.yaml di root proyek (jika belum ada) dan tambahkan konfigurasi endpoint Anda. Lihat panduan librechat.yaml untuk instruksi pengaturan yang mendetail.

Berikut adalah contoh dengan OpenRouter, Ollama, dan gateway yang kompatibel dengan Anthropic:

version: 1.3.13
cache: true
endpoints:
  custom:
    - name: 'OpenRouter'
      apiKey: '${OPENROUTER_KEY}'
      baseURL: 'https://openrouter.ai/api/v1'
      models:
        default: ['meta-llama/llama-3-70b-instruct']
        fetch: true
      titleConvo: true
      titleModel: 'meta-llama/llama-3-70b-instruct'
      dropParams: ['stop']
      modelDisplayLabel: 'OpenRouter'
    - name: 'Ollama'
      apiKey: 'ollama'
      baseURL: 'http://host.docker.internal:11434/v1/'
      models:
        default: ['llama3:latest', 'command-r', 'mixtral', 'phi3']
        fetch: true
      titleConvo: true
      titleModel: 'current_model'
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'

Telusuri semua penyedia yang kompatibel di bagian AI Endpoints. Untuk referensi kolom lengkap, lihat Custom Endpoint Object Structure.

Endpoint yang Kompatibel dengan Anthropic

Gunakan provider: "anthropic" hanya untuk endpoint yang menggunakan Anthropic Messages API asli. Untuk gateway yang kompatibel dengan OpenAI yang hanya mengekspos model Anthropic, hilangkan provider dan gunakan bentuk endpoint kustom yang kompatibel dengan OpenAI seperti biasa.

Konfigurasi API Key

Saat mengonfigurasi kunci API di endpoint kustom, Anda memiliki tiga opsi:

Variabel lingkungan (disarankan): apiKey: "${OPENROUTER_KEY}" -- membaca dari .env
User provided: apiKey: "user_provided" -- pengguna memasukkan kunci mereka sendiri di UI
Nilai langsung (tidak disarankan): apiKey: "sk-your-actual-key" -- disimpan dalam teks biasa

Langkah 3. Atur Environment Variables

Tambahkan kunci API yang direferensikan dalam librechat.yaml Anda ke file .env:

OPENROUTER_KEY=your_openrouter_api_key

Setiap ${VARIABLE_NAME} di dalam librechat.yaml harus memiliki entri yang sesuai di dalam .env.

Langkah 4. Mulai Ulang dan Verifikasi

Setelah mengedit file konfigurasi, Anda harus memulai ulang LibreChat agar perubahan diterapkan.

docker compose down && docker compose up -d

Hentikan proses yang sedang berjalan (Ctrl+C) dan mulai ulang:

npm run backend

Buka LibreChat di browser Anda. endpoint kustom Anda seharusnya muncul di menu tarik-turun pemilih endpoint.

Tidak Melihat endpoint Anda?

Periksa log server untuk kesalahan konfigurasi:

docker compose logs api

Masalah umum: kesalahan sintaksis YAML, variabel lingkungan yang hilang, atau librechat.yaml tidak dimuat di Docker. Validasi YAML Anda dengan YAML Validator.

OpenRouter Masih Tidak Muncul

Khusus untuk OpenRouter, verifikasi rantai tiga file berikut:

.env memiliki OPENROUTER_KEY=...
librechat.yaml memiliki apiKey: "${OPENROUTER_KEY}" di bawah endpoint kustom OpenRouter
Pengguna Docker melakukan mount librechat.yaml di docker-compose.override.yml

Kemudian mulai ulang dengan:

docker compose down && docker compose up -d

Jika endpoint muncul tetapi mengembalikan 402 Payment Required, permintaan telah berhasil mencapai OpenRouter dan masalahnya biasanya terkait dengan kredit akun, penagihan, atau ketersediaan model di OpenRouter.