Google

Voor het Google endpoint kun je ofwel de Generative Language API (voor Gemini-modellen) gebruiken, of de Vertex AI API (voor Gemini, PaLM2 & Codey-modellen).

De Generative Language API gebruikt een API-sleutel, die je kunt verkrijgen via Google AI Studio.

Voor Vertex AI heb je een Service Account JSON-sleutelbestand nodig, met de juiste toegangsrechten geconfigureerd.

Instructies voor beide worden hieronder gegeven.

Generative Language API (Gemini)

Zie hier voor Gemini API-prijzen en limieten

⚠️ Hoewel Google-modellen gratis zijn, gebruiken ze jouw input/output om het model te verbeteren, waarbij gegevens worden geanonimiseerd van je Google-account en API-sleutel. ⚠️ Tijdens deze periode kunnen jouw berichten "toegankelijk zijn voor getrainde beoordelaars."

Om Gemini-modellen via Google AI Studio te gebruiken, heb je een API-sleutel nodig. Als je er nog geen hebt, maak dan een sleutel aan in Google AI Studio.

Haal hier een API-sleutel op: aistudio.google.com

Zodra je je sleutel hebt, voer je deze in je .env bestand in, waardoor alle gebruikers van je instantie deze kunnen gebruiken.

GOOGLE_KEY=mY_SeCreT_w9347w8_kEY

Of je kunt gebruikers dit laten opgeven vanuit de frontend door het volgende in te stellen:

GOOGLE_KEY=user_provided

Sommige reverse proxies ondersteunen de X-goog-api-key header niet. Je kunt LibreChat configureren om in plaats daarvan de Authorization header te gebruiken:

GOOGLE_AUTH_HEADER=true

Aangezien het ophalen van de modellenlijst nog niet wordt ondersteund, moet je de modellen die je wilt gebruiken instellen in het .env bestand.

Voor uw gemak zijn dit de nieuwste modellen per 18-05-24 die kunnen worden gebruikt met de Generative Language API:

GOOGLE_MODELS=gemini-1.5-flash-latest,gemini-1.0-pro,gemini-1.0-pro-001,gemini-1.0-pro-latest,gemini-1.0-pro-vision-latest,gemini-1.5-pro-latest,gemini-pro,gemini-pro-vision

Opmerkingen:

Een gemini-pro model of gemini-pro-vision is vereist in je lijst voor het bijvoegen van afbeeldingen.
Bij gebruik van LibreChat kunnen PaLM2- en Codey-modellen alleen worden benaderd via Vertex AI, niet via de Generative Language API.
- Alleen modellen die de generateContent methode ondersteunen kunnen native worden gebruikt met LibreChat + de Gen AI API.
Het selecteren van gemini-pro-vision voor berichten met bijlagen is niet nodig, aangezien dit achter de schermen voor je wordt omgeschakeld.
Aangezien gemini-pro-vision geen berichten zonder bijlagen accepteert, worden berichten zonder bijlagen automatisch omgeschakeld naar gemini-pro, omdat Google anders met een foutmelding reageert.
Met het Google endpoint kun je niet tegelijkertijd Vertex AI en de Generative Language API gebruiken. Je moet kiezen voor de een of de ander.
Sommige PaLM/Codey-modellen en gemini-pro-vision kunnen falen wanneer maxOutputTokens op een hoge waarde is ingesteld. Als je dit probleem tegenkomt, probeer dan de waarde te verlagen via de gespreksinstellingen.

Door GOOGLE_KEY=user_provided in je .env bestand in te stellen, worden zowel het Vertex AI Service Account JSON-sleutelbestand als de Generative Language API-sleutel zo geconfigureerd dat ze vanuit de frontend worden verstrekt, zoals hieronder:

URL Context

De URL Context-tool van Google stelt ondersteunde Gemini-modellen in staat om URL's te lezen die zijn opgenomen in het gebruikersbericht, zoals webpagina's, afbeeldingen en PDF's. Schakel dit in LibreChat in met de Google endpoint-parameter url_context.

preset:
  endpoint: google
  model: gemini-2.5-flash
  url_context: true

Je kunt het ook inschakelen voor een custom endpoint in Google-stijl met addParams of parameter-standaardwaarden:

custom:
  - name: 'Google Gateway'
    apiKey: '${GOOGLE_KEY}'
    baseURL: 'https://gateway.example.com/v1'
    models:
      default: ['gemini-2.5-flash']
    customParams:
      defaultParamsEndpoint: google
    addParams:
      url_context: true

url_context is beschikbaar op ondersteunde Gemini-tekstmodellen, inclusief Gemini 2.5+ en Gemini 3.x-modellen. YouTube-links worden afzonderlijk afgehandeld met de eigen videobegrip-functionaliteit van Gemini wanneer url_context is ingeschakeld, omdat de URL Context-tool van Google YouTube-URL's niet rechtstreeks ondersteunt.

Vertex AI

Zie hier voor prijzen en limieten van de Vertex API

Om Google LLM's in te stellen (via Google Cloud Vertex AI), moet je je eerst aanmelden voor Google Cloud: cloud.google.com

Je kunt meestal $300 aan starttegoed krijgen, waardoor deze optie 90 dagen lang gratis is.

Zodra je bent aangemeld, schakel je de Vertex AI API in op Google Cloud:
- Ga naar de Vertex AI-pagina in de Google Cloud console
- Klik op Enable API indien daarom gevraagd
Maak een Service Account aan met de Vertex AI-rol:
- Klik hier om een Service Account aan te maken
- Selecteer of maak een project
- Voer een service account ID in (verplicht), naam en beschrijving zijn optioneel
- Klik op "Create and Continue" om ten minste de rol "Vertex AI User" toe te wijzen
- Klik op "Continue/Done"
Maak een JSON-sleutel aan om op te slaan in uw projectmap:
- Ga terug naar de Service Accounts pagina
- Selecteer uw serviceaccount
- Klik op "Keys"
- Klik op "Add Key" en vervolgens op "Create new key"
- Kies JSON als het sleuteltype en klik op "Create"
- Download het sleutelbestand en hernoem het naar 'auth.json'
- Sla het op in de projectmap, in /api/data/

Alternatief: GOOGLE_SERVICE_KEY_FILE gebruiken

In plaats van het sleutelbestand op te slaan in /api/data/auth.json, kun je de GOOGLE_SERVICE_KEY_FILE omgevingsvariabele gebruiken om het pad naar je serviceaccount-sleutelbestand op te geven. Dit biedt meer flexibiliteit in hoe je je inloggegevens beheert. Zie de sectie over omgevingsvariabelen hieronder voor meer details.

Het opslaan van je JSON-sleutelbestand in de projectmap, waardoor alle gebruikers van je LibreChat-instantie het kunnen gebruiken.

Als alternatief kun je gebruikers dit laten opgeven vanuit de frontend door het volgende in te stellen:

# Note: this configures both the Vertex AI Service Account JSON key file
# and the Generative Language API key to be provided from the frontend.
GOOGLE_KEY=user_provided

Je kunt het service account key-bestand ook opgeven met de GOOGLE_SERVICE_KEY_FILE omgevingsvariabele:

# Path to the service account JSON key file
GOOGLE_SERVICE_KEY_FILE=/path/to/auth.json

# Or provide as a URL
GOOGLE_SERVICE_KEY_FILE=https://example.com/path/to/auth.json

# Or provide as stringified JSON
GOOGLE_SERVICE_KEY_FILE='{"type":"service_account","project_id":"your-project",...}'

# Or provide as base64 encoded JSON
GOOGLE_SERVICE_KEY_FILE=eyJ0eXBlIjogInNlcnZpY2VfYWNjb3VudCIsICJwcm9qZWN0X2lkIjogInlvdXItcHJvamVjdC1pZCIsIC4uLn0=

Dit is bijzonder nuttig voor functies die Vertex AI-authenticatie vereisen, zoals OCR-mogelijkheden.

Je kunt ook de Google Cloud-locatie opgeven voor Vertex AI API-verzoeken:

# Google Cloud region for Vertex AI
GOOGLE_LOC=us-central1

# Alternative region for Gemini Image Generation (defaults to global)
GOOGLE_CLOUD_LOCATION=global

Aangezien het ophalen van de modellenlijst nog niet wordt ondersteund, moet je de modellen die je wilt gebruiken instellen in het .env bestand.

Voor uw gemak zijn dit de nieuwste modellen per 18-05-24 die kunnen worden gebruikt met de Generative Language API:

GOOGLE_MODELS=gemini-1.5-flash-preview-0514,gemini-1.5-pro-preview-0514,gemini-1.0-pro-vision-001,gemini-1.0-pro-002,gemini-1.0-pro-001,gemini-pro-vision,gemini-1.0-pro

Als je Docker gebruikt

Als je Docker gebruikt en het auth.json bestand wilt aanleveren, moet je ook de volume mounten in docker-compose.override.yml

version: '3.4'

services:
  api:
    volumes:
      - type: bind
        source: ./api/data/auth.json
        target: /app/api/data/auth.json

Google Safety Settings

Om veiligheidsinstellingen in te stellen voor zowel Vertex AI als de Generative Language API, kun je het volgende instellen in je .env bestand:

GOOGLE_SAFETY_SEXUALLY_EXPLICIT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_HATE_SPEECH=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_HARASSMENT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_DANGEROUS_CONTENT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_CIVIC_INTEGRITY=BLOCK_ONLY_HIGH

Je kunt veiligheidsinstellingen ook uitsluiten door het volgende in je .env bestand in te stellen, waardoor de standaardinstellingen van de provider worden gebruikt. Dit kan nuttig zijn als je problemen ondervindt met specifieke veiligheidsinstellingen.

GOOGLE_EXCLUDE_SAFETY_SETTINGS=true

LET OP: Je hebt standaard geen toegang tot de BLOCK_NONE instelling. Om deze beperkte HarmBlockThreshold instelling te gebruiken, moet je:

(a) Krijg toegang via een allowlist via je Google-accountteam
(b) Wijzig uw accounttype naar maandelijkse facturering door deze instructie te volgen: https://cloud.google.com/billing/docs/how-to/invoiced-billing

Opmerkingen:

Het Google endpoint ondersteunt alle Shared Endpoint Settings via het librechat.yaml configuratiebestand, inclusief streamRate, headers, titleModel, titleMethod, titlePrompt, titlePromptTemplate en titleEndpoint.