Google

Für den Google endpoint können Sie entweder die Generative Language API (für Gemini-Modelle) oder die Vertex AI API (für Gemini-, PaLM2- & Codey-Modelle) verwenden.

Die Generative Language API verwendet einen API-Schlüssel, den Sie über Google AI Studio erhalten können.

Für Vertex AI benötigen Sie eine Service Account JSON-Schlüsseldatei mit entsprechend konfigurierten Zugriffsberechtigungen.

Anweisungen für beides sind unten aufgeführt.

Generative Language API (Gemini)

Siehe hier für Preise und Ratenbegrenzungen der Gemini API

⚠️ Während Google-Modelle kostenlos sind, verwenden sie Ihre Ein- und Ausgaben, um das Modell zu verbessern, wobei die Daten von Ihrem Google-Konto und API-Schlüssel de-identifiziert werden. ⚠️ Während dieses Zeitraums „können Ihre Nachrichten für geschulte Prüfer zugänglich sein.“

Um Gemini-Modelle über Google AI Studio zu nutzen, benötigen Sie einen API-Schlüssel. Falls Sie noch keinen haben, erstellen Sie einen Schlüssel im Google AI Studio.

Holen Sie sich hier einen API-Schlüssel: aistudio.google.com

Sobald Sie Ihren Schlüssel haben, geben Sie ihn in Ihrer .env Datei an, wodurch alle Benutzer Ihrer Instanz ihn verwenden können.

GOOGLE_KEY=mY_SeCreT_w9347w8_kEY

Oder Sie können festlegen, dass Benutzer diese über das Frontend bereitstellen, indem Sie Folgendes einstellen:

GOOGLE_KEY=user_provided

Einige Reverse Proxys unterstützen den X-goog-api-key Header nicht. Sie können LibreChat so konfigurieren, dass stattdessen der Authorization Header verwendet wird:

GOOGLE_AUTH_HEADER=true

Da das Abrufen der Modellliste noch nicht unterstützt wird, sollten Sie die Modelle, die Sie verwenden möchten, in der .env Datei festlegen.

Zu Ihrer Information sind dies die neuesten Modelle mit Stand vom 18.05.24, die mit der Generative Language API verwendet werden können:

GOOGLE_MODELS=gemini-1.5-flash-latest,gemini-1.0-pro,gemini-1.0-pro-001,gemini-1.0-pro-latest,gemini-1.0-pro-vision-latest,gemini-1.5-pro-latest,gemini-pro,gemini-pro-vision

Hinweise:

Ein gemini-pro-Modell oder gemini-pro-vision sind in Ihrer Liste erforderlich, um Bilder anzuhängen.
Bei der Verwendung von LibreChat können PaLM2- und Codey-Modelle nur über Vertex AI aufgerufen werden, nicht über die Generative Language API.
- Nur Modelle, die die generateContent-Methode unterstützen, können nativ mit LibreChat + der Gen AI API verwendet werden.
Die Auswahl von gemini-pro-vision für Nachrichten mit Anhängen ist nicht erforderlich, da dies im Hintergrund automatisch für Sie umgeschaltet wird.
Da gemini-pro-vision keine Nachrichten ohne Anhänge akzeptiert, werden Nachrichten ohne Anhänge automatisch auf gemini-pro umgestellt, da Google andernfalls mit einem Fehler antwortet.
Mit dem Google endpoint können Sie nicht gleichzeitig Vertex AI und die Generative Language API verwenden. Sie müssen sich für eine der beiden Optionen entscheiden.
Einige PaLM/Codey-Modelle und gemini-pro-vision können fehlschlagen, wenn maxOutputTokens auf einen hohen Wert eingestellt ist. Wenn dieses Problem auftritt, versuchen Sie, den Wert über die Konversationsparameter zu reduzieren.

Das Setzen von GOOGLE_KEY=user_provided in Ihrer .env Datei bewirkt, dass sowohl die Vertex AI Service Account JSON-Schlüsseldatei als auch der Generative Language API-Schlüssel vom Frontend bereitgestellt werden, wie hier gezeigt:

URL-Kontext

Das URL-Kontext-Tool von Google ermöglicht es unterstützten Gemini-Modellen, URLs zu lesen, die in der Benutzernachricht enthalten sind, wie z. B. Webseiten, Bilder und PDFs. Aktivieren Sie es in LibreChat mit dem Google-endpoint-Parameter url_context.

preset:
  endpoint: google
  model: gemini-2.5-flash
  url_context: true

Sie können es auch für einen Google-artigen benutzerdefinierten endpoint mit addParams oder Parameter-Standardwerten aktivieren:

custom:
  - name: 'Google Gateway'
    apiKey: '${GOOGLE_KEY}'
    baseURL: 'https://gateway.example.com/v1'
    models:
      default: ['gemini-2.5-flash']
    customParams:
      defaultParamsEndpoint: google
    addParams:
      url_context: true

url_context ist für unterstützte Gemini-Textmodelle verfügbar, einschließlich Gemini 2.5+ und Gemini 3.x-Modellen. YouTube-Links werden separat mit Geminis nativem Videoverständnis verarbeitet, wenn url_context aktiviert ist, da das URL Context-Tool von Google YouTube-URLs nicht direkt unterstützt.

Vertex AI

Siehe hier für Preise und Ratenbegrenzungen der Vertex API

Um Google LLMs (über Google Cloud Vertex AI) einzurichten, registrieren Sie sich zuerst bei Google Cloud: cloud.google.com

Normalerweise erhalten Sie ein Startguthaben von 300 $, wodurch diese Option für 90 Tage kostenlos ist.

Sobald Sie sich angemeldet haben, aktivieren Sie die Vertex AI API in der Google Cloud:
- Gehen Sie zur Vertex AI-Seite in der Google Cloud Console
- Klicken Sie auf Enable API, falls Sie dazu aufgefordert werden.
Erstellen Sie ein Dienstkonto mit der Rolle Vertex AI:
- Klicken Sie hier, um ein Dienstkonto zu erstellen
- Wählen Sie ein Projekt aus oder erstellen Sie eines
- Geben Sie eine Service-Account-ID ein (erforderlich), Name und Beschreibung sind optional
- Klicken Sie auf „Create and Continue“, um mindestens die Rolle „Vertex AI User“ zuzuweisen.
- Klicken Sie auf „Continue/Done“
Erstellen Sie einen JSON-Schlüssel zum Speichern in Ihrem Projektverzeichnis:
- Gehen Sie zurück zur Service Accounts-Seite
- Wählen Sie Ihr Dienstkonto aus
- Klicken Sie auf "Keys"
- Klicken Sie auf "Add Key" und dann auf "Create new key"
- Wählen Sie JSON als Schlüsseltyp und klicken Sie auf "Create"
- Laden Sie die Schlüsseldatei herunter und benennen Sie sie in 'auth.json' um
- Speichern Sie es im Projektverzeichnis unter /api/data/

Alternative: Verwendung von GOOGLE_SERVICE_KEY_FILE

Anstatt die Schlüsseldatei unter /api/data/auth.json zu speichern, können Sie die Umgebungsvariable GOOGLE_SERVICE_KEY_FILE verwenden, um den Pfad zu Ihrer Dienstkonto-Schlüsseldatei anzugeben. Dies bietet mehr Flexibilität bei der Verwaltung Ihrer Anmeldedaten. Weitere Details finden Sie im Abschnitt zu den Umgebungsvariablen weiter unten.

Speichern Sie Ihre JSON-Schlüsseldatei im Projektverzeichnis, wodurch alle Benutzer Ihrer LibreChat-Instanz diese verwenden können.

Alternativ können Sie festlegen, dass Benutzer diese über das Frontend bereitstellen, indem Sie Folgendes einstellen:

# Note: this configures both the Vertex AI Service Account JSON key file
# and the Generative Language API key to be provided from the frontend.
GOOGLE_KEY=user_provided

Sie können die Service-Account-Schlüsseldatei auch über die Umgebungsvariable GOOGLE_SERVICE_KEY_FILE angeben:

# Path to the service account JSON key file
GOOGLE_SERVICE_KEY_FILE=/path/to/auth.json

# Or provide as a URL
GOOGLE_SERVICE_KEY_FILE=https://example.com/path/to/auth.json

# Or provide as stringified JSON
GOOGLE_SERVICE_KEY_FILE='{"type":"service_account","project_id":"your-project",...}'

# Or provide as base64 encoded JSON
GOOGLE_SERVICE_KEY_FILE=eyJ0eXBlIjogInNlcnZpY2VfYWNjb3VudCIsICJwcm9qZWN0X2lkIjogInlvdXItcHJvamVjdC1pZCIsIC4uLn0=

Dies ist besonders nützlich für Funktionen, die eine Vertex AI-Authentifizierung erfordern, wie zum Beispiel OCR-Funktionen.

Sie können auch den Google Cloud-Standort für Vertex AI API-Anfragen angeben:

# Google Cloud region for Vertex AI
GOOGLE_LOC=us-central1

# Alternative region for Gemini Image Generation (defaults to global)
GOOGLE_CLOUD_LOCATION=global

Da das Abrufen der Modellliste noch nicht unterstützt wird, sollten Sie die Modelle, die Sie verwenden möchten, in der .env Datei festlegen.

Zu Ihrer Information sind dies die neuesten Modelle mit Stand vom 18.05.24, die mit der Generative Language API verwendet werden können:

GOOGLE_MODELS=gemini-1.5-flash-preview-0514,gemini-1.5-pro-preview-0514,gemini-1.0-pro-vision-001,gemini-1.0-pro-002,gemini-1.0-pro-001,gemini-pro-vision,gemini-1.0-pro

Wenn Sie Docker verwenden

If you're using docker and want to provide the auth.json file, you will need to also mount the volume in docker-compose.override.yml

version: '3.4'

services:
  api:
    volumes:
      - type: bind
        source: ./api/data/auth.json
        target: /app/api/data/auth.json

Google Sicherheitseinstellungen

Um Sicherheitseinstellungen sowohl für Vertex AI als auch für die Generative Language API festzulegen, können Sie Folgendes in Ihrer .env Datei konfigurieren:

GOOGLE_SAFETY_SEXUALLY_EXPLICIT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_HATE_SPEECH=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_HARASSMENT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_DANGEROUS_CONTENT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_CIVIC_INTEGRITY=BLOCK_ONLY_HIGH

Sie können Sicherheitseinstellungen auch ausschließen, indem Sie Folgendes in Ihrer .env Datei festlegen, wodurch die Standardeinstellungen des Anbieters verwendet werden. Dies kann hilfreich sein, wenn Sie Probleme mit bestimmten Sicherheitseinstellungen haben.

GOOGLE_EXCLUDE_SAFETY_SETTINGS=true

HINWEIS: Sie haben standardmäßig keinen Zugriff auf die Einstellung BLOCK_NONE. Um diese eingeschränkte HarmBlockThreshold-Einstellung zu verwenden, müssen Sie entweder:

(a) Erhalten Sie Zugriff über eine Allowlist durch Ihr Google-Account-Team
(b) Stellen Sie Ihren Kontotyp auf monatliche Rechnungsstellung um, indem Sie dieser Anleitung folgen: https://cloud.google.com/billing/docs/how-to/invoiced-billing

Hinweise:

Der Google endpoint unterstützt alle Shared Endpoint Settings über die librechat.yaml Konfigurationsdatei, einschließlich streamRate, headers, titleModel, titleMethod, titlePrompt, titlePromptTemplate und titleEndpoint.