Google

Per l'endpoint Google, puoi utilizzare la Generative Language API (per i modelli Gemini), oppure la Vertex AI API (per i modelli Gemini, PaLM2 e Codey).

La Generative Language API utilizza una chiave API, che puoi ottenere da Google AI Studio.

Per Vertex AI, è necessario un file di chiave JSON dell'account di servizio, con i relativi accessi configurati correttamente.

Le istruzioni per entrambi sono fornite di seguito.

Generative Language API (Gemini)

Vedi qui per i prezzi e i limiti di frequenza dell'API Gemini

⚠️ Sebbene i modelli Google siano gratuiti, utilizzano i tuoi input/output per contribuire a migliorare il modello, con dati de-identificati dal tuo account Google e dalla tua API key. ⚠️ Durante questo periodo, i tuoi messaggi "potrebbero essere accessibili a revisori qualificati".

Per utilizzare i modelli Gemini tramite Google AI Studio, avrai bisogno di una API key. Se non ne possiedi già una, creane una in Google AI Studio.

Ottieni una chiave API qui: aistudio.google.com

Una volta ottenuta la chiave, inseriscila nel tuo file .env, il che consentirà a tutti gli utenti della tua istanza di utilizzarla.

GOOGLE_KEY=mY_SeCreT_w9347w8_kEY

Oppure, puoi fare in modo che gli utenti lo forniscano dal frontend impostando quanto segue:

GOOGLE_KEY=user_provided

Alcuni reverse proxy non supportano l'header X-goog-api-key. Puoi configurare LibreChat per utilizzare invece l'header Authorization:

GOOGLE_AUTH_HEADER=true

Poiché il recupero dell'elenco dei modelli non è ancora supportato, dovresti impostare i modelli che desideri utilizzare nel file .env.

Per tua comodità, questi sono i modelli più recenti al 18/5/24 che possono essere utilizzati con la Generative Language API:

GOOGLE_MODELS=gemini-1.5-flash-latest,gemini-1.0-pro,gemini-1.0-pro-001,gemini-1.0-pro-latest,gemini-1.0-pro-vision-latest,gemini-1.5-pro-latest,gemini-pro,gemini-pro-vision

Impostare GOOGLE_KEY=user_provided nel tuo file .env fa sì che sia il file della chiave JSON del Service Account di Vertex AI che la chiave API di Generative Language vengano forniti dal frontend in questo modo:

Contesto URL

Lo strumento URL Context di Google consente ai modelli Gemini supportati di leggere gli URL inclusi nel messaggio dell'utente, come pagine web, immagini e PDF. In LibreChat, abilitalo con il parametro dell'endpoint Google url_context.

preset:
  endpoint: google
  model: gemini-2.5-flash
  url_context: true

Puoi anche abilitarlo per un endpoint personalizzato in stile Google con addParams o i parametri predefiniti:

custom:
  - name: 'Google Gateway'
    apiKey: '${GOOGLE_KEY}'
    baseURL: 'https://gateway.example.com/v1'
    models:
      default: ['gemini-2.5-flash']
    customParams:
      defaultParamsEndpoint: google
    addParams:
      url_context: true

url_context è disponibile sui modelli di testo Gemini supportati, inclusi i modelli Gemini 2.5+ e Gemini 3.x. I link di YouTube vengono gestiti separatamente con la comprensione video nativa di Gemini quando url_context è abilitato, poiché lo strumento URL Context di Google non supporta direttamente gli URL di YouTube.

Vertex AI

Vedi qui per i prezzi e i limiti di frequenza di Vertex API

Per configurare i LLM di Google (tramite Google Cloud Vertex AI), per prima cosa registrati su Google Cloud: cloud.google.com

Di solito puoi ottenere $300 di credito iniziale, il che rende questa opzione gratuita per 90 giorni.

1. Una volta effettuata la registrazione, abilita la Vertex AI API su Google Cloud:
   • Vai alla pagina di Vertex AI sulla console Google Cloud
   • Fai clic su Enable API se richiesto
2. Crea un Service Account con il ruolo Vertex AI:
   • Clicca qui per creare un Service Account
   • Seleziona o crea un progetto
   • Inserisci un ID account di servizio (obbligatorio), il nome e la descrizione sono facoltativi
     • 
   • Fai clic su "Create and Continue" per assegnare almeno il ruolo "Vertex AI User"
     • 
   • Clicca su "Continue/Done"
3. Crea una chiave JSON da salvare nella tua Directory di Progetto:
   • Torna alla pagina Service Accounts
   • Seleziona il tuo account di servizio
   • Clicca su "Keys"
     • 
   • Fai clic su "Add Key" e poi su "Create new key"
     • 
   • Scegli JSON come tipo di chiave e clicca su "Create"
   • Scarica il file della chiave e rinominalo in 'auth.json'
   • Salvalo all'interno della directory del progetto, in /api/data/
     • 

Salvataggio del file della chiave JSON nella directory del progetto, il che consente a tutti gli utenti della tua istanza LibreChat di utilizzarlo.

In alternativa, puoi fare in modo che gli utenti lo forniscano dal frontend impostando quanto segue:

# Note: this configures both the Vertex AI Service Account JSON key file
# and the Generative Language API key to be provided from the frontend.
GOOGLE_KEY=user_provided

Puoi anche specificare il file della chiave dell'account di servizio utilizzando la variabile d'ambiente GOOGLE_SERVICE_KEY_FILE:

# Path to the service account JSON key file
GOOGLE_SERVICE_KEY_FILE=/path/to/auth.json

# Or provide as a URL
GOOGLE_SERVICE_KEY_FILE=https://example.com/path/to/auth.json

# Or provide as stringified JSON
GOOGLE_SERVICE_KEY_FILE='{"type":"service_account","project_id":"your-project",...}'

# Or provide as base64 encoded JSON
GOOGLE_SERVICE_KEY_FILE=eyJ0eXBlIjogInNlcnZpY2VfYWNjb3VudCIsICJwcm9qZWN0X2lkIjogInlvdXItcHJvamVjdC1pZCIsIC4uLn0=

Questo è particolarmente utile per le funzionalità che richiedono l'autenticazione Vertex AI, come le funzionalità OCR.

Puoi anche specificare la posizione di Google Cloud per le richieste dell'API Vertex AI:

# Google Cloud region for Vertex AI
GOOGLE_LOC=us-central1

# Alternative region for Gemini Image Generation (defaults to global)
GOOGLE_CLOUD_LOCATION=global

Poiché il recupero dell'elenco dei modelli non è ancora supportato, dovresti impostare i modelli che desideri utilizzare nel file .env.

Per tua comodità, questi sono i modelli più recenti al 18/5/24 che possono essere utilizzati con la Generative Language API:

GOOGLE_MODELS=gemini-1.5-flash-preview-0514,gemini-1.5-pro-preview-0514,gemini-1.0-pro-vision-001,gemini-1.0-pro-002,gemini-1.0-pro-001,gemini-pro-vision,gemini-1.0-pro

version: '3.4'

services:
  api:
    volumes:
      - type: bind
        source: ./api/data/auth.json
        target: /app/api/data/auth.json

Impostazioni di sicurezza di Google

Per impostare le impostazioni di sicurezza sia per Vertex AI che per Generative Language API, puoi configurare quanto segue nel tuo file .env:

GOOGLE_SAFETY_SEXUALLY_EXPLICIT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_HATE_SPEECH=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_HARASSMENT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_DANGEROUS_CONTENT=BLOCK_ONLY_HIGH
GOOGLE_SAFETY_CIVIC_INTEGRITY=BLOCK_ONLY_HIGH

Puoi anche escludere le impostazioni di sicurezza impostando quanto segue nel tuo file .env, che utilizzerà le impostazioni predefinite del provider. Questo può essere utile se riscontri problemi con specifiche impostazioni di sicurezza.

GOOGLE_EXCLUDE_SAFETY_SETTINGS=true

NOTA: Per impostazione predefinita non hai accesso all'impostazione BLOCK_NONE. Per utilizzare questa impostazione limitata HarmBlockThreshold, dovrai:

• (a) Ottieni l'accesso tramite una allowlist attraverso il tuo team account Google
• (b) Passa il tuo tipo di account alla fatturazione mensile seguendo queste istruzioni: https://cloud.google.com/billing/docs/how-to/invoiced-billing

Note:

• L'endpoint Google supporta tutte le Shared Endpoint Settings tramite il file di configurazione librechat.yaml, incluse streamRate, headers, titleModel, titleMethod, titlePrompt, titlePromptTemplate e titleEndpoint.