Objektstruktur von Azure OpenAI

Die Integration des Azure OpenAI Service in Ihre Anwendung ermöglicht es Ihnen, nahtlos mehrere Bereitstellungen und regionale Modelle zu nutzen, die von Azure OpenAI gehostet werden. Dieser Abschnitt beschreibt, wie Sie den Azure OpenAI endpoint für Ihre Anforderungen konfigurieren.

Für eine detaillierte Anleitung zur Einrichtung von Azure OpenAI-Konfigurationen, klicken Sie hier

Beispielkonfiguration

endpoints:
  azureOpenAI:
    titleModel: "gpt-4-turbo"
    groups:
      - group: "my-westus" # arbitrary name
        apiKey: "${WESTUS_API_KEY}"
        instanceName: "actual-instance-name" # name of the resource group or instance
        version: "2023-12-01-preview"
        # baseURL: https://prod.example.com
        # additionalHeaders:
        #   X-Custom-Header: value
        models:
          gpt-4-vision-preview:
            deploymentName: gpt-4-vision-preview
            version: "2024-02-15-preview"
          gpt-3.5-turbo:
            deploymentName: gpt-35-turbo
          gpt-3.5-turbo-1106:
            deploymentName: gpt-35-turbo-1106
          gpt-4:
            deploymentName: gpt-4
          gpt-4-1106-preview:
            deploymentName: gpt-4-1106-preview
      - group: "my-eastus"
        apiKey: "${EASTUS_API_KEY}"
        instanceName: "actual-eastus-instance-name"
        deploymentName: gpt-4-turbo
        version: "2024-02-15-preview"
        baseURL: "https://gateway.ai.cloudflare.com/v1/cloudflareId/azure/azure-openai/${INSTANCE_NAME}/${DEPLOYMENT_NAME}" # uses env variables
        additionalHeaders:
          X-Custom-Header: value
        models:
          gpt-4-turbo: true

Hinweis: Der Azure OpenAI endpoint unterstützt alle Shared Endpoint Settings, einschließlich streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate und titleEndpoint.

assistants

Schlüssel:

Key	Type	Description	Example
assistants	Boolean	Aktiviert oder deaktiviert Assistants für den Azure OpenAI endpoint. Wenn auf `true` gesetzt, werden die mit diesem endpoint verknüpften Assistants aktiviert.	Choose one, either the official OpenAI API or Azure OpenAI API for assistants, not both.

Standard: Nicht angegeben

Beispiel:

assistants: true

groups

Schlüssel:

Key	Type	Description	Example
groups	Array	Konfiguration für Modellgruppen nach geografischem Standort oder Zweck. Jedes Element im `groups`-Array konfiguriert eine Reihe von Modellen unter einer bestimmten Gruppierung, oft nach geografischer Region oder spezifischer Konfiguration.

Standard: Nicht angegeben

Hinweis: Siehe Beispiel oben.

Struktur des Gruppenobjekts

Jedes Element unter groups ist Teil einer Liste von Datensätzen, die jeweils die folgenden Felder enthalten:

group

Schlüssel:

Key	Type	Description	Example
group	String	Bezeichner für eine Gruppe von Modellen.

Erforderlich: ja

Beispiel:

"group": "my-westus"

apiKey

Schlüssel:

Key	Type	Description	Example
apiKey	String	Der API-Schlüssel für den Zugriff auf den Azure OpenAI Service.	It's highly recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Erforderlich: ja

Beispiel:

apiKey: "${WESTUS_API_KEY}"

instanceName

Schlüssel:

Key	Type	Description	Example
instanceName	String	Name der Azure-Instanz. Unterstützt beide Domain-Formate: `.openai.azure.com` (veraltet) und `.cognitiveservices.azure.com` (neu). Sie können entweder die vollständige Domain (z. B. `my-instance.cognitiveservices.azure.com`) oder nur den Instanznamen (z. B. `my-instance`) zur Abwärtskompatibilität mit dem alten `.openai.azure.com`-Format angeben.	It's recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Erforderlich: ja

Beispiel:

# Using just the instance name (legacy format applied)
instanceName: "my-westus"
# OR using the full domain (new format)
instanceName: "my-westus.cognitiveservices.azure.com"

version

Schlüssel:

Key	Type	Description	Example
version	String	API-Version.	It's recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Standard: Nicht angegeben

Beispiel:

version: "2023-12-01-preview"

baseURL

Schlüssel:

Key	Type	Description	Example
baseURL	String	Die Basis-URL für den Azure OpenAI Service.	It's recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Standard: Nicht angegeben

Beispiel:

baseURL: "https://prod.example.com"

additionalHeaders

Schlüssel:

Key	Type	Description	Example
additionalHeaders	Dictionary	Zusätzliche Header für API-Anfragen. Alle Header-Werte müssen Strings sein.	It's recommended to use a custom env. variable reference for the values of field, as shown in the example. `api-key` header value is sent on every request.

Standard: Nicht angegeben

Beispiel:

additionalHeaders:
  X-Custom-Header: ${YOUR_SECRET_CUSTOM_VARIABLE}

serverless

Schlüssel:

Key	Type	Description	Example
serverless	Boolean	Gibt die Verwendung eines serverlosen Inference-Endpunkts für Azure OpenAI Chat-Completions an. Wenn auf `true` gesetzt, wird festgelegt, dass die Gruppe für die Verwendung von serverlosen Inference-Endpunkten als Azure "Models as a Service"-Modell konfiguriert ist.	More info [here](./azure_openai.md#serverless-inference-endpoints)

Standard: Nicht angegeben

Beispiel:

serverless: true

addParams

Schlüssel:

Key	Type	Description	Example
addParams	Object/Dictionary	Fügt Anfragen zusätzliche Parameter hinzu. Nützlich für die Angabe API-spezifischer Optionen.

Standard: Nicht angegeben

Beispiel:

addParams:
  safe_prompt: true

dropParams

Schlüssel:

Key	Type	Description	Example
dropParams	Array/List of Strings	Entfernt [default parameters](#default-parameters) aus Anfragen. Schließt angegebene [default parameters](#default-parameters) aus.	For a list of default parameters sent with every request, see the ["Default Parameters"](#default-parameters) Section below.

Standard: Nicht angegeben

Beispiel:

dropParams: ["stop", "user", "frequency_penalty", "presence_penalty"]

models

Schlüssel:

Key	Type	Description	Example
models		Konfiguration für einzelne Modelle innerhalb einer Gruppe. Konfiguriert Einstellungen für jedes Modell, einschließlich Bereitstellungsname und Version.	Model configurations can adopt the group's deployment name and/or version when configured as a boolean (set to `true`) or an object for detailed settings of either of those fields.

Standard: Nicht angegeben

Beispiel:

models:
  gpt-4-vision-preview: 
    deploymentName: "arbitrary-deployment-name"
    version: "2024-02-15-preview"