Estructura de objeto de Azure OpenAI

Integrar Azure OpenAI Service con su aplicación le permite utilizar sin problemas múltiples implementaciones y modelos de región alojados por Azure OpenAI. Esta sección detalla cómo configurar el endpoint de Azure OpenAI para sus necesidades.

Para obtener una guía detallada sobre cómo configurar las configuraciones de Azure OpenAI, haz clic aquí

Ejemplo de configuración

endpoints:
  azureOpenAI:
    titleModel: "gpt-4-turbo"
    groups:
      - group: "my-westus" # arbitrary name
        apiKey: "${WESTUS_API_KEY}"
        instanceName: "actual-instance-name" # name of the resource group or instance
        version: "2023-12-01-preview"
        # baseURL: https://prod.example.com
        # additionalHeaders:
        #   X-Custom-Header: value
        models:
          gpt-4-vision-preview:
            deploymentName: gpt-4-vision-preview
            version: "2024-02-15-preview"
          gpt-3.5-turbo:
            deploymentName: gpt-35-turbo
          gpt-3.5-turbo-1106:
            deploymentName: gpt-35-turbo-1106
          gpt-4:
            deploymentName: gpt-4
          gpt-4-1106-preview:
            deploymentName: gpt-4-1106-preview
      - group: "my-eastus"
        apiKey: "${EASTUS_API_KEY}"
        instanceName: "actual-eastus-instance-name"
        deploymentName: gpt-4-turbo
        version: "2024-02-15-preview"
        baseURL: "https://gateway.ai.cloudflare.com/v1/cloudflareId/azure/azure-openai/${INSTANCE_NAME}/${DEPLOYMENT_NAME}" # uses env variables
        additionalHeaders:
          X-Custom-Header: value
        models:
          gpt-4-turbo: true

Nota: El endpoint de Azure OpenAI admite todos los Shared Endpoint Settings, incluidos streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate y titleEndpoint.

assistants

Clave:

Key	Type	Description	Example
assistants	Boolean	Habilita o deshabilita los assistants para el endpoint de Azure OpenAI. Cuando se establece en `true`, activa los assistants asociados con este endpoint.	Choose one, either the official OpenAI API or Azure OpenAI API for assistants, not both.

Predeterminado: No especificado

Ejemplo:

assistants: true

groups

Clave:

Key	Type	Description	Example
groups	Array	Configuración para grupos de modelos por ubicación geográfica o propósito. Cada elemento en la matriz `groups` configura un conjunto de modelos bajo una agrupación determinada, a menudo por región geográfica o configuración distinta.

Predeterminado: No especificado

Nota: Ver ejemplo arriba.

Estructura del objeto Group

Cada elemento bajo groups es parte de una lista de registros, cada uno con los siguientes campos:

group

Clave:

Key	Type	Description	Example
group	String	Identificador para un grupo de modelos.

Requerido: sí

Ejemplo:

"group": "my-westus"

apiKey

Clave:

Key	Type	Description	Example
apiKey	String	La clave de API para acceder al servicio Azure OpenAI.	It's highly recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Requerido: sí

Ejemplo:

apiKey: "${WESTUS_API_KEY}"

instanceName

Clave:

Key	Type	Description	Example
instanceName	String	Nombre de la instancia de Azure. Admite ambos formatos de dominio: `.openai.azure.com` (heredado) y `.cognitiveservices.azure.com` (nuevo). Puede especificar el dominio completo (p. ej., `my-instance.cognitiveservices.azure.com`) o solo el nombre de la instancia (p. ej., `my-instance`) para mantener la compatibilidad con el formato heredado `.openai.azure.com`.	It's recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Requerido: sí

Ejemplo:

# Using just the instance name (legacy format applied)
instanceName: "my-westus"
# OR using the full domain (new format)
instanceName: "my-westus.cognitiveservices.azure.com"

version

Clave:

Key	Type	Description	Example
version	String	Versión de la API.	It's recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Predeterminado: No especificado

Ejemplo:

version: "2023-12-01-preview"

baseURL

Clave:

Key	Type	Description	Example
baseURL	String	La URL base para el Azure OpenAI Service.	It's recommended to use a custom env. variable reference for this field, i.e. `${YOUR_VARIABLE}`

Predeterminado: No especificado

Ejemplo:

baseURL: "https://prod.example.com"

additionalHeaders

Clave:

Key	Type	Description	Example
additionalHeaders	Dictionary	Encabezados adicionales para solicitudes de API. Todos los valores de los encabezados deben ser cadenas de texto.	It's recommended to use a custom env. variable reference for the values of field, as shown in the example. `api-key` header value is sent on every request.

Predeterminado: No especificado

Ejemplo:

additionalHeaders:
  X-Custom-Header: ${YOUR_SECRET_CUSTOM_VARIABLE}

serverless

Clave:

Key	Type	Description	Example
serverless	Boolean	Indica el uso de un endpoint de inferencia serverless para chat completions de Azure OpenAI. Cuando se establece en `true`, especifica que el grupo está configurado para utilizar endpoints de inferencia serverless como un modelo "Models as a Service" de Azure.	More info [here](./azure_openai.md#serverless-inference-endpoints)

Predeterminado: No especificado

Ejemplo:

serverless: true

addParams

Clave:

Key	Type	Description	Example
addParams	Object/Dictionary	Añade parámetros adicionales a las solicitudes. Útil para especificar opciones específicas de la API.

Predeterminado: No especificado

Ejemplo:

addParams:
  safe_prompt: true

dropParams

Clave:

Key	Type	Description	Example
dropParams	Array/List of Strings	Elimina los [default parameters](#default-parameters) de las solicitudes. Excluye los [default parameters](#default-parameters) especificados.	For a list of default parameters sent with every request, see the ["Default Parameters"](#default-parameters) Section below.

Predeterminado: No especificado

Ejemplo:

dropParams: ["stop", "user", "frequency_penalty", "presence_penalty"]

models

Clave:

Key	Type	Description	Example
models		Configuración para modelos individuales dentro de un grupo. Configura los ajustes para cada modelo, incluyendo el nombre de despliegue y la versión.	Model configurations can adopt the group's deployment name and/or version when configured as a boolean (set to `true`) or an object for detailed settings of either of those fields.

Predeterminado: No especificado

Ejemplo:

models:
  gpt-4-vision-preview: 
    deploymentName: "arbitrary-deployment-name"
    version: "2024-02-15-preview"