Qwen-Omni-Realtime Conexión mediante AOQ

​

Ámbito de aplicación

• Use la API Key y el ID del espacio de trabajo correspondientes a la región y al espacio de trabajo seleccionados.
• Dominio de Pekín: {WorkspaceId}.cn-beijing.maas.aliyuncs.com; dominio de Singapur: {WorkspaceId}.ap-southeast-1.maas.aliyuncs.com.
• Almacene la API Key únicamente en el servidor. No la incluya en una aplicación móvil ni en una aplicación de navegador.
• Al capturar audio con un micrófono o video con una cámara, solicite los permisos necesarios según los requisitos de la plataforma.
• Descargue el SDK de su plataforma desde Descargas del SDK.

​

Autenticación y credenciales de conexión

export ENDPOINT="{WorkspaceId}.cn-beijing.maas.aliyuncs.com"
curl -X POST \
  "https://${ENDPOINT}/api/v1/webrtc/realtime?model=qwen3.8-omni-flash-realtime" \
  -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  -H "Content-Type: application/json" \
  -H "x-dashscope-rtc-transport: moq" \
  -d '{}'

​

Campos de la solicitud

​

Ejemplo de respuesta

{
    "sid": "1d06b55683db49bba67a407902f62d02:1782706970:69aecdc5...",
    "aoqTokenForClient": "ecc1a46015d5496ca4ff7a48281eb739",
    "clientRelayEndpoints": [{"endpoint": "121.199.XX.XX", "port": 8443, "route_index": 0}],
    "clientRelayCertFingerprint": "sha256/99843495...",
    "sidExpiresInSecs": 7200,
    "extraInfo": {"workspaceIdHash": "2021b6f98cea4cff"}
}

​

Campos de la respuesta

​

Ejemplo de conexión del SDK de cliente AOQ

let resp = try JSONDecoder().decode(AllocateResponse.self, from: responseData)

let config = AoqConnectConfig()
config.token = resp.aoqTokenForClient
config.sid = resp.sid
config.certFingerprint = resp.clientRelayCertFingerprint
config.relayEndpoints = resp.clientRelayEndpoints.enumerated().map { index, item in
    let ep = AoqRelayEndpoint()
    // Fall back to the array index when route_index is missing
    ep.routeIndex = item.routeIndex ?? index
    ep.endpoint = item.endpoint
    ep.port = item.port
    return ep
}
config.workspaceIdHash = resp.extraInfo?.workspaceIdHash ?? ""

let audioTrack = AoqTrackParam()
audioTrack.trackType = .audio
let dataTrack = AoqTrackParam()
dataTrack.trackType = .data
config.publishTracks = [audioTrack, dataTrack]
config.subscribeTracks = [audioTrack, dataTrack]

engine.connect(config)

​

Flujo de trabajo

1. Obtenga las credenciales de conexión mediante AppServer.
2. Cree el motor del SDK y registre las funciones de callback.
3. Configure las pistas de medios y Data, y desactive la transmisión ascendente de medios.
4. Establezca la conexión de AOQ y espere a que se conecte.
5. Configure el modelo de acuerdo con su protocolo. Tras recibir la confirmación, active los medios ascendentes necesarios.
6. Desconéctese y libere los recursos cuando termine la interacción.

​

1. Obtener credenciales de conexión

​

2. Inicializar el SDK y registrar devoluciones de llamada

let createConfig = AoqCreateConfig()
createConfig.workDir = workDir
createConfig.enableDumpAudio = false
engine = AoqClientEngine.createEngine(createConfig, delegate: self)

​

3. Configurar el SDK

​

Seleccionar direcciones de medios

​

Direcciones de medios para este modelo

​

Configurar parámetros de medios y pistas

engine.enableSendMediaStream(.audio, enable: false)
engine.enableSendMediaStream(.video, enable: false)

​

4. Establecer la conexión

engine.connect(connectConfig)

​

5. Intercambiar eventos del modelo y medios

​

Enviar y analizar eventos del modelo

// Build eventJSON according to the target model client event protocol.
let msg = AoqDataMsg()
msg.data = eventJSON.data(using: .utf8)!
engine.send(msg)

​

Habilitar medios después de que el modelo esté listo

engine.enableSendMediaStream(.audio, enable: true)

​

6. Finalizar la interacción y liberar recursos

engine.disconnect()
AoqClientEngine.destroy()

​

Enviar y recibir eventos mediante el canal Data

• Use el campo type de los eventos para identificar los eventos del modelo y maneje los identificadores asociados según la referencia de eventos de este modelo.
• Las operaciones que requiere el modelo, como la confirmación de inicialización, el envío de la entrada, la cancelación de respuestas y la finalización de tareas, se manejan en el canal Data de acuerdo con el protocolo correspondiente; constituyen la semántica de interacción del modelo y son independientes de la desconexión del transporte.
• Antes de terminar, complete el envío de la entrada y la recepción de resultados según la documentación de eventos de este modelo; si se requiere la reproducción completa, libere la conexión solo después de procesar todo el audio en la cola local.
• Los datos de audio y video se transmiten mediante las pistas de medios. Al consultar la documentación de eventos del modelo, la encapsulación de medios y los modos de interacción disponibles siguen los métodos de conexión descritos aquí y no adoptan directamente el método de transmisión de medios de WebSocket.

​

Funciones avanzadas

​

Ejemplo de configuración de sesión

{
  "type": "session.update",
  "session": {
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Tina",
    "turn_detection": {
      "type": "server_vad"
    }
  }
}

​

Descarga del SDK AOQ

​

Referencias de eventos

• Eventos del cliente
• Eventos del servidor

​

Tutoriales por escenario

• Uso de AOQ con qwen3.8-omni-flash-realtime para llamadas en tiempo real
• Crear conversaciones de voz push-to-talk con qwen3.8-omni-flash-realtime mediante AOQ