Utilice Qwen-Omni mediante HTTP para comprender texto, imágenes, audio y video. Elija Qwen3.8-Omni-Flash para análisis de texto y Qwen3.5-Omni para salida de voz.
Introducción
Elija un ejemplo según el tipo de salida: Qwen3.8-Omni-Flash para análisis de texto o Qwen3.5-Omni para generación de voz.
- Salida de texto (Qwen3.8-Omni-Flash)
- Salida de audio (Qwen3.5-Omni)
DASHSCOPE_BASE_URL en la base_url de su espacio de trabajo desde los endpoints de Chat Completions. Configure AUDIO_URL con una URL de audio WAV accesible. Utilice una clave de API de la región seleccionada.En una terminal de macOS o Linux, instale la dependencia y configure las siguientes variables. Reemplace el endpoint y la URL de audio con sus valores; configure DASHSCOPE_API_KEY siguiendo las instrucciones vinculadas anteriormente.Selección de modelo
Para comprensión de audio/video, resúmenes de reuniones, subtítulos y respuestas de texto, utilice Qwen3.8-Omni-Flash. Admite pensamiento, llamada de herramientas y búsqueda web; consulte los ejemplos de invocación. Para respuestas de voz generadas, utilice Qwen3.5-Omni a continuación.
Qwen3.8-Omni-Flash
Regiones admitidas: China (Pekín), Singapur, China (Hong Kong), Japón (Tokio), Alemania (Fráncfort) y EE. UU. (Virginia). Utilice una clave de API de la región seleccionada.
qwen3.8-omni-flash está diseñado para la comprensión de audio y video, resúmenes de reuniones y análisis de contenido.
| Modelo | Entrada | Salida | APIs |
|---|---|---|---|
qwen3.8-omni-flash | Texto, imágenes, audio, video | Text | Chat Completions, Responses |
- La longitud del contexto es de 1M tokens.
- La entrada de audio admite 113 idiomas y dialectos, igual que Qwen3.5-Omni. Consulte los idiomas de entrada de audio de Qwen3.5-Omni en Selección de modelos para obtener la lista completa.
- Admite Function Calling y búsqueda web. La única herramienta integrada de Responses admitida actualmente es
web_search.
Qwen3.5-Omni: salida de audio e interacción multimodal
Regiones admitidas: China (Pekín) y Singapur. Utilice una clave de API de la región seleccionada.
-
Serie Qwen3.5-Omni: Admite comprensión de audio/video, respuestas de voz y control de audio.
- Límites de entrada: Hasta 3 horas de audio o 1 hora de video
- Control de audio: Admite el ajuste de volumen, velocidad de habla y emoción mediante instrucciones
- Capacidad visual: Coincide con el nivel de Qwen3.5. Comprende imágenes, voz, efectos de sonido y otras entradas multimodales
- Entrada multimodal combinada: Admite cualquier combinación de texto con imágenes, audio y video en una sola solicitud
- Clonación de voz: Admite voces personalizadas (solo qwen3.5-omni-plus y qwen3.5-omni-flash; no se admiten versiones snapshot). Para más detalles, consulte Clonación de voz
Otros modelos y especificaciones
-
Serie Qwen3-Omni-Flash:
- Límites de entrada: Entrada de audio y video de hasta 150 segundos
- Modo de pensamiento: Use
enable_thinkingpara activar o desactivar el pensamiento - Modalidad de entrada: Admite únicamente una combinación de texto con una sola modalidad adicional (imagen, audio o video).
| Serie | Descripción de audio y video | Pensamiento profundo | Búsqueda web | Idiomas de audio de entrada | Idiomas de audio de salida | Voces admitidas |
| Qwen3.5-OmniModelo omnimodal con salida de audio | Fuerte | No compatible | Compatible | 113
74 idiomas y 39 dialectos Idiomas: Chino, inglés, alemán, francés, italiano, checo, indonesio, tailandés, coreano, polaco, japonés, vietnamita, finés, portugués, español, neerlandés, ruso, malayo, catalán, sueco, turco, ucraniano, rumano, eslovaco, danés, islandés, noruego (bokmål), macedonio, griego, húngaro, gallego, filipino, croata, bosnio, esloveno, búlgaro, kazajo, bielorruso, letón, estonio, azerbaiyano, uigur, suajili, hindi, esperanto, kirguís, tayiko, cebuano, afrikáans, árabe, lituano, javanés, bengalí, persa, hebreo, panyabí, guyaratí, mongol, asturiano, canarés, maratí, interlingua, malayalam, maltés, nynorsk noruego, telugu, urdu, georgiano, vasco, tamil, odia, serbio, maoríDialectos: Mandarín del noreste, dialecto de Guizhou, cantonés, dialecto de Henan, cantonés de Hong Kong, shanghainés, dialecto de Shaanxi, dialecto de Tianjin, hokkien taiwanés, dialecto de Yunnan, dialecto de Anhui, dialecto de Fujian, dialecto de Gansu, dialecto de Guangdong, dialecto de Hubei, dialecto de Hunan, dialecto de Jiangxi, dialecto de Shandong, dialecto de Shanxi, dialecto de Sichuan, dialecto de Guangxi, dialecto de Hainan, dialecto de Chongqing, dialecto de Changsha, dialecto de Hangzhou, dialecto de Hefei, dialecto de Yinchuan, dialecto de Zhengzhou, dialecto de Shenyang, dialecto de Wenzhou, dialecto de Wuhan, dialecto de Kunming, dialecto de Taiyuan, dialecto de Nanchang, dialecto de Jinan, dialecto de Lanzhou, dialecto de Nanjing, hakka, min nan | 36
29 idiomas y 7 dialectos Idiomas:Chino, inglés, alemán, italiano, portugués, español, japonés, coreano, francés, ruso, tailandés, indonesio, árabe, vietnamita, turco, finés, polaco, hindi, neerlandés, checo, urdu, tagalo, sueco, danés, hebreo, islandés, malayo, noruego, persa Dialectos:Dialecto de Sichuan, dialecto de Pekín, dialecto de Tianjin, dialecto de Nanjing, dialecto de Shaanxi, cantonés, min del sur | 55 |
| Qwen3-Omni-FlashModelo de pensamiento híbrido | Más débil | Compatible | No compatible | 19
11 idiomas y 8 dialectos Idioma:Chino, inglés, alemán, francés, italiano, tailandés, coreano, japonés, ruso, español, portuguésDialectos:Dialecto de Sichuan, shanghainés, cantonés, min del sur, dialecto de Shaanxi, dialecto de Nanjing, dialecto de Tianjin, dialecto de Pekín | 19
11 idiomas y 8 dialectos Idioma:Chino, inglés, alemán, francés, italiano, tailandés, coreano, japonés, ruso, español, portuguésDialectos:Sichuanés, shanghainés, cantonés, hokkien, dialecto de Shaanxi, dialecto de Nanjing, dialecto de Tianjin, dialecto de Pekín | 17 a 49Varía según la versión |
Para nombres de modelos, ventanas de contexto, precios y versiones snapshot, consulte la consola de Model Studio. Para límites de tasa, consulte Limitación de tasa.
Rendimiento del modelo
Análisis de contenido de audio y video
Genere una descripción completa con marcas de tiempo de este video. | 00:00.000 – 00:02.500Una calle urbana empapada por la lluvia llena el encuadre panorámico. La fotografía de larga exposición crea estelas de luces rojas y azules de autos sobre el pavimento mojado. Un hombre solitario con una gabardina oscura hasta la rodilla y una camisa clara con corbata camina hacia la cámara por la acera derecha. Gotas de lluvia se adhieren a sus hombros y cabello. Cada paso produce un sonido sordo sobre el concreto húmedo. Un zumbido electrónico bajo y ominoso subraya los sonidos ambientales, mientras la lluvia constante crepita a su alrededor. Grafitis coloridos cubren la pared de ladrillos a su lado, y letreros de neón brillan a lo lejos: uno muestra claramente una escritura cursiva en rojo anaranjado que dice "Nice", mientras que otro letrero vertical muestra las letras "AT" en su parte inferior.......00:12.300 – 00:14.533La cámara se inclina hacia abajo. Dentro del haz de una linterna, una hoja individual amarillenta y envejecida yace en un charco poco profundo, con los bordes carbonizados y las esquinas enrolladas. Párrafos escritos con tinta cubren la mayor parte de su superficie, pero la humedad y las marcas de quemaduras hacen que el texto sea ilegible. El hombre se arrodilla, extendiendo sus dedos enguantados hacia el documento. Se forman ondas que se expanden hacia afuera cuando su mano se acerca. Las sirenas alcanzan su punto máximo y luego comienzan a desvanecerse ligeramente, mientras el zumbido ambiental permanece constante. La escena se congela justo antes de que se toque el papel tembloroso, terminando el clip.Solo se muestran marcas de tiempo parciales. |
Comprensión multidialectal
Describa las características vocales, el estado emocional y la letra completa de los cantantes en diferentes dialectos chinos. | Este audio presenta interpretaciones de rap de cantantes de diversas regiones de China, mostrando una rica diversidad dialectal. A continuación se presentan descripciones detalladas de los rasgos vocales, el estado emocional y la letra correspondiente de cada cantante:Dialecto de Hangzhou (Wu)Rasgos vocales:La voz del cantante masculino es suave y delicada, con la suavidad y calidez distintivas del dialecto Wu. Su entonación sube y baja suavemente, y su ritmo es ligero y rápido, creando un efecto narrativo relajado.Estado emocional:Relajado, cómodo y lleno de vida cotidiana. Describe el estilo de vida pausado de Hangzhou y los cambios urbanos, expresando afecto por su ciudad natal y reflexiones sobre el desarrollo moderno. En general, se siente acogedor y familiar.Letra:> ¡Dialecto de Hangzhou, escuchen! Nuestra cultura incluye la pronunciación local erhua.> Como flores floreciendo junto al Lago del Oeste, no hace falta encuesta cultural; lo entendemos mejor.> None de ustedes entienden. 'San bu da men', 'ge'r', 'lao'r', 'fen'r', 'ya'r'... ¿cómo se supone que alguien de fuera distinga todo esto?> ¡Vamos! El transporte es rápido, hay metro por todas partes. Lo comprobaremos.> Dando la bienvenida al Sudeste Asiático y Tailandia, viendo espectáculos de "Thirteen Ta". Orgullosos de nuestra ciudad, directos de personalidad.> ¿Así que solo viniste por la experiencia de "cruzar el puente" y, como el sabor es diferente, no vas a volver?Solo se muestran resultados parciales. |
Generación de subtítulos líricos
Transcriba la letra de la canción y proporcione marcas de tiempo para cada línea en este formato:[00:00:15,020 --> 00:00:28,085] : When you walk through a storm, hold your head up high.[00:00:28,085 --> 00:00:40,200] And don't be afraid of the dark. ...... | [00:00:12,680 --> 00:00:16,960] Un hilo felino se mece bajo la luz de la luna en los árboles.[00:00:18,400 --> 00:00:22,800] Los radiadores zumban éxitos de listas de 1998.[00:00:24.160 → 00:00:28.080] El tiempo separa las ondas de calor similares a la niebla.[00:00:28,920 --> 00:00:33,000] El neón de la pantalla brilla sobre el puente de mi nariz.......[00:03:16,720 --> 00:03:21,680] Nos acurrucamos en el anillo más suave del tronco del árbol.[00:03:22,400 --> 00:03:27,000] La respiración convierte el calor residual en miel.[00:03:28,160 --> 00:03:33,200] El sofá se hunde en forma de nube esponjosa.[00:03:34,000 --> 00:03:38,800] Cada poro se empapa de sol.[00:04:09,000 --> 00:04:10,020] (Fin)Solo se muestran resultados parciales. |
Programación de audio y video
Uso
Salida por secuencias
Los ejemplos de Qwen3.5-Omni y Qwen3-Omni-Flash a continuación requieren stream=True.
Responses: entrada de audio y video
Los siguientes ejemplos utilizan Qwen3.8-Omni-Flash con la API de Responses para procesar entradas de audio y video y generar respuestas de texto.
Reutilice la clave de API, DASHSCOPE_BASE_URL y AUDIO_URL del ejemplo de inicio rápido. Responses utiliza input, con la URL de audio en audio_url, en lugar de la estructura input_audio.data de Chat Completions. La entrada de audio y video solo se permite en mensajes de user.
VIDEO_URL en una URL de video accesible y reemplace input[0].content en el ejemplo de inicio rápido con:
"use_multichannel": True (Python) al objeto de contenido de audio anterior, junto con audio_url y format. El valor predeterminado es False, que procesa el audio como audio de un solo canal.
Para entrada de audio Base64, definiciones de campos y alcance de herramientas, consulte Crear una respuesta.
Configuración del modelo
Las siguientes recomendaciones de configuración se aplican a Qwen3.5-Omni. Ajuste los parámetros, prompts y duraciones de medios según su caso de uso. Para Qwen3.8-Omni-Flash, consulte Prompts recomendados.
- Comprensión de audio y video
- Comprensión de audio
| Caso de uso | Duración de video recomendada | Prompt recomendado | max_pixels recomendado |
| Revisión rápida, bajo costo | ≤60 minutos | Prompt simple de hasta 50 palabras | 230,400 |
| Extracción de contenido (segmentación de video largo) | ≤60 minutos | 921,600~2,073,600 | |
| Análisis estándar (etiquetado de video corto) | ≤4 minutos | Use el prompt estructurado a continuación
Prompt recomendado | 921,600~2,073,600 |
| Análisis detallado (múltiples hablantes/escenas complejas) | ≤2 minutos | 2,073,600 |
Prompts recomendados
Estos prompts se aplican a qwen3.8-omni-flash. Elija un prompt para su tarea y colóquelo en el campo text de un elemento type="text" dentro del arreglo content del mensaje de user. Incluya el audio o video a analizar en el mismo mensaje. Las instrucciones de formato de salida en los prompts guían el contenido generado.
Descripción audiovisual detallada: narrativa cronológica
Descripción audiovisual detallada: narrativa cronológica
Descripción audiovisual detallada: transcripciones separadas y texto en pantalla
Descripción audiovisual detallada: transcripciones separadas y texto en pantalla
Descripción audiovisual estructurada
Descripción audiovisual estructurada
Contenido audiovisual altamente dinámico
Contenido audiovisual altamente dinámico
Análisis audiovisual con múltiples hablantes
Análisis audiovisual con múltiples hablantes
Localización de eventos de audio
Localización de eventos de audio
[audio event label] en el prompt con el evento objetivo, como dog_barking. El resultado contiene el tipo de evento y los tiempos de inicio y fin en segundos.Entrada multimodal combinada
Qwen3.8-Omni-Flash y Qwen3.5-Omni admiten la combinación de texto, imágenes, audio y video en la misma solicitud. Los siguientes ejemplos utilizan Qwen3.8-Omni-Flash para analizar una imagen y audio, y generar una respuesta de texto. Para generar voz, utilice Qwen3.5-Omni. Consulte el ejemplo de salida de audio.
Entrada de modalidad única
Cada solicitud contiene texto y otra modalidad (video, audio o imagen). Los ejemplos utilizan Qwen3.8-Omni-Flash para devolver texto mediante Chat Completions.
- Entrada de video y texto
- Entrada de audio y texto
- Entrada de imagen y texto
- Archivo de video (admite audio en el video)
- Formato de lista de imágenes
Límites de entrada
Límites de entrada
-
Número de archivos:
- Qwen3.8-Omni-Flash: Hasta 64 archivos.
- Serie Qwen3.5-Omni: Hasta 512 archivos mediante URL públicas y hasta 250 archivos mediante codificación Base64.
- Serie Qwen3-Omni-Flash: Solo se permite un archivo.
-
Tamaño del archivo:
-
Uso de URL públicas:
- Series Qwen3.8-Omni-Flash y Qwen3.5-Omni: Hasta 2 GB
- Qwen3-Omni-Flash: Hasta 256 MB
- Uso de codificación Base64: La cadena Base64 codificada debe ser menor que 10 MB
-
Uso de URL públicas:
-
Límites de duración:
- Qwen3.8-Omni-Flash: 2 horas
- Serie Qwen3.5-Omni: 1 hora
- Qwen3-Omni-Flash: 150 segundos
- Formatos de archivo: MP4, AVI, MKV, MOV, FLV y WMV.
- La información visual y de audio en el archivo de video se facturan por separado.
Resolver errores de decodificación de video
Resolver errores de decodificación de video
Invalid data found when processing input, compruebe el archivo localmente y vuelva a codificarlo. Los siguientes comandos requieren FFmpeg con el codificador libx264.-
Compruebe si se puede decodificar todo el archivo.
-xerrordetiene el proceso si hay un error y-f null -descarta la salida sin crear un archivo. Si el comando termina normalmente y sin errores, el archivo pasa esta comprobación de decodificación. -
Vuelva a codificar el video en H.264 y el audio en AAC. Guarde el resultado en un archivo nuevo para conservar el original.
-
Compruebe de nuevo el archivo obtenido. Cuando pase la comprobación y su duración, imagen y sonido sean correctos, vuelva a cargarlo y repita la solicitud al modelo.
Audio multicanal
qwen3.8-omni-flash admite estéreo de dos canales y audio espacial FOA de cuatro canales (orden de canales WYZX). Estas entradas conservan la información espacial para la comprensión del audio.
use_multichannel tiene como valor predeterminado false, lo que analiza todo el audio como mono. Cuando es true y la entrada tiene dos canales (izquierdo y derecho) o cuatro canales (FOA, en orden WYZX), el modelo analiza la información de audio espacial.
En el ejemplo de inicio rápido de Chat Completions, configure AUDIO_URL con el audio WAV multicanal correspondiente y agregue el siguiente argumento a client.chat.completions.create(). En una solicitud HTTP, use_multichannel es un campo de nivel superior del cuerpo de la solicitud.
qwen3.8-omni-flash para la comprensión de audio espacial. Para audio FOA de cuatro canales, la llamada es idéntica; simplemente establezca AUDIO_URL en un WAV de cuatro canales en orden de canales WYZX.
soundfile:Búsqueda web
Qwen3.8-Omni-Flash admite la búsqueda web para recuperar información actualizada y generar respuestas de texto.
Qwen3.8-Omni-Flash utiliza la herramienta web_search a través de Responses. Qwen3.8-Omni-Flash y Qwen3.5-Omni utilizan la estrategia de búsqueda agent a través de Chat Completions. Para tarifas, consulte Facturación de búsqueda web.
Los siguientes ejemplos de Chat Completions utilizan Qwen3.8-Omni-Flash con enable_search=True y search_options={"search_strategy": "agent"} para habilitar la búsqueda web y reasoning_effort="none" para desactivar el pensamiento, y luego leen respuestas de texto en streaming.
Activar/desactivar el modo de pensamiento
Qwen3.8-Omni-Flash
El razonamiento está activado de forma predeterminada para qwen3.8-omni-flash, con reasoning_effort establecido por defecto en xhigh. El campo de solicitud de nivel superior de Chat Completions reasoning_effort acepta none, minimal, low, medium, high, xhigh y max. No configure reasoning_effort y thinking_budget simultáneamente: la solicitud devolverá un error.
Elija low, medium o xhigh para el esfuerzo de pensamiento. Por compatibilidad, minimal se asigna a low, high y max se asignan a xhigh, y none deshabilita el pensamiento.
Agregue el siguiente argumento a client.chat.completions.create() en el ejemplo de inicio rápido de Chat Completions. Pase reasoning_effort directamente como argumento del SDK.
Qwen3-Omni-Flash
Esta sección describe el pensamiento híbrido para Qwen3-Omni-Flash. Puede utilizar el parámetro enable_thinking para activar o desactivar el modo de pensamiento:
truefalse(predeterminado)
En el modo de pensamiento, no se admite la salida de audio.
Respuesta
Respuesta
Conversación multironda
Para conversaciones de múltiples turnos con Qwen3.8-Omni-Flash, preserve_thinking está activado de forma predeterminada. Coloque la respuesta anterior y el razonamiento en los campos content y reasoning_content del mensaje histórico del asistente, respectivamente, e incluya ese mensaje en messages para la siguiente solicitud. Cuando se proporciona y está activado, el razonamiento histórico cuenta para los tokens de entrada y la facturación. Para un ejemplo completo de múltiples turnos, consulte Pasar el proceso de razonamiento.
El siguiente ejemplo de múltiples turnos utiliza Qwen3.8-Omni-Flash con reasoning_effort="none" para desactivar el razonamiento. Pasa las respuestas de texto en los mensajes históricos del asistente y texto más una modalidad en cada mensaje de usuario. Para entradas combinadas, consulte Entrada multimodal combinada:
- Mensaje del asistente Los mensajes del asistente en el arreglo messages solo pueden contener datos de texto.
- Mensaje de usuario En este ejemplo, cada mensaje de usuario contiene texto y otra modalidad. En conversaciones de múltiples turnos, puede introducir diferentes modalidades en distintos mensajes de usuario.
Análisis de datos de audio de salida codificados en Base64
Los modelos Qwen-Omni generan audio como datos codificados en Base64 en streaming. Durante la generación, mantenga una variable de cadena y añada los datos codificados en Base64 de cada fragmento devuelto. Una vez completada la generación, decodifique en Base64 la cadena completa para obtener el archivo de audio. Alternativamente, decodifique y reproduzca cada fragmento en tiempo real.
Archivo local codificado en Base64 de entrada
Los siguientes ejemplos utilizan Qwen3.8-Omni-Flash para analizar archivos locales codificados en Base64 y devolver texto. Para audio y video, la cadena Base64 codificada debe ser menor que 10 MB. Este límite también se aplica a la entrada de imágenes para Qwen3.5-Omni y Qwen3-Omni-Flash.
- Imágenes
- Audio
- Video
Referencia de API
- Chat Completions: Parámetros de entrada y salida para los modelos en esta página.
- Responses: Parámetros de entrada y salida para Qwen3.8-Omni-Flash.
Facturación y límites de tasa
Qwen3.8-Omni-Flash admite el almacenamiento en caché implícito automático. qwen3.8-omni-flash admite el almacenamiento en caché de sesiones de Responses. Para la configuración, consulte Caché de sesión.
Reglas de facturación
Qwen-Omni se factura según los tokens consumidos en todas las modalidades (audio, imagen y video). Consulte los detalles de facturación en la consola.
Reglas de conversión de tokens para audio, imágenes y videos
Reglas de conversión de tokens para audio, imágenes y videos
- Audio
- Imágenes
- Video
-
Qwen3.8-Omni-Flash: Fórmula de audio de entrada:Total tokens = Audio duration (seconds) * 7. -
Qwen3.5-Omni series:- Fórmula de audio de entrada:
Total tokens = Audio duration (seconds) * 7 - Fórmula de audio de salida:
Total tokens = Audio duration (seconds) * 12.5
- Fórmula de audio de entrada:
-
Qwen3-Omni-Flash: Para el audio de entrada y salida,Total tokens = Audio duration (seconds) * 12.5