Este tema describe los parámetros e interfaces del SDK de Python para el modelo de reconocimiento de voz en tiempo real Qwen-Audio-3.1-ASR-Flash-Message.
Requisitos previos
- El servicio está activado y Obtenga una clave API. Para protegerse contra riesgos de seguridad causados por fugas de código, Configure la clave API como una variable de entorno, en lugar de codificarla directamente en su código.
- Instale el SDK de DashScope más reciente.
Inicio rápido
El recurso principal (client.audio.asr) proporciona interfaces tanto para llamadas sin streaming como de transmisión bidireccional. Elija el método de llamada que se adapte a sus necesidades:
- Llamada sin streaming (
recognize_file): Reconoce un archivo local. El SDK envía automáticamente el audio en bloques y lleva la tarea hasta su finalización. Adecuado para procesar audio pregrabado. - Llamada de transmisión bidireccional (sesión
recognize): Reconoce un flujo de audio directamente y genera resultados en tiempo real. El flujo de audio puede provenir de un dispositivo externo, como un micrófono, o leerse desde un archivo local. Adecuado para escenarios que requieren retroalimentación inmediata.
- Llamada sin transmisión
- Llamada de transmisión bidireccional
recognize_file del recurso principal (client.audio.asr) para vincular los parámetros de solicitud y pasar la ruta del archivo local, y recorra en iteración los eventos del servidor para obtener los resultados del reconocimiento.Parámetros de solicitud
Establezca los parámetros de solicitud a través de los métodos recognize/recognize_file del recurso principal (client.audio.asr): model, format, sample_rate y vocabulary_id son parámetros con nombre, y el resto de parámetros (como language_hints) se pasan a través del diccionario parameters.
| Parámetro | Tipo | Obligatorio | Descripción |
|---|---|---|---|
model | str | Sí | El nombre del modelo. Establézcalo en qwen-audio-3.1-asr-flash-message. |
sample_rate | int | Sí | La frecuencia de muestreo, en Hz. Solo se admite16000 Hz. |
format | str | Sí | El formato de audio. Valores válidos:
|
disfluency_removal_enabled | bool | No | Indica si se deben filtrar las muletillas y pulir la salida. El valor predeterminado es false. Establézcalo en true para habilitar esta función. Páselo como un argumento de palabra clave con el mismo nombre. |
intermediate_result_enabled | bool | No | Indica si se deben devolver resultados intermedios de streaming. El valor predeterminado es false. Establézcalo en true para devolver resultados intermedios de streaming. Páselo como un argumento de palabra clave con el mismo nombre. |
keep_dialect | bool | No | El valor predeterminado es false, que transcribe dialectos al chino estándar. Establézcalo en true para conservar las expresiones dialectales. Páselo como un argumento de palabra clave con el mismo nombre. Consulte Eventos del cliente para obtener más detalles.Este parámetro solo se aplica a los resultados finales (sentence_end=true) y no es compatible con los resultados intermedios (sentence_end=false). |
vad_model | str | No | Establézcalo en near_meeting_16k (campo cercano) o far_field_meeting_16k (campo lejano, predeterminado). Páselo como un argumento de palabra clave con el mismo nombre. Consulte Eventos del cliente para obtener más detalles. |
vocabulary_id | str | No | El ID de una lista de palabras clave precompilada. Genere este ID con antelación llamando a la API de creación de lista de palabras clave. Pase el ID durante el reconocimiento para usar las palabras clave de la lista.Adecuado para escenarios donde el vocabulario es conocido y relativamente estable, y donde necesita reutilizar la misma lista de palabras en distintas solicitudes.Para obtener detalles sobre el uso, consulte Palabras clave precompiladas. |
vocabulary | dict | No | Palabras clave instantáneas. Se pasan como pares clave-valor, donde la clave es el texto de la palabra clave (string) y el valor es el peso de la palabra clave (integer). No es necesario crear una lista de palabras clave con antelación. El peso oscila entre [1, 5] o se establece en 50: un valor en [1, 5] hace que el modelo tenga más probabilidades de generar la palabra a medida que aumenta el valor; un valor de 50 designa una súper palabra clave, lo que mejora enormemente la recuperación, pero el número de súper palabras clave no puede exceder 50.Adecuado para la optimización temporal de palabras clave a nivel de sesión.Cuando las palabras clave instantáneas y precompiladas se configuran juntas, el sistema fusiona ambos conjuntos. Si el conjunto fusionado contiene más de 2000 palabras clave, el sistema selecciona aleatoriamente 2000 para usar. Para detalles de uso, consulte Palabras clave instantáneas.Ejemplo: |
language_hints | list[str] | No | El idioma del audio a reconocer. No hay valor predeterminado; si no se establece, el modelo detecta el idioma automáticamente.Puede configurar hasta 4 valores. Si configura más, solo los primeros 4 surten efecto.
Haga clic para ver los códigos de idioma admitidos
sentence_end=true) y no es compatible con los resultados intermedios (sentence_end=false). |
max_sentence_silence | int | No | El umbral de silencio VAD para la segmentación, en ms. Cuando el silencio después de un segmento de voz supera este umbral, el sistema determina que la oración ha terminado. Valor predeterminado: 800.Valores válidos: [200, 6000]. |
heartbeat | bool | No | Si se deben habilitar los paquetes de latido. Predeterminado: False.
|
speech_noise_threshold | float | No | El umbral para distinguir el habla del ruido, utilizado para ajustar la sensibilidad de la Detección de Actividad de Voz (VAD). Valores válidos: [-1.0, 1.0].Descripciones de valores:
|
input de los métodos recognize/recognize_file.
| Parámetro | Tipo | Obligatorio | Descripción |
|---|---|---|---|
input | dict | No | El objeto de entrada utilizado para pasar el contexto de la conversación. La mejora de contexto aumenta la precisión del reconocimiento de términos específicos del dominio. Para obtener información sobre su uso, consulte Inicio rápido. El diccionario debe incluir una clavecontext cuyo valor sea una lista de mensajes (list[dict]). Cada mensaje contiene los siguientes campos:
Este campo se introdujo en el SDK 1.25.23 y ya está incluido en la versión 2.0.1 y posteriores. |
Interfaces clave
Recurso principal (client.audio.asr)
La capacidad de reconocimiento de voz en tiempo real está montada en el recurso client.audio.asr: recognize crea una sesión de reconocimiento bidireccional en streaming (Recognition) y recognize_file realiza un reconocimiento único sobre un archivo local.
| Método miembro | Firma del método | Descripción |
|---|---|---|
| recognize | Crea una sesión de reconocimiento bidireccional en streaming. Al entrar en el contexto with se llama automáticamente a start para establecer la conexión y enviar la tarea.El envío de audio y el consumo de eventos deben ejecutarse de forma concurrente (utilícelo junto con send_audio_frame, events()/results() y stop). | |
| recognize_file | Una llamada sin streaming basada en un archivo local: envía automáticamente el audio en bloques, lleva la tarea hasta su finalización y devuelve los eventos del servidor uno a uno. Este método requiere permiso de lectura en el archivo. | |
| start | Inicia el reconocimiento de voz: establece la conexión, envía la tarea y espera el evento task-started. Se llama automáticamente al entrar en el contexto with, y el audio solo se puede enviar después de que tenga éxito. | |
| send_audio_frame | Envía audio. Mantenga cada cuadro de audio enviado ni demasiado grande ni demasiado pequeño: aproximadamente 100 ms por cuadro, entre 1 KB y 16 KB.Los resultados del reconocimiento se obtienen a través de la iteración de eventos (events()/results()). | |
| stop | Detiene el reconocimiento de voz: solo notifica al servidor que la entrada ha terminado; el hilo receptor debe seguir consumiendo events() hasta el evento task-finished. | |
| events / results | Recorre en iteración los eventos del servidor: events() devuelve eventos dict sin procesar (el texto reconocido está en payload.output.sentence); results() devuelve solo los fotogramas de resultados de reconocimiento y retorna objetos tipados Resultado del reconocimiento (RecognitionResult) (los fotogramas de latido se filtran). | |
| close | Cierra la sesión de reconocimiento. Se llama automáticamente al salir del contexto with. | |
| request_id / first_package_delay / last_package_delay / last_response | Obtiene el request_id, el retraso del primer paquete (la latencia desde el envío del primer paquete de audio hasta la recepción del primer resultado de reconocimiento) y el retraso del último paquete (el tiempo desde el envío del comando stop hasta la llegada del último resultado de reconocimiento). Úselos después de que la tarea se complete. last_response es el último mensaje sin procesar leído correctamente, que puede usar para recuperar un error de tarea fallida. Siguen siendo legibles después de cerrar la sesión. |
Actualizar contexto de conversación
Llame a update_context para actualizar el contexto de la conversación mientras se ejecuta una tarea de reconocimiento. El contexto se utiliza para ayudar al reconocimiento del audio subsiguiente. Este método requiere el SDK de Python de DashScope 2.0.1 o posterior.
- Cuándo llamar: Después de entrar en el contexto
with(que llama automáticamente astart) para iniciar el reconocimiento por streaming, y antes de llamar astop. - Parámetro:
contextes un diccionario que contiene el objetopayload.inputde un eventocontinue-task, incluyendo el campocontext. No agregue un contenedorpayloadoinputadicional. - Modelos compatibles y restricciones de parámetros: Consulte continue-task.
recognition existente e iniciada.
Iteración de eventos (events()/results())
Durante una Llamada de streaming bidireccional, el servidor devuelve información clave del proceso y datos al cliente a través de eventos. En el hilo receptor, recorra en iteración los events() de la sesión (eventos dict sin procesar) o results() (fotogramas de resultados de reconocimiento tipados) para manejar la información y los datos devueltos por el servidor.
| Método de evento/iteración | Salida | Valor de retorno | Descripción |
|---|---|---|---|
evento task-started | None | Lo lee internamente start() y lo almacena en last_response cuando retorna; events() no lo vuelve a devolver. | |
event: un dict de evento del servidor | Iterador | Devuelve eventos cuando el servidor responde. Los resultados del reconocimiento están en payload.output.sentence y pueden ser eventos de latido o de texto vacío, que las aplicaciones pueden ignorar según sea necesario. Consúmalo con un único hilo receptor; no cree varios lectores concurrentes. | |
result: Resultado del reconocimiento (RecognitionResult) | Iterador | Devuelve solo los fotogramas de resultados de reconocimiento (los fotogramas de latido se filtran) y la iteración termina después de que se devuelvan todos los resultados del reconocimiento. | |
excepción DashScopeError | None | Se lanza en el hilo de envío/recepción cuando ocurre un error; captúrelo con try/except. | |
evento task-finished | None | Lo devuelve events() después de que el servidor completa todo el reconocimiento, tras lo cual la iteración termina; aún debe leer este evento después de llamar a stop(). |
Respuesta
Resultado del reconocimiento (RecognitionResult)
RecognitionResult representa un único fotograma de resultado de reconocimiento devuelto por la iteración results() de la sesión (utilizable tanto en Llamadas de streaming bidireccional como en Llamadas sin streaming; events() devuelve eventos dict sin procesar; use results() si necesita esta vista tipada).
| Método miembro | Firma del método | Descripción |
|---|---|---|
get_sentence | Obtiene la oración reconocida actual y su información de marca de tiempo. Este método devuelve Dict[str, Any] (una sola oración). Para más detalles, consulte Oración (Sentence). | |
request_id | El request_id del evento actual. | |
is_sentence_end | Determina si la oración actual ha terminado. Este método verifica si el campo end_time en el dict de oración única devuelto por get_sentence() es None: un valor end_time distinto de None indica que la oración ha terminado. |
Información de la oración (Sentence)
Los miembros de la clase Sentence son los siguientes:
| Parámetro | Tipo | Descripción |
|---|---|---|
begin_time | int | Tiempo de inicio de la oración, en ms. |
end_time | int | Tiempo de fin de la oración, en ms. |
text | str | Texto reconocido. |
words | Una lista de Información de marcas de tiempo a nivel de palabra (Word) | Información de marcas de tiempo a nivel de palabra. |
Información de marcas de tiempo a nivel de palabra (Word)
Los miembros de la clase Word son los siguientes:
| Parámetro | Tipo | Descripción |
|---|---|---|
begin_time | int | Tiempo de inicio de la palabra, en ms. |
end_time | int | Tiempo de fin de la palabra, en ms. |
text | str | La palabra. |
punctuation | str | La puntuación. |
Códigos de error
Si encuentra errores, consulte Códigos de error para solucionar problemas.
Si el problema persiste, únase a la comunidad de desarrolladores que aparece en el repositorio de muestras del SDK de voz para informar su problema y proporcionar el ID de solicitud para una investigación más detallada.
FAQ
Funcionalidades
P: ¿Cómo mantengo activa la conexión durante largos períodos de silencio?
Establezca el parámetro de solicitud heartbeat en true y continúe enviando audio silencioso al servidor.
El audio silencioso es contenido en un archivo o flujo de audio que no contiene ninguna señal de sonido. Puede generar audio silencioso de varias maneras, por ejemplo, utilizando software de edición de audio como Audacity o Adobe Audition, o herramientas de línea de comandos como FFmpeg.
P: ¿Cómo convierto el audio a un formato compatible?
Utilice FFmpeg. Para más usos, consulte el sitio web oficial de FFmpeg.
P: ¿Cómo reconozco un archivo local (grabación)?
Hay dos formas de reconocer un archivo local:
-
Pasar la ruta del archivo local directamente: De esta manera se devuelve el resultado completo solo después de que finaliza el reconocimiento, por lo que no es adecuado para escenarios que necesitan retroalimentación inmediata.
Consulte Llamada sin streaming y llame al método
recognize_filedel recurso principal (client.audio.asr) para reconocer la grabación directamente. -
Convertir el archivo local a un flujo binario para el reconocimiento: De esta manera se reconoce el archivo mientras se transmiten los resultados, por lo que es adecuado para escenarios que necesitan retroalimentación inmediata.
Consulte Llamada de streaming bidireccional y envíe el flujo binario al servidor para su reconocimiento a través del método
send_audio_framede la sesión de reconocimiento.
Solución de problemas
P: ¿Por qué no se puede reconocer el habla (sin resultado de reconocimiento)?
-
Verifique que el formato de audio (
format) y la tasa de muestreo (sampleRate/sample_rate) en los parámetros de solicitud sean correctos y cumplan con las restricciones de parámetros. Los errores comunes incluyen:- El archivo de audio tiene una extensión .wav pero en realidad está en formato MP3, mientras que el parámetro de solicitud
formatestá establecido en wav (configuración de parámetro incorrecta). - La tasa de muestreo del audio es de 3600 Hz, pero el parámetro de solicitud
sampleRate/sample_rateestá establecido en 48000 (configuración de parámetro incorrecta).
- El archivo de audio tiene una extensión .wav pero en realidad está en formato MP3, mientras que el parámetro de solicitud
- Si none de las verificaciones anteriores revela un problema, agregue palabras clave personalizadas para mejorar el reconocimiento de términos específicos.