Skip to main content

SDK de Python de Qwen-Audio-ASR-Streaming

Este tema describe los parámetros e interfaces del SDK de Python para el modelo de reconocimiento de voz en tiempo real Qwen-Audio-ASR-Streaming.

Requisitos previos

Inicio rápido

El recurso principal (client.audio.asr) proporciona interfaces tanto para llamadas sin streaming como de transmisión bidireccional. Elija el método de llamada que se adapte a sus necesidades:
  • Llamada sin streaming (recognize_file): Reconoce un archivo local. El SDK envía automáticamente el audio en fragmentos y lleva la tarea hasta su finalización. Adecuado para procesar audio pregrabado.
  • Llamada de transmisión bidireccional (sesión recognize): Reconoce un flujo de audio directamente y genera resultados en tiempo real. El flujo de audio puede provenir de un dispositivo externo, como un micrófono, o leerse desde un archivo local. Adecuado para escenarios que requieren retroalimentación inmediata.
  • Llamada sin transmisión
  • Llamada de transmisión bidireccional
Envíe una única tarea de reconocimiento de voz en tiempo real y obtenga el resultado del reconocimiento de forma síncrona pasando un archivo local.Llame al método recognize_file del recurso principal (client.audio.asr) para vincular los parámetros de solicitud y pasar la ruta del archivo local, y luego itere los eventos del servidor para obtener los resultados del reconocimiento.
import os
import dashscope

# Las API Key de las regiones de Singapur y Pekín son diferentes. Obtenga su API Key: https://www.alibabacloud.com/help/model-studio/get-api-key
# Si no se ha configurado la variable de entorno, sustituya la siguiente línea por su API Key de Model Studio: api_key="sk-xxx"
client = dashscope.Client(
    api_key=os.environ.get('DASHSCOPE_API_KEY'),
    # La siguiente configuración corresponde a la región de Singapur (ap-southeast-1). Sustituya "{WorkspaceId}" por el ID real de su espacio de trabajo. La configuración varía según la región.
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)

# Reconozca un archivo de audio local: recognize_file envía automáticamente el audio en fragmentos y lleva la tarea hasta su finalización
for event in client.audio.asr.recognize_file(
        '{YOUR_AUDIO_FILE}',
        model='qwen-audio-3.1-asr-flash-streaming',
        format='wav',
        sample_rate=16000):
    payload = event.get('payload') or {}
    sentence = (payload.get('output') or {}).get('sentence') or {}
    if sentence.get('text') and not sentence.get('heartbeat'):
        print('Recognition result:', sentence['text'])

Parámetros de solicitud

Establezca los parámetros de solicitud a través de los métodos recognize/recognize_file del recurso principal (client.audio.asr): model, format, sample_rate y vocabulary_id son parámetros con nombre, y los parámetros restantes (como language_hints) se pasan a través del diccionario parameters.
ParámetroTipoObligatorioDescripción
modelstrSíEl nombre del modelo.
sample_rateintSíLa frecuencia de muestreo en Hz. Se admite cualquier frecuencia de muestreo.
formatstrSíEl formato de audio.Valores válidos:
  • pcm
  • wav
  • mp3
  • opus
  • speex
  • aac
  • amr
opus/speex: Debe usar encapsulación Ogg.wav: Debe usar codificación PCM.amr: Solo se admite el tipo AMR-NB.
keep_dialectboolNoAdmitido solo por qwen-audio-3.1-asr-flash-streaming. El valor predeterminado es false, que transcribe dialectos al chino estándar. Establezca en true para conservar las expresiones dialectales. Pase como argumento de palabra clave con el mismo nombre. Consulte Eventos del cliente para obtener más detalles.
vad_modelstrNoAdmitido solo por qwen-audio-3.1-asr-flash-streaming. Establezca en near_meeting_16k (campo cercano) o far_field_meeting_16k (campo lejano, predeterminado). Pase como argumento de palabra clave con el mismo nombre. Consulte Eventos del cliente para obtener más detalles.
vocabulary_idstrNoEl ID de una lista de palabras calientes precompilada.Genere este ID con antelación llamando a la API de creación de lista de palabras clave. Pase el ID durante el reconocimiento para usar las palabras clave de la lista.Adecuado para escenarios donde el vocabulario es conocido y relativamente estable, y donde necesita reutilizar la misma lista de palabras en distintas solicitudes.Para obtener detalles sobre el uso, consulte Palabras clave precompiladas.
vocabularydictNoPalabras clave instantáneas.Se pasan como pares clave-valor, donde la clave es el texto de la palabra clave (string) y el valor es el peso de la palabra clave (integer). No es necesario crear una lista de palabras clave con antelación. El peso oscila entre [1, 5] o se establece en 50: un valor en [1, 5] hace que el modelo tenga más probabilidades de generar la palabra a medida que aumenta el valor; un valor de 50 designa una súper palabra clave, lo que mejora enormemente la recuperación, pero el número de súper palabras clave no puede exceder 50.Adecuado para la optimización temporal de palabras clave a nivel de sesión.Cuando las palabras clave instantáneas y precompiladas se configuran juntas, el sistema fusiona ambos conjuntos. Si el conjunto fusionado contiene más de 2000 palabras clave, el sistema selecciona aleatoriamente 2000 para usar. Para detalles de uso, consulte Palabras clave instantáneas.Ejemplo:
import os
import dashscope

client = dashscope.Client(api_key=os.getenv("DASHSCOPE_API_KEY"))

# Las palabras clave instantáneas se pasan a través de parameters
vocab = {"John Smith": 5, "Jane Doe": 5}
recognition = client.audio.asr.recognize(
    model='qwen-audio-3.0-asr-flash-streaming',
    format='wav',
    sample_rate=16000,
    parameters={"vocabulary": vocab},
)
max_sentence_silenceintNoEl umbral de silencio del VAD para la segmentación, en ms. Cuando el silencio posterior a un segmento de voz supera este umbral, el sistema determina que la oración ha finalizado.Valor predeterminado: 800.Valores válidos: [200, 6000].
multi_threshold_mode_enabledboolNoIndica si se habilita el modo de umbral múltiple. Cuando está habilitado, evita que la segmentación VAD produzca segmentos demasiado largos.Predeterminado: False.
punctuation_prediction_enabledboolNoSi se agregan automáticamente signos de puntuación a los resultados del reconocimiento:
  • True (predeterminado): Sí. Este valor no se puede cambiar.
heartbeatboolNoSi se habilitan los paquetes de latido.Predeterminado: False.
  • True: Mantiene activa la conexión con el servidor mientras se envía audio silencioso continuamente.
  • False (predeterminado): Incluso cuando se envía audio silencioso de forma continua, la conexión expira y se cierra después de un período de tiempo.
El audio silencioso se refiere al contenido en un archivo de audio o flujo de datos que no contiene señal de sonido. Puede generar audio silencioso de varias maneras, como utilizando software de edición de audio como Audacity o Adobe Audition, o utilizando una herramienta de línea de comandos como FFmpeg.Este campo requiere la versión 2.0.1 del SDK o posterior.
language_hintslist[str]NoEl idioma del audio a reconocer. No hay valor predeterminado; si no se establece, el modelo detecta el idioma automáticamente.Puede configurar hasta 4 valores. Si configura más, solo los primeros 4 surten efecto.
  • zh: Chino
  • en: Inglés
  • ja: Japonés
  • ko: Coreano
  • vi: Vietnamita
  • th: Tailandés
  • id: Indonesio
  • ms: Malayo
  • tl: Filipino
  • hi: Hindi
  • ar: Árabe
  • fr: Francés
  • de: Alemán
  • es: Español
  • pt: Portugués
  • ru: Ruso
  • it: Italiano
  • nl: Neerlandés
  • sv: Sueco
  • da: Danés
  • fi: Finés
  • no: Noruego
  • el: Griego
  • pl: Polaco
  • cs: Checo
  • hu: Húngaro
  • ro: Rumano
  • bg: Búlgaro
  • hr: Croata
  • sk: Eslovaco
speech_noise_thresholdfloatNoEl umbral para distinguir el habla del ruido, utilizado para ajustar la sensibilidad de la Detección de Actividad de Voz (VAD).Valores válidos: [-1.0, 1.0].Descripciones de valores:
  • Cuanto más cerca esté el valor de -1: El umbral de ruido disminuye, por lo que es más probable que el ruido se reconozca como habla, lo que puede causar que se transcriba más ruido.
  • Cuanto más cerca esté el valor de +1: El umbral de ruido aumenta, por lo que es más probable que el habla se juzgue erróneamente como ruido, lo que puede causar que se filtre parte del habla.
Este es un parámetro de configuración avanzada. Ajustarlo puede afectar significativamente los resultados del reconocimiento. Recomendaciones:
  • Pruebe y verifique exhaustivamente los resultados antes de ajustar.
  • Ajuste en incrementos pequeños según el entorno de audio real (se recomienda un paso de 0.1).
special_word_filterstrNoEspecifica las palabras sensibles que se deben procesar durante el reconocimiento de voz y permite configurar diferentes métodos de procesamiento para cada una. Para más detalles, consulte Filtrado de palabras sensibles.
Los siguientes parámetros se pasan a través del argumento de palabra clave input de los métodos recognize/recognize_file.
ParámetroTipoObligatorioDescripción
inputdictNoEl objeto de entrada utilizado para pasar el contexto de la conversación. La mejora de contexto aumenta la precisión del reconocimiento de términos específicos del dominio. Para su uso, consulte Inicio rápido.El diccionario debe incluir una clave context cuyo valor sea una lista de mensajes (list[dict]). Cada mensaje contiene los siguientes campos:
  • role (str, obligatorio): El rol del mensaje. user representa los resultados de reconocimiento de turnos anteriores del usuario o una lista de palabras específica del dominio. assistant representa las respuestas del modelo de lenguaje grande de turnos anteriores.
  • content (list[dict], obligatorio): La lista del contenido del mensaje. Cada elemento contiene type (str; establecido en input_text cuando el rol es user, y text cuando el rol es assistant) y text (str, el contenido de texto).
Los mensajes de contexto de los tipos input_text y text están limitados a 5 mensajes cada uno. Cuando se supera el límite, solo se conservan los 5 mensajes más recientes. La longitud total del texto por turno de contexto no puede exceder los 400 caracteres, y cualquier exceso se trunca desde el final.
Cuando pasa contexto, los mensajes en context deben seguir un orden específico: los mensajes de contexto deben organizarse por turno de conversación y, dentro de cada turno, el mensaje user (tipo input_text) debe preceder a su mensaje assistant correspondiente (tipo text).
Este campo requiere la versión 2.0.1 del SDK o posterior.
# Construya la entrada a pasar
input_context = {
    "context": [
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "Hello there"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "type": "text",
                    "text": "Hello, I am Qwen. How can I help you?"
                }
            ]
        }
    ]
}

# Pásela a través del parámetro input al crear la sesión de reconocimiento
recognition = client.audio.asr.recognize(
    model='qwen-audio-3.1-asr-flash-streaming',
    format='wav',
    sample_rate=16000,
    input=input_context,
)

Interfaces clave

Recurso principal (client.audio.asr)

El reconocimiento de voz en tiempo real está montado en el recurso client.audio.asr: recognize crea una sesión de reconocimiento por transmisión bidireccional (Recognition), y recognize_file reconoce un archivo local en una sola llamada.
Método miembroFirma del métodoDescripción
recognize
def recognize(self,
              *,
              model: str,
              format: str = "pcm",
              sample_rate: int = 16000,
              vocabulary_id: str = None,
              disfluency_removal_enabled: bool = None,
              diarization_enabled: bool = None,
              parameters: Dict = None,
              input: Dict = None,
              phrase_id: str = None,
              ...) -> Recognition
Crea una sesión de reconocimiento por transmisión bidireccional. Al entrar en el contexto with se llama automáticamente a start para establecer la conexión y enviar la tarea.El envío de audio y el consumo de eventos deben ejecutarse de forma concurrente (utilícelo junto con send_audio_frame, events()/results() y stop).
recognize_file
def recognize_file(self,
                   path: str,
                   *,
                   model: str,
                   format: str = "pcm",
                   sample_rate: int = 16000,
                   ...) -> Iterator[Dict]
Una llamada sin streaming basada en un archivo local: envía automáticamente el audio en fragmentos y lleva la tarea hasta su finalización, devolviendo los eventos del servidor uno a uno. Este método requiere permiso de lectura en el archivo.
start
def start(self)
Inicia el reconocimiento de voz: establece la conexión, envía la tarea y espera el evento task-started. Se llama automáticamente al entrar en el contexto with; el audio solo se puede enviar después de un inicio correcto.
send_audio_frame
def send_audio_frame(self, buffer: bytes)
Envía audio. Mantenga cada cuadro de audio enviado ni demasiado grande ni demasiado pequeño: aproximadamente 100 ms por cuadro, entre 1 KB y 16 KB.Los resultados del reconocimiento se obtienen a través de la iteración de eventos (events()/results()).
stop
def stop(self)
Detiene el reconocimiento de voz: solo notifica al servidor que la entrada ha finalizado. El hilo receptor debe seguir consumiendo events() hasta el evento task-finished.
events / results
def events(self) -> Iterator[Dict]
def results(self) -> Iterator[RecognitionResult]
Itera los eventos del servidor: events() devuelve eventos dict sin procesar (el texto reconocido está en payload.output.sentence); results() devuelve solo los fotogramas de resultados de reconocimiento y retorna objetos resultado del reconocimiento (RecognitionResult) tipados (se filtran los fotogramas de latido).
close
def close(self)
Cierra la sesión de reconocimiento. Se llama automáticamente al salir del contexto with.
request_id / first_package_delay / last_package_delay / last_response
rec.request_id
rec.first_package_delay
rec.last_package_delay
rec.last_response
Obtiene el request_id, el retraso del primer paquete (latencia desde el envío del primer paquete de audio hasta la recepción del primer resultado de reconocimiento) y el retraso del último paquete (tiempo desde el envío del comando stop hasta la recepción del último resultado de reconocimiento). Úselos después de que la tarea se complete; last_response es el último mensaje leído con éxito, que puede usar para recuperar un error de tarea fallida. Siguen siendo legibles después de cerrar la sesión.

Iteración de eventos (events()/results())

Durante una llamada de transmisión bidireccional, el servidor devuelve información clave del proceso y datos al cliente a través de eventos. En el hilo receptor, itere los events() de la sesión (eventos dict sin procesar) o results() (fotogramas tipados de resultados de reconocimiento) para manejar la información y los datos devueltos por el servidor.
# Iterar eventos sin procesar: el texto reconocido está en payload.output.sentence
def receive_events(rec):
    for event in rec.events():
        payload = event.get('payload') or {}
        sentence = (payload.get('output') or {}).get('sentence') or {}
        if sentence.get('text') and not sentence.get('heartbeat'):
            print('Recognized text:', sentence['text'])


# O iterar solo los fotogramas de resultados de reconocimiento (devuelve RecognitionResult, se filtran los fotogramas de latido)
def receive_results(rec):
    for result in rec.results():
        sentence = result.get_sentence()
        if sentence and 'text' in sentence:
            print('Recognized text:', sentence['text'])
Método de evento/iteraciónSalidaValor de retornoDescripción
event["header"]["event"] == "task-started"
evento task-startedNoneLeído internamente por start() y guardado en last_response cuando retorna; events() no lo devuelve de nuevo.
def events(self) -> Iterator[Dict]
event: evento dict del servidorIteradorDevuelve eventos cada vez que el servidor tiene una respuesta. Los resultados del reconocimiento están en payload.output.sentence y pueden ser eventos de latido o de texto vacío, que la aplicación puede ignorar según sea necesario. Mantenga un único hilo receptor consumiéndolo; no cree varios lectores concurrentes.
def results(self) -> Iterator[RecognitionResult]
result: resultado del reconocimiento (RecognitionResult)IteradorDevuelve solo los fotogramas de resultados de reconocimiento (se filtran los fotogramas de latido); la iteración finaliza después de que se devuelven todos los resultados del reconocimiento.
try:
    ...
except DashScopeError as e:
    print(e.code, e.message, e.request_id)
excepción DashScopeErrorNoneSe lanza en el hilo de envío/recepción cuando ocurre un error; captúrela con try/except.
event["header"]["event"] == "task-finished"
evento task-finishedNoneLo devuelve events() después de que el servidor completa todo el reconocimiento; la iteración finaliza entonces. Debe seguir leyendo este evento después de llamar a stop().

Respuesta

Resultado del reconocimiento (RecognitionResult)

RecognitionResult representa un único fotograma de resultado de reconocimiento devuelto por la iteración results() de la sesión (utilizable tanto en llamadas de transmisión bidireccional como en llamadas sin streaming; events() devuelve eventos dict sin procesar, por lo que debe usar results() si necesita esta vista tipada).
Método miembroFirma del métodoDescripción
get_sentence
def get_sentence(self) -> Union[Dict[str, Any], List[Any]]
Obtiene la oración reconocida actual y su información de marcas de tiempo. Este método devuelve Dict[str, Any] (información de una sola oración).Para más detalles, consulte Oración (Sentence).
request_id
result.request_id
El request_id del evento actual.
is_sentence_end
def is_sentence_end(self) -> bool
Determina si la oración actual ha terminado. Este método verifica si el campo end_time en la información de oración única devuelta por get_sentence() es None: un end_time distinto de None indica que la oración ha terminado.

Información de la oración (Sentence)

Los miembros de la clase Sentence son los siguientes:
ParámetroTipoDescripción
begin_timeintTiempo de inicio de la oración, en ms.
end_timeintTiempo de fin de la oración, en ms.
textstrTexto reconocido.
wordsUna lista de Información de marcas de tiempo a nivel de palabra (Word)Información de marcas de tiempo a nivel de palabra.

Información de marcas de tiempo a nivel de palabra (Word)

Los miembros de la clase Word son los siguientes:
ParámetroTipoDescripción
begin_timeintTiempo de inicio de la palabra, en ms.
end_timeintTiempo de fin de la palabra, en ms.
textstrLa palabra.
punctuationstrLa puntuación.

Códigos de error

Si encuentra errores, consulte Códigos de error para solucionar problemas. Si el problema persiste, únase a la comunidad de desarrolladores que aparece en el repositorio de muestras del SDK de voz para informar su problema y proporcionar el ID de solicitud para una investigación más detallada.

FAQ

Funcionalidades

P: ¿Cómo mantengo activa la conexión durante largos períodos de silencio?

Establezca el parámetro de solicitud heartbeat en true y continúe enviando audio silencioso al servidor. El audio silencioso es contenido en un archivo o flujo de audio que no contiene ninguna señal de sonido. Puede generar audio silencioso de varias maneras, por ejemplo, utilizando software de edición de audio como Audacity o Adobe Audition, o herramientas de línea de comandos como FFmpeg.

P: ¿Cómo convierto el audio a un formato compatible?

Utilice FFmpeg. Para más usos, consulte el sitio web oficial de FFmpeg.
# Basic conversion command (all-purpose template)
# -i, purpose: input file path, example value: audio.wav
# -c:a, purpose: audio codec, example values: aac, libmp3lame, pcm_s16le
# -b:a, purpose: bitrate (audio quality control), example values: 192k, 320k
# -ar, purpose: sample rate, example values: 44100 (CD), 48000, 16000
# -ac, purpose: number of channels, example values: 1 (mono), 2 (stereo)
# -y, purpose: overwrite an existing file (no value needed)
ffmpeg -i input_audio.ext -c:a codec_name -b:a bitrate -ar sample_rate -ac channels output.ext

# For example: WAV to MP3 (keep the original quality)
ffmpeg -i input.wav -c:a libmp3lame -q:a 0 output.mp3
# For example: MP3 to WAV (16-bit PCM standard format)
ffmpeg -i input.mp3 -c:a pcm_s16le -ar 44100 -ac 2 output.wav
# For example: M4A to AAC (extract or convert Apple audio)
ffmpeg -i input.m4a -c:a copy output.aac  # Extract directly without re-encoding
ffmpeg -i input.m4a -c:a aac -b:a 256k output.aac  # Re-encode to improve quality
# For example: FLAC lossless to Opus (high compression)
ffmpeg -i input.flac -c:a libopus -b:a 128k -vbr on output.opus

P: ¿Cómo reconozco un archivo local (grabación)?

Hay dos formas de reconocer un archivo local:
  • Pasar la ruta del archivo local directamente: De esta manera se devuelve el resultado completo solo después de que finaliza el reconocimiento, por lo que no es adecuado para escenarios que necesitan retroalimentación inmediata. Consulte Llamada sin streaming y llame al método recognize_file para pasar la ruta del archivo y reconocer la grabación directamente.
  • Convertir el archivo local a un flujo binario para el reconocimiento: De esta manera se reconoce el archivo mientras se transmiten los resultados, por lo que es adecuado para escenarios que necesitan retroalimentación inmediata. Consulte Llamada de transmisión bidireccional y envíe el flujo binario al servidor para su reconocimiento a través del método send_audio_frame de la sesión de reconocimiento.

Solución de problemas

P: ¿Por qué no se puede reconocer el habla (sin resultado de reconocimiento)?

  1. Verifique que el formato de audio (format) y la tasa de muestreo (sampleRate/sample_rate) en los parámetros de solicitud sean correctos y cumplan con las restricciones de parámetros. Los errores comunes incluyen:
    • El archivo de audio tiene extensión .wav pero en realidad está en formato MP3, mientras que el parámetro de solicitud format está establecido en mp3 (configuración de parámetro incorrecta).
    • La tasa de muestreo del audio es de 3600 Hz, pero el parámetro de solicitud sampleRate/sample_rate está establecido en 48000 (configuración de parámetro incorrecta).
    Utilice la herramienta ffprobe para obtener el contenedor, códec, tasa de muestreo, canales y otra información del audio:
    ffprobe -v error -show_entries format=format_name -show_entries stream=codec_name,sample_rate,channels -of default=noprint_wrappers=1 input.xxx
    
  2. Si none de las verificaciones anteriores revela un problema, agregue palabras clave personalizadas para mejorar el reconocimiento de términos específicos.