Skip to main content

Eventos do servidor Qwen-Audio-TTS

Referência de eventos do servidor Qwen-Audio-TTS: início da tarefa, síntese de frases, conclusão, falha e solicitações correspondentes.

Fluxo de eventos

  1. Envie run-task para iniciar e configurar a tarefa e aguarde task-started.
  2. Após receber task-started, envie texto por continue-task enquanto recebe eventos result-generated e o áudio sintetizado.
  3. Após enviar todo o texto, envie finish-task e continue recebendo os resultados e o áudio restantes até chegar task-finished. Uma tarefa com falha retorna task-failed.
result-generated retorna metadados da frase. O áudio é transmitido separadamente por quadros binários no WebSocket ou por uma Audio Track no AOQ. Para conexão, autenticação e transporte de áudio, consulte a API WebSocket ou o acesso AOQ.

task-started

Indica que a tarefa foi iniciada com sucesso e o cliente pode começar a enviar texto para síntese.
Aguarde task-started antes de enviar continue-task. run-task apenas inicia e configura a tarefa. Envie o texto a sintetizar por continue-task.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: task-started.
payloadobject
Objeto vazio.
Solicitação:
{
  "header": {
    "action": "run-task",
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "qwen-audio-3.1-tts-flash",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanhuan_v3.1",
      "format": "mp3",
      "sample_rate": 22050
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "task_uuid": "573f4010c82040ad90d2a15e7d8afdbd",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

result-generated

Retorna metadados da frase, incluindo início da frase, marcadores de blocos de áudio e fim da frase.
sentence-end indica a conclusão da síntese de uma frase, não da tarefa inteira. A tarefa termina com task-finished. O áudio é retornado por quadros binários WebSocket ou por uma Audio Track AOQ.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: result-generated.
payloadobject
outputobject
Informações de saída.
sentenceobject
indexinteger
Índice da frase, começando em 0.
wordsarray
Array de carimbos de data/hora no nível da palavra.
textstring
Conteúdo textual da palavra.
begin_indexinteger
Índice do caractere inicial da palavra na frase. Começa em 0.
end_indexinteger
Índice do caractere final da palavra na frase. Começa em 1.
begin_timeinteger
Tempo inicial do áudio correspondente à palavra, em milissegundos.
end_timeinteger
Tempo final do áudio correspondente à palavra, em milissegundos.
typestring
Tipo de subevento. Valores válidos:
  • sentence-begin: Início da frase. Retorna o texto a ser sintetizado.
  • sentence-synthesis: Marca um quadro de áudio. Um quadro de áudio é transmitido pelo canal binário WebSocket imediatamente após cada evento.
  • sentence-end: Fim da frase. Retorna o conteúdo textual e os dados de uso (usage).
original_textstring
Texto da frase conforme segmentado para síntese.
usageobject
Uso para cobrança, retornado no evento sentence-end.
  • usage contém o uso acumulado da tarefa atual. Não some os valores de usage dos eventos. Após a conclusão, use o total acumulado final em task-finished.
  • qwen-audio-3.1-tts-flash: cobrado pelos tokens de entrada e saída, informados em input_tokens e output_tokens, respectivamente. O uso total é informado em total_tokens.
  • qwen-audio-3.1-tts-plus: cobrado por caractere (characters). Também retorna os campos de estatísticas de tokens listados acima.
  • qwen-audio-3.0-tts-plus e qwen-audio-3.0-tts-flash: cobrados por caractere (characters).
input_tokensinteger
Número de tokens de entrada desta solicitação.
output_tokensinteger
Número de tokens de saída desta solicitação.
total_tokensinteger
Soma dos tokens de entrada e saída.
charactersinteger
Número acumulado de caracteres faturados.
Os exemplos a seguir definem word_timestamp_enabled=true ao iniciar a tarefa.
  • sentence-begin
  • sentence-synthesis
  • sentence-end
Solicitação:
{
  "header": {
    "action": "continue-task",
    "task_id": "51bcc1f0-b65f-484a-8f5f-5f22b2a90607",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "Welcome to the speech synthesis service."
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "51bcc1f0-b65f-484a-8f5f-5f22b2a90607",
    "event": "result-generated",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": [
          {
            "text": "Welcome",
            "begin_index": 0,
            "end_index": 1,
            "begin_time": 80,
            "end_time": 400
          },
          {
            "text": " to",
            "begin_index": 1,
            "end_index": 2,
            "begin_time": 400,
            "end_time": 640
          },
          {
            "text": " the",
            "begin_index": 2,
            "end_index": 3,
            "begin_time": 640,
            "end_time": 720
          },
          {
            "text": " speech",
            "begin_index": 3,
            "end_index": 4,
            "begin_time": 720,
            "end_time": 1040
          },
          {
            "text": " synthesis",
            "begin_index": 4,
            "end_index": 5,
            "begin_time": 1120,
            "end_time": 1600
          }
        ]
      },
      "type": "sentence-begin",
      "original_text": "Welcome to the speech synthesis service.",
      "normalized_text": "Welcome to the speech synthesis service."
    }
  }
}

task-finished

O servidor retorna um evento task-finished ao concluir a tarefa. Nesse momento, o cliente pode fechar a conexão WebSocket ou reutilizá-la para iniciar uma nova tarefa.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: task-finished.
payloadobject
usageobject
Os campos são os mesmos de usage em result-generated.
Solicitação:
{
  "header": {
    "action": "finish-task",
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Resposta:
{
  "header": {
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "event": "task-finished",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {},
    "usage": {
      "input_tokens": 7,
      "output_tokens": 30,
      "total_tokens": 37,
      "characters": 40
    }
  }
}

task-failed

O servidor retorna um evento task-failed quando a tarefa falha. Ao receber esse evento, o cliente deve fechar a conexão WebSocket e tratar o erro.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: task-failed.
error_codestring
Código de erro.
error_messagestring
Mensagem de erro detalhada.
Este exemplo usa um formato de áudio não suportado. Após iniciar a tarefa e enviar o texto, o servidor retorna um erro. O código e a mensagem dependem da causa da falha.
Solicitação:
{
  "header": {
    "action": "run-task",
    "task_id": "7b091c3c-4b35-4c54-9b22-250749ce1b74",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "qwen-audio-3.1-tts-flash",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanhuan_v3.1",
      "format": "invalid-format",
      "sample_rate": 22050
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "7b091c3c-4b35-4c54-9b22-250749ce1b74",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "Request format is invalid!"
  },
  "payload": {}
}