Skip to main content

Eventos do servidor CosyVoice

Referência de eventos do servidor CosyVoice: início da tarefa, síntese de frases, conclusão, falha e solicitações correspondentes.

Fluxo de eventos

  1. Envie run-task para iniciar e configurar a tarefa e aguarde task-started.
  2. Após receber task-started, envie texto por continue-task enquanto recebe eventos result-generated e o áudio sintetizado.
  3. Após enviar todo o texto, envie finish-task e continue recebendo os resultados e o áudio restantes até chegar task-finished. Uma tarefa com falha retorna task-failed.
result-generated retorna metadados da frase. O áudio é transmitido separadamente por quadros binários no WebSocket ou por uma Audio Track no AOQ. Para conexão, autenticação e transporte de áudio, consulte a API WebSocket ou o acesso AOQ.

task-started

Indica que a tarefa foi iniciada com sucesso e o cliente pode começar a enviar texto para síntese.
Aguarde task-started antes de enviar continue-task. run-task apenas inicia e configura a tarefa. Envie o texto a sintetizar por continue-task.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: task-started.
payloadobject
Objeto vazio.
Solicitação:
{
  "header": {
    "action": "run-task",
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "mp3",
      "sample_rate": 22050
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "task_uuid": "1dd2b10b644e45b798f58ef96405215e",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

result-generated

Retorna metadados da frase, incluindo início da frase, marcadores de blocos de áudio e fim da frase.
sentence-end indica a conclusão da síntese de uma frase, não da tarefa inteira. A tarefa termina com task-finished. O áudio é retornado por quadros binários WebSocket ou por uma Audio Track AOQ.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: result-generated.
payloadobject
outputobject
Informações de saída.
sentenceobject
indexinteger
Índice da frase, começando em 0.
wordsarray
Array de carimbos de data/hora no nível da palavra.
textstring
Conteúdo textual da palavra.
begin_indexinteger
Índice do caractere inicial da palavra na frase. Começa em 0.
end_indexinteger
Índice do caractere final da palavra na frase. Começa em 1.
begin_timeinteger
Tempo inicial do áudio correspondente à palavra, em milissegundos.
end_timeinteger
Tempo final do áudio correspondente à palavra, em milissegundos.
typestring
Tipo de subevento. Valores válidos:
  • sentence-begin: Início da frase. Retorna o texto a ser sintetizado.
  • sentence-synthesis: Marca um quadro de áudio. Um quadro de áudio é transmitido pelo canal binário WebSocket imediatamente após cada evento.
  • sentence-end: Fim da frase. Retorna o conteúdo textual e a contagem cumulativa de caracteres.
original_textstring
Texto da frase conforme segmentado para síntese.
usageobject
Informações de faturamento, retornadas no evento sentence-end.
usage contém o uso acumulado da tarefa atual. Não some os valores de usage dos eventos. Após a conclusão, use o total acumulado final em task-finished.
charactersinteger
Número cumulativo de caracteres faturados.
Os exemplos a seguir definem word_timestamp_enabled=true ao iniciar a tarefa.
  • sentence-begin
  • sentence-synthesis
  • sentence-end
Solicitação:
{
  "header": {
    "action": "continue-task",
    "task_id": "3785722c-8fb0-42cf-9fbe-21dd8d8c29bf",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "Welcome to the speech synthesis service."
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "3785722c-8fb0-42cf-9fbe-21dd8d8c29bf",
    "event": "result-generated",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": [
          {
            "text": "Welcome",
            "begin_index": 0,
            "end_index": 1,
            "begin_time": 0,
            "end_time": 560
          }
        ]
      },
      "type": "sentence-begin",
      "original_text": "Welcome to the speech synthesis service.",
      "normalized_text": "Welcome to the speech synthesis service."
    }
  }
}

task-finished

O servidor retorna um evento task-finished ao concluir a tarefa. Nesse momento, o cliente pode fechar a conexão WebSocket ou reutilizá-la para iniciar uma nova tarefa.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: task-finished.
payloadobject
usageobject
charactersinteger
Número cumulativo de caracteres faturados.
Solicitação:
{
  "header": {
    "action": "finish-task",
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Resposta:
{
  "header": {
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "event": "task-finished",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {},
    "usage": {
      "characters": 40
    }
  }
}

task-failed

O servidor retorna um evento task-failed quando a tarefa falha. Ao receber esse evento, o cliente deve fechar a conexão WebSocket e tratar o erro.
headerobject
task_idstring
ID da tarefa gerado pelo cliente.
eventstring
Tipo de evento. Valor fixo: task-failed.
error_codestring
Código de erro.
error_messagestring
Mensagem de erro detalhada.
Este exemplo usa um formato de áudio não suportado. Após iniciar a tarefa e enviar o texto, o servidor retorna um erro. O código e a mensagem dependem da causa da falha.
Solicitação:
{
  "header": {
    "action": "run-task",
    "task_id": "27928f57-cf3b-4f3d-a245-aef64895a3c9",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "invalid-format",
      "sample_rate": 22050
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "27928f57-cf3b-4f3d-a245-aef64895a3c9",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "Request format is invalid!"
  },
  "payload": {}
}