Pré-requisitos
Requer o DashScope Python SDK 2.0.1 ou posterior.
Primeiros passos
Parâmetros de solicitação
Os parâmetros de solicitação a seguir podem ser definidos no método connect de client.audio.realtime:
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
model | str | Sim | Nome do modelo (consulte Modelos compatíveis). |
ws_url | str | Não | Endpoint da sessão. Quando omitido, é derivado automaticamente dos parâmetros de construção |
update_session da sessão (os parâmetros nomeados são passados diretamente e os demais são repassados ao objeto session do evento session.update):
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
voice | str | Sim | Voz usada na síntese de fala. Para mais informações, consulte Lista de vozes do Qwen-TTS. |
language_type | str | Não | Define o idioma do áudio sintetizado. O valor padrão é
|
mode | str | Não | Modo de interação. Valores válidos:
|
response_format | str | Não | Formato da saída de áudio do modelo. Formatos compatíveis:
|
sample_rate | int | Não | Taxa de amostragem da saída de áudio do modelo, em Hz. Taxas de amostragem compatíveis:
|
speech_rate | float | Não | Velocidade da fala do áudio. O valor 1,0 representa a velocidade normal. Valores menores que 1,0 tornam a fala mais lenta; valores maiores que 1,0 a tornam mais rápida. Valor padrão: 1,0. Intervalo válido: [0,5, 2,0]. |
volume | int | Não | Volume do áudio. Intervalo válido: [0, 100]. |
pitch_rate | float | Não | Tom do áudio sintetizado. Valor padrão: 1,0. Intervalo válido: [0,5, 2,0]. |
bit_rate | int | Não | Define a taxa de bits do áudio em kbps. Uma taxa de bits maior resulta em melhor qualidade de áudio e tamanho de arquivo maior. Este parâmetro está disponível apenas quando o formato de áudio ( Valor padrão: 128. Intervalo válido: [6, 510]. |
Principais interfaces
Sessão (RealtimeSession)
A sessão de síntese de fala em tempo real é criada por meio de client.audio.realtime.connect(model=...); a conexão é estabelecida automaticamente ao entrar no contexto with (também é possível chamar o método connect() da sessão para estabelecê-la manualmente).
| Assinatura do método | Eventos de resposta do servidor (entregues por iteração via events()) | Descrição |
|---|---|---|
session.createdSessão criadasession.updated Configuração da sessão atualizada | Cria a conexão com o servidor. Chamado automaticamente ao entrar no contexto with. | |
session.updatedConfiguração da sessão atualizada | Atualiza as configurações padrão desta sessão. Para detalhes dos parâmetros, consulte Parâmetros de solicitação.Ao estabelecer a conexão, o servidor retorna prontamente as configurações padrão de entrada e saída desta sessão. Se você precisar atualizar as configurações padrão, recomendamos chamar este método imediatamente após estabelecer a conexão.Ao receber um evento session.update, o servidor valida os parâmetros; se forem inválidos, retorna um erro; caso contrário, atualiza a configuração da sessão no lado do servidor. | |
| Nenhum | Envia um evento bruto. A entrada de texto é feita por meio da série de eventos input_text_buffer: anexe trechos de texto ao buffer de texto de entrada na nuvem ({"type": "input_text_buffer.append", "text": ...}). O buffer é um armazenamento temporário no qual você grava e que pode ser confirmado posteriormente.
| |
input_text_buffer.clearedLimpa o texto recebido pelo servidor | Envia o evento {"type": "input_text_buffer.clear"} para excluir o texto atual do buffer na nuvem. | |
input_text_buffer.committedEnvia o texto e aciona a síntese de falaresponse.output_item.added Novo conteúdo de saída adicionadoresponse.content_part.added Novo conteúdo adicionado à mensagem do assistenteresponse.audio.delta Áudio incremental gerado pelo modeloresponse.audio.done Geração de áudio concluídaresponse.content_part.done Streaming de conteúdo de áudio para mensagem do assistente concluídoresponse.output_item.done Streaming de todo o item de saída para mensagem do assistente concluídoresponse.done Resposta concluída | Envia o evento {"type": "input_text_buffer.commit"} para confirmar o texto adicionado anteriormente ao buffer na nuvem por meio de append e sintetizar imediatamente todo o texto. Um erro será gerado se o buffer de texto estiver vazio.
| |
session.finishedResposta concluída | Envia o evento session.finish para encerrar a tarefa. Em seguida, continue consumindo events() até receber o evento session.finished. | |
| None | Fecha a conexão. Chamado automaticamente ao sair do contexto with. | |
| Nenhum | Obtém o session_id da tarefa atual. | |
| Nenhum | Obtém o response_id da resposta mais recente. | |
| Nenhum | Obtém o atraso do primeiro pacote de áudio. |
Iteração de eventos (events())
O servidor retorna os eventos e dados de resposta ao cliente por meio de eventos. Na thread de recebimento, itere sobre events() da sessão para processar os eventos do servidor; a iteração termina após o evento session.finished; eventos de error são lançados como exceções DashScopeError e podem ser capturados com try/except.
| Método | Parâmetros | Valor de retorno | Descrição |
|---|---|---|---|
event: evento de resposta do servidor (dict). | Iterador | Inclui as respostas às chamadas de interface e o texto e o áudio gerados pelo modelo; a iteração termina após o evento session.finished. Para mais detalhes, consulte Eventos do servidor. | |
event: evento de resposta do servidor (dict). | Evento ou None | Lê um evento do servidor; retorna None após um fechamento normal. |