Skip to main content

SDK HarmonyOS do Qwen-Audio-Realtime

Use o SDK HarmonyOS do Qwen-Audio-Realtime para entrada de áudio em tempo real e saída de voz ou texto em conversas por voz em tempo real.

Para a conexão e a autenticação, consulte Acesso por WebSocket. Para os campos de eventos e exemplos JSON, consulte Eventos do cliente e Eventos do servidor. Guia do usuário: Para apresentações de modelos e conselhos de seleção, consulte Conversa por voz em tempo real.

Início rápido

  1. Obtenha e configure uma chave de API.
  2. Baixe o SDK e execute o código de exemplo:
    • Baixe o pacote mais recente do SDK.
    • Extraia o pacote SDK .tar.gz. Obtenha o SDK HAR de entry/libs e adicione-o às dependências do seu projeto. Para integração C++, use native/libs e native/include no pacote para obter as bibliotecas dinâmicas e arquivos de cabeçalho.
    • Abra o projeto no DevEco Studio. O código de exemplo está em DashQwenAudioChatPage.ets. Substitua a chave de API para testar o recurso.

Procedimento de chamada

  1. Inicialize o SDK.
  2. Defina os parâmetros para o seu caso de uso. Use o argumento parameters de initialize para definir os parâmetros de conexão e controle, e use setParams para definir os parâmetros de conversa por voz.
  3. Chame startDialog para iniciar a conversa.
  4. Em onNuiAudioStateChanged, inicie o dispositivo de gravação com base no estado do áudio.
  5. Forneça continuamente dados de gravação em onNuiNeedAudioData, ou chame updateAudio para enviar ativamente os dados de gravação.
  6. Receba continuamente o áudio retornado pelo modelo em onNuiAssistEventCallback.
  7. Ouça eventos e obtenha informações de eventos em onNuiEventCallback.
  8. Chame stopDialog para parar a conversa e escute EVENT_TRANSCRIBER_COMPLETE para confirmar que ela terminou.
  9. Quando o recurso de conversa não for mais necessário, chame release para liberar os recursos do SDK.

Gerenciamento de dispositivos de áudio

Ao contrário do Android, que usa AudioRecord e AudioTrack, o HarmonyOS fornece captura e reprodução de áudio por meio de @kit.AudioKit, usando AudioCapturer para gravação e AudioRenderer para reprodução. O projeto de exemplo fornece as classes utilitárias AudioRecorder.ets e AudioPlayer.ets para reutilização.

Gravação (AudioCapturer)

  • Criar: Chame audio.createAudioCapturer(capturerOptions) de forma assíncrona. O exemplo usa áudio mono de 16 kHz e 16 bits (SAMPLE_RATE_16000, CHANNEL_1, SAMPLE_FORMAT_S16LE e ENCODING_TYPE_RAW).
  • Fonte de áudio (audio.SourceType):
    • SOURCE_TYPE_MIC: Áudio bruto do microfone. Use esta fonte quando o AEC interno do SDK estiver ativado e envie dados para o SDK chamando updateAudio.
    • SOURCE_TYPE_VOICE_COMMUNICATION: Áudio de chamada no qual o sistema já realizou o cancelamento de eco. Use esta fonte quando o AEC interno do SDK estiver desativado e forneça áudio por meio de onNuiNeedAudioData.
  • Evento de dados: Chame capturer.on('readData', (buffer: ArrayBuffer) => void) para obter continuamente o áudio gravado.
  • Evento de estado: Chame capturer.on('stateChange', (state: audio.AudioState) => void). STATE_RUNNING indica que a gravação foi iniciada e STATE_STOPPED indica que ela foi interrompida.
  • Controle: Chame start() para iniciar, stop() para parar e release() para liberar o gravador.
import { audio } from '@kit.AudioKit';

const audioStreamInfo: audio.AudioStreamInfo = {
  samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_16000,
  channels: audio.AudioChannel.CHANNEL_1,
  sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE,
  encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
};
const audioCapturerInfo: audio.AudioCapturerInfo = {
  source: audio.SourceType.SOURCE_TYPE_MIC,
  capturerFlags: 0
};
const options: audio.AudioCapturerOptions = { streamInfo: audioStreamInfo, capturerInfo: audioCapturerInfo };

audio.createAudioCapturer(options).then((capturer) => {
  capturer.on('readData', (buffer: ArrayBuffer) => {
    // Send the recorded audio to the SDK.
    nuiInstance.updateAudio(buffer, false);
  });
  capturer.start();
});
Nota: O HarmonyOS cria AudioCapturer de forma assíncrona. Chame start() somente após a criação ser concluída. Não crie e inicie imediatamente um gravador em STATE_OPEN. Crie-o primeiro e, em seguida, chame start() a partir do callback STATE_OPEN. O exemplo cria o gravador durante doInit e o inicia durante onNuiAudioStateChanged.

Reprodução (AudioRenderer)

  • Criar: Chame audio.createAudioRenderer(rendererOptions) de forma assíncrona.
  • Taxa de amostragem: O áudio de resposta sintetizado retornado pelo DashScope Realtime é de 24 kHz. Passe esta taxa para o construtor AudioPlayer.
  • Evento de dados: Chame renderer.on('writeData', (data: ArrayBuffer): audio.AudioDataCallbackResult => ...) para fornecer áudio para reprodução. Retorne AudioDataCallbackResult.VALID após preencher o buffer ou INVALID quando não houver dados disponíveis.
  • Evento de estado: Chame renderer.on('stateChange', (state: audio.AudioState) => void) para escutar os eventos de início e fim da reprodução.
  • Controle: Chame start() para iniciar, stop() para parar e pause() para pausar a reprodução. Pausar retém os dados no buffer.
import { audio } from '@kit.AudioKit';

const audioStreamInfo: audio.AudioStreamInfo = {
  samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_24000,
  channels: audio.AudioChannel.CHANNEL_1,
  sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE,
  encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
};
const audioRendererInfo: audio.AudioRendererInfo = {
  usage: audio.StreamUsage.STREAM_USAGE_VOICE_ASSISTANT,
  rendererFlags: 0
};
const options: audio.AudioRendererOptions = { streamInfo: audioStreamInfo, rendererInfo: audioRendererInfo };

audio.createAudioRenderer(options, (err, renderer) => {
  renderer.on('writeData', (data: ArrayBuffer): audio.AudioDataCallbackResult => {
    // Fill data with model response audio from the queue and return VALID or INVALID.
    return audio.AudioDataCallbackResult.VALID;
  });
  renderer.start();
});
Sinal de referência AEC: Quando o AEC interno do SDK estiver ativado, envie o áudio de saída do player para o SDK como sinal de referência chamando nuiInstance.pushReferenceData(data, false), que corresponde a updateRefAudio no Android.

Declaração de permissão

Declare a permissão de microfone em module.json5 antes de gravar áudio:
{
  "requestPermissions": [
    { "name": "ohos.permission.MICROPHONE" }
  ]
}

Parâmetros de solicitação

Parâmetros de conexão e controle

Passe uma string JSON no argumento parameters de initialize. Exemplo: A string JSON a seguir não lista todos os parâmetros. Adicione parâmetros conforme necessário para o seu caso de uso. O exemplo usa qwen-audio-3.1-realtime-plus. Para usar outro modelo, atualize model na URL e nls_config.model em Parâmetros de conversa por voz.
{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
  "apikey": "st-****",
  "device_id": "my_device_id",
  "service_mode": "1"
}
Parâmetros
ParâmetroTipoObrigatórioDescrição
urlStringSimEndpoint do serviço:
  • wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
  • China (Pequim): wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
  • Singapura: wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
Substitua {WorkspaceId} pelo seu ID do Workspace.
apikeyStringSimAPI key.
service_modeStringSimModo de execução. Defina este parâmetro como "1" para conversa de voz em tempo real.
device_idStringSimUma string exclusiva que identifica o usuário final. Você pode usar um ID de usuário no aplicativo ou um identificador de dispositivo gerado pelo cliente. Este ID é usado principalmente para rastreamento de logs e solução de problemas.
audio_update_manuallyStringNãoSe deve enviar ativamente dados de áudio. Padrão: "false". Se definido como "true" e o SDK suportar recursos de áudio no dispositivo, como AEC e VAD, esses recursos serão habilitados por padrão.
workspaceStringNãoO caminho de armazenamento para arquivos de recursos no dispositivo. Este parâmetro é obrigatório quando audio_update_manually é "true" e um recurso de áudio no dispositivo, como AEC ou VAD, está habilitado.
debug_pathStringNãoO caminho de armazenamento do arquivo de log. Este parâmetro entra em vigor apenas quando save_log é true em initialize. Neste caso, o caminho é obrigatório. O SDK retém no máximo dois arquivos de log localmente.
save_wavStringNãoSe deve salvar o áudio de depuração em debug_path. Padrão: "false". Os valores válidos são "true" e "false". Este parâmetro entra em vigor apenas quando save_log é true, e debug_path também deve estar definido.
max_log_file_sizeintNãoO tamanho máximo do arquivo de log em bytes. Este parâmetro entra em vigor apenas quando save_log é true. Padrão: 104857600 (100 × 1024 × 1024 bytes, ou 100 MiB).
log_track_levelintNãoO nível de filtro para logs enviados através de onNuiLogTrackCallback. Padrão: 2. Valores válidos: 0 (VERBOSE), 1 (DEBUG), 2 (INFO), 3 (WARNING), 4 (ERROR) e 5 (NONE). Um log é retornado apenas quando seu nível é maior ou igual a log_track_level e ao level passado para initialize. Por exemplo, se log_track_level for 2 (INFO) e level for 3 (WARNING), apenas logs de WARNING e de nível superior (valores maiores ou iguais a 3) são retornados.
aec_paramsobjectNãoConfiguração avançada de AEC no dispositivo. Este objeto entra em vigor apenas quando audio_update_manually é "true".
aec_params.enable_aecbooleanNãoSe deve habilitar o AEC no dispositivo. Se audio_update_manually for "true" e o SDK suportar AEC no dispositivo, o AEC é habilitado por padrão.
aec_params.save_audiobooleanNãoSe deve salvar o áudio processado pelo módulo AEC no dispositivo. Se save_wav for "true" e debug_path estiver definido, este recurso é habilitado por padrão e o áudio é salvo em debug_path.
aec_params.enable_aec_data_callbackbooleanNãoSe deve retornar o áudio processado por AEC através de EVENT_AEC_DATA em onNuiAssistEventCallback. Padrão: false.
vad_paramsobjectNãoConfiguração avançada de VAD no dispositivo. Este objeto entra em vigor apenas quando audio_update_manually é "true".
vad_params.enable_vadbooleanNãoSe deve habilitar o VAD no dispositivo. Se audio_update_manually for "true" e o SDK suportar VAD no dispositivo, o VAD é habilitado por padrão.
vad_params.save_audiobooleanNãoSe deve salvar o áudio processado pelo módulo VAD no dispositivo. Se save_wav for "true" e debug_path estiver definido, este recurso é habilitado por padrão e o áudio é salvo em debug_path.

Parâmetros de conversa de voz

Passe uma string JSON no argumento params de setParams. Exemplo: A string JSON a seguir não lista todos os parâmetros. Adicione parâmetros conforme necessário para o seu caso de uso.
{
  "service_type": 4,
  "nls_config": {
    "model": "qwen-audio-3.1-realtime-plus",
    "sr_format": "pcm"
  }
}
Parâmetros
Parâmetro de nível superiorTipoObrigatórioDescrição
service_typeintSimTipo de serviço de voz. Defina este parâmetro como 4 para conversa de voz em tempo real.
nls_configobjectSimConfiguração principal da conversa de voz, incluindo seleção de modelo e comportamento da conversa.
nls_config.modelstringSimNome do modelo. Suporta as séries de modelos qwen-audio-3.1-realtime-plus, qwen-audio-3.0-realtime-plus e qwen-audio-3.0-realtime-flash.
nls_config.sr_formatstringSimFormato de áudio de entrada. Apenas pcm é suportado. O formato padrão é PCM mono de 16 kHz e 16 bits.
nls_config.modalitiesstringNãoUma string contendo uma matriz de modalidades de saída. Valores válidos:
  • ["text"]: retorna apenas texto.
  • ["audio", "text"] (padrão): retorna áudio e texto.
nls_config.voicestringNãoVoz TTS. O padrão é longanqian_v3.1 para 3.1 Plus e longanqian para 3.0 Plus/Flash. Este parâmetro pode ser definido apenas no primeiro session.update; valores posteriores são ignorados. Vozes do sistema: longanqian, longanlingxin, longanlingxi, longanxiaoxin e longanlufeng. Você também pode especificar um voice_id clonado criado através da API de clonagem de voz. Consulte Configuração de voz.3.1 Plus também suporta longanqian_v3.1, longanhuan_v3.1, longanlingxin_v3.1, longanfengyue_v3.1, xunanchuan_v3.1, beth_v3.1, betty_v3.1, cally_v3.1.
nls_config.enable_speech_emotionbooleanNãoSe deve habilitar a expressão emocional aprimorada. Quando habilitada, a voz de resposta tem uma variação emocional mais perceptível. Padrão: true. Valores válidos: true e false.
nls_config.instructionsstringNãoInstruções do sistema que definem o papel do modelo, o estilo de resposta e as preferências comportamentais para toda a sessão.
nls_config.max_history_turnsintNãoNúmero máximo de turnos históricos de perguntas e respostas permitidos em uma solicitação. Valores válidos: 1 a 50. Padrão: 20.
nls_config.toolsstringNãoUma string contendo uma matriz de definições de ferramentas de Function Calling. Depois que você configura este parâmetro, o modelo decide se deve chamar uma ferramenta com base na entrada do usuário. Cada definição usa type (obrigatório e fixo como function) e um objeto function contendo name (obrigatório), description (opcional) e parameters (opcional). Se uma função não tiver argumentos, omita parameters.
Exemplo:
[
  {
    "type": "function",
    "function": {
      "name": "get_weather",
      "description": "Queries weather information for a specified city.",
      "parameters": {
        "type": "object",
        "properties": {
          "city": {
            "type": "string",
            "description": "City"
          }
        },
        "required": [
          "city"
        ]
      }
    }
  }
]
nls_config.turn_detectionstringNãoUma string contendo um objeto JSON para detecção de turnos. Se omitido, a sessão usa o modo push-to-talk, no qual o áudio é enviado e a inferência é acionada manualmente. Se definido, o modo de conversa duplex é habilitado.
nls_config.turn_detection.typestringNãoTipo de VAD. server_vad (padrão) detecta os limites da fala a partir de recursos acústicos e aciona a inferência automaticamente. smart_turn combina sinais acústicos e semânticos; sons sem conteúdo semântico, como sons de preenchimento, não iniciam um turno nem interrompem a reprodução do modelo.
nls_config.turn_detection.thresholdfloatNãoSensibilidade do VAD. Este parâmetro se aplica apenas a server_vad e não tem efeito em smart_turn. Valores mais baixos tornam o VAD mais sensível a sons baixos e ruído de fundo; valores mais altos exigem uma fala mais clara e alta. Intervalo válido: [-1.0, 1.0]. Padrão: 0.5.
nls_config.turn_detection.silence_duration_msintNãoDuração mínima de silêncio após a fala, em milissegundos, antes que a resposta do modelo seja acionada. Este parâmetro se aplica apenas a server_vad e não tem efeito em smart_turn. Valores mais baixos reduzem a latência, mas podem ser acionados em pausas breves. Intervalo válido: [200, 6000]. Padrão: 800. Recomendado para conversa: 400 a 800.
nls_config.turn_detection.voiceprint_audio_urlsstringNãoUma string contendo uma matriz de URLs de áudio pré-gravado publicamente acessíveis para o locutor alvo. Este parâmetro se aplica apenas a smart_turn. Em conversas duplex, ajuda o modelo a focar no locutor alvo e ignorar outros locutores e ruídos de fundo. Até cinco URLs são suportados. O áudio deve ser PCM ou WAV de 16 kHz.

APIs principais

NativeNui

initialize

Inicializa uma instância do SDK de conversa de voz. O SDK usa o padrão singleton. Não o inicialize novamente antes de chamar release. Este método pode bloquear. Chame-o em uma thread que não seja de UI. Assinatura do método
public initialize(
  callback: INativeNuiCallback,
  parameters: string,
  level: number,
  save_log: boolean = false
): number
Parâmetros
ParâmetroTipoDescrição
callbackINativeNuiCallbackUma implementação da interface de callback de eventos e dados.
parametersstringUma string JSON que contém parâmetros de autenticação, conexão e depuração. Consulte Parâmetros de conexão e controle.
levelnumberControla o nível de impressão dos próprios logs do SDK.
save_logbooleanSe deve salvar logs localmente. Se definido como true, especifique o caminho usando debug_path nos parâmetros de conexão e controle. Você também pode definir o tamanho do arquivo usando max_log_file_size.

setParams

Define os parâmetros de conversa de voz no formato JSON. Chame este método antes de startDialog. Assinatura do método
public setParams(params: string): number
Parâmetros
ParâmetroTipoDescrição
paramsstringParâmetros de conversa por voz.

startDialog

Inicia a conversa. Assinatura do método
public startDialog(vad_mode: Constants.VadMode, dialog_params: string): number
Parâmetros
ParâmetroTipoDescrição
vad_modeConstants.VadModeModo VAD. Fixado como Constants.VadMode.TYPE_P2T.
dialog_paramsstringSe apikey nos parâmetros de conexão e controle for uma chave de API temporária, atualize-a aqui após a expiração.
Formato JSON:
{
  "apikey": "st-****"
}

stopDialog

Encerra a conversa. Depois que você chama este método, o servidor retorna o resultado final da conversa e encerra a tarefa. Assinatura do método
public stopDialog(): number

cancelDialog

Encerra a conversa imediatamente. Depois de chamar este método, a tarefa termina sem esperar que o servidor retorne o resultado final da conversa. Assinatura do método
public cancelDialog(): number

dialogAction

Envia um comando de ação de conversa durante uma interação para atualizar o comportamento em tempo de execução, como o contexto da conversa. Assinatura do método
public dialogAction(params: string): number
Parâmetros
ParâmetroTipoDescrição
paramsstringUma string JSON usada para atualizar o comportamento em tempo de execução, como o contexto da conversa.
params.typeStringDefina como "action".
params.commandStringComando de tempo de execução. Valores válidos:
  • function_call: atualiza uma solicitação de chamada de função.
  • play_start: quando o AEC no dispositivo é usado, notifica o SDK de que a reprodução de áudio começou.
  • play_over: quando o AEC no dispositivo é usado, notifica o SDK de que a reprodução de áudio terminou.
params.contextStringAtualização de solicitação de chamada de função. Usado quando command é "function_call".
params.context.typeStringTipo de evento. Este parâmetro é obrigatório quando command é "function_call". conversation.item.create insere um item de conversa para contexto histórico, texto suplementar ou resultado de ferramenta. Após enviar conversation.item.create, use response.create para acionar outra inferência.
params.context.itemobjectObrigatório quando params.context.type é conversation.item.create. O item de conversa a ser criado.
params.context.responseobjectOpcional quando params.context.type é response.create. Substitui os padrões da sessão para esta inferência. Se omitido, a configuração atual da sessão é usada.
Parâmetros de context.item:
ParâmetroTipoDescrição
idStringID de item de conversa exclusivo opcional. Se omitido, o servidor gera um. Um erro é retornado se o ID especificado já existir.
typeStringTipo de item obrigatório. Valores válidos:
  • message: uma mensagem comum.
  • function_call: uma solicitação de chamada de função. Este tipo é normalmente gerado pelo servidor. O cliente também pode usá-lo para adicionar contexto histórico.
  • function_call_output: um resultado de execução de ferramenta. Após receber um function_call, o cliente executa a ferramenta e usa este tipo para gravar o resultado de volta.
roleStringObrigatório para message. Valores válidos: system, user e assistant.
contentarrayObrigatório para message. Cada item contém um type e o campo de dados associado. system suporta input_text com text; user suporta input_text com text e input_audio com audio codificado em Base64; assistant suporta output_text com text.
call_idStringObrigatório para function_call e function_call_output. O ID exclusivo que associa uma solicitação de chamada de função ao seu resultado.
nameStringObrigatório para function_call. O nome da função a ser chamada.
argumentsStringObrigatório para function_call. Argumentos da função como uma string JSON.
outputStringObrigatório para function_call_output. Resultado da execução da ferramenta como uma string JSON.
Parâmetros de context.response:
ParâmetroTipoDescrição
modalitiesarrayModalidades de saída. ["text"] retorna apenas texto. ["audio", "text"] (padrão) retorna áudio e texto.
voicestringSubstitui a voz TTS para esta inferência.
Exemplo:
{
  "type": "action",
  "command": "function_call",
  "context": {
    "item": {
      "call_id": "call_xxxx",
      "output": "{\"city\":\"Hangzhou\",\"condition\":\"sunny\",\"temperature\":18}",
      "type": "function_call_output"
    },
    "type": "conversation.item.create"
  }
}

{
  "type": "action",
  "command": "function_call",
  "context": {
    "response": {
      "modalities": ["text", "audio"]
    },
    "type": "response.create"
  }
}

updateAudio

Quando audio_update_manually está definido como "true", os dados de gravação não são mais fornecidos por meio de onNuiNeedAudioData. Em vez disso, use este método para enviar ativamente os dados. Assinatura do método
public updateAudio(data: ArrayBuffer, first_pack: boolean): number
Parâmetros
ParâmetroTipoDescrição
dataArrayBufferDados de áudio a serem enviados (PCM).
first_packbooleanSe este é o primeiro pacote de áudio. O SDK calcula a contagem de bytes a partir de data.byteLength.

pushReferenceData (corresponde ao updateRefAudio do Android)

Quando audio_update_manually está definido como "true" e o AEC no dispositivo está ativado, use este método para enviar o áudio reproduzido pelo player como sinal de referência. Assinatura do método
public pushReferenceData(data: ArrayBuffer, first_pack: boolean): number
Parâmetros
ParâmetroTipoDescrição
dataArrayBufferDados de áudio a serem enviados (PCM).
first_packbooleanSe este é o primeiro pacote de áudio. O SDK calcula a contagem de bytes a partir de data.byteLength.

release

Libera todos os recursos internos do SDK. A instância do SDK fica indisponível após esta chamada. Para usar o SDK novamente, chame initialize para reinicializá-lo. Assinatura do método
public release(): number

GetVersion

Retorna informações sobre a versão atual do SDK. Assinatura do método
public GetVersion(): string
Valor de retorno Informações sobre a versão atual do SDK.

INativeNuiCallback: callbacks de listener

onNuiEventCallback: ouvir informações de eventos

Assinatura do método
onNuiEventCallback: (
  event: Constants.NuiEvent,
  resultCode: number,
  arg2: number,
  kwsResult: KwsResult,
  asrResult: AsrResult
) => void;
Parâmetros
ParâmetroTipoDescrição
eventConstants.NuiEventEvento de callback.
resultCodenumberVálido apenas quando o evento EVENT_ASR_ERROR ocorre.
arg2numberParâmetro reservado.
asrResultAsrResultResultado do reconhecimento de fala.
kwsResultKwsResultResultado de despertar por voz. Você não precisa usar este parâmetro.

onNuiAudioStateChanged: ouvir o estado do áudio

O SDK usa este callback para notificar o aplicativo quando iniciar ou parar a gravação. Assinatura do método
onNuiAudioStateChanged: (state: Constants.AudioState) => void
Valores de AudioState
EstadoDescrição
STATE_OPENA interação foi iniciada. Você pode abrir o dispositivo de gravação e começar a gravar.
STATE_PAUSEA interação parou. Você pode parar a gravação.
STATE_CLOSEA instância do SDK foi liberada. Você pode fechar completamente o dispositivo de gravação.

onNuiAudioRMSChanged: escutar o volume de gravação

Escuta o volume de gravação, que pode ser exibido na UI. Assinatura do método
onNuiAudioRMSChanged: (val: number) => number
Parâmetros
ParâmetroTipoDescrição
valnumberVolume de gravação.

onNuiNeedAudioData: fornecer dados de áudio

Depois que a conversa começa, este callback é acionado continuamente. Forneça os dados de áudio a serem processados neste callback. Você não precisa usar este callback quando audio_update_manually estiver definido como "true". Assinatura do método
onNuiNeedAudioData: (buffer: ArrayBuffer) => number
Parâmetros
ParâmetroTipoDescrição
bufferArrayBufferDados de áudio a serem fornecidos. O SDK usa buffer.byteLength como a contagem de bytes solicitada.
Valor de retorno O número real de bytes fornecidos.

onNuiAssistEventCallback: receber dados e informações auxiliares

Recebe eventos auxiliares internos do SDK e dados relacionados. Assinatura do método
onNuiAssistEventCallback?: (
  event: Constants.NuiEvent,
  info: string,
  infoLen: number,
  data: ArrayBuffer
) => void;
Parâmetros
ParâmetroTipoDescrição
eventConstants.NuiEventEvento NuiEvent.
infostringInformações adicionais, geralmente uma string JSON.
infoLennumberComprimento das informações adicionais.
dataArrayBufferDados binários adicionais, como áudio TTS retornado pelo modelo.
Nota: Este callback é opcional (?) no HarmonyOS. Omita-o se você não precisar das informações.

onNuiLogTrackCallback: ouvir logs de rastreamento

Recebe logs internos detalhados do SDK para solução de problemas e depuração.
onNuiLogTrackCallback: (level: Constants.LogLevel, log: string) => void

NuiEvent: tipos de evento

No SDK do HarmonyOS, os tipos de eventos são definidos pela enumeração Constants.NuiEvent. A tabela a seguir lista os eventos relacionados à conversa de voz em tempo real:
EventoDescrição
EVENT_TRANSCRIBER_STARTEDA tarefa foi iniciada com sucesso.
EVENT_VAD_STARTAcionado imediatamente após o início da tarefa. Isso não significa que o início da fala foi detectado.
EVENT_VAD_ENDO fim da fala foi detectado.
EVENT_ASR_PARTIAL_RESULTUm resultado intermediário de reconhecimento de fala.
EVENT_ASR_RESULTUm resultado completo de reconhecimento de fala.
EVENT_ASR_ERROROcorreu um erro durante a conversa de voz.
EVENT_MIC_ERRORAcionado quando nenhum dado de áudio é recebido por dois segundos consecutivos.
EVENT_SENTENCE_STARTO início de uma frase foi detectado.
EVENT_SENTENCE_ENDO fim de uma frase foi detectado e um resultado de reconhecimento completo foi retornado.
EVENT_TRANSCRIBER_COMPLETEA conversa de voz terminou.
EVENT_AUDIO_TRANSCRIPTIONUm evento de transcrição de texto incremental para saída de áudio. Os segmentos de transcrição são retornados no modo de streaming.
EVENT_AUDIO_TRANSCRIPTION_COMPLETEDA transcrição da saída de áudio está concluída.
EVENT_OTHER_RESULTOutras informações de evento, como um resultado de Function Calling.
EVENT_ASR_TTS_STARTO modelo começou a retornar áudio TTS.
EVENT_ASR_TTS_DATAÁudio TTS retornado pelo modelo.
EVENT_ASR_TTS_COMPLETEO modelo terminou de retornar áudio TTS.
EVENT_RESULT_TRANSLATEDUm resultado de tradução intermediário.
EVENT_RESULT_TRANSLATED_ENDA saída do resultado da tradução foi concluída.
EVENT_AEC_DATADados de áudio processados pelo AEC.