SDK de HarmonyOS para reconocimiento de voz en tiempo real de Paraformer

​

Inicio rápido

1. Obtención de una clave de API: Obtención y configuración de una clave de API. Por motivos de seguridad, recomendamos configurar la clave de API como una variable de entorno.
   Para otorgar acceso temporal a aplicaciones o usuarios externos, o para controlar estrictamente operaciones de alto riesgo como acceder o eliminar datos confidenciales, utilice una clave de API temporal. Una clave de API temporal tiene una validez predeterminada de 60 segundos. Obtenga una nueva después de que caduque.
2. Descargue el SDK y ejecute el código de ejemplo:
   • Descargue el paquete más reciente del SDK.
   • Extraiga el paquete TAR. Obtenga el SDK en formato HAR del directorio neonui y agréguelo a las dependencias de su proyecto. Para la integración con C++, obtenga las bibliotecas dinámicas y los archivos de encabezado de native/libs y native/include en el paquete TAR.
   • Abra el proyecto en DevEco Studio. El código de ejemplo se encuentra en DashParaformerSpeechTranscriberPage.ets. Reemplace la clave API para probar la función.

​

Pasos de invocación

1. Inicialice el SDK.
2. Configure los parámetros según sus requisitos empresariales: Utilice el parámetro parameters de initialize para establecer los parámetros de conexión y control, y utilice setParams para establecer los parámetros de efecto de reconocimiento de voz.
3. Llame a startDialog para iniciar el reconocimiento.
4. En la devolución de llamada onNuiAudioStateChanged, inicie el dispositivo de grabación según el estado del audio.
5. En la devolución de llamada onNuiNeedAudioData, proporcione continuamente datos de audio grabados.
6. En la devolución de llamada onNuiEventCallback, escuche eventos y obtenga resultados de reconocimiento de voz.
7. Llame a stopDialog para detener el reconocimiento y escuche el evento EVENT_TRANSCRIBER_COMPLETE para confirmar que el reconocimiento ha finalizado.
8. Cuando ya no se necesite el reconocimiento de voz, llame a release para liberar los recursos del SDK.

​

Parámetros de solicitud

​

Parámetros de conexión y control

{
    "url": "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

• Descripciones de parámetros

​

Parámetros de efecto de reconocimiento de voz

{
    "service_type": 4,
    "nls_config": {
        "model": "paraformer-realtime-v2",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

• Descripciones de parámetros

​

Interfaces clave

​

NativeNui

​

initialize

• Firma del método

public initialize(callback: INativeNuiCallback,
                  parameters: string,
                  level: number,
                  save_log: boolean = false): number

• Descripciones de parámetros

• Valor de retorno

​

setParams

• Firma del método

public setParams(params: string): number

• Descripciones de parámetros

• Valor de retorno

​

startDialog

• Firma del método

public startDialog(vad_mode: Constants.VadMode, dialog_params: string): number

• Descripciones de parámetros

• Valor de retorno

​

stopDialog

• Firma del método

public stopDialog(): number

• Valor de retorno

​

cancelDialog

• Firma del método

public cancelDialog(): number

• Valor de retorno

​

release

• Firma del método

public release(): number

• Valor de retorno

​

GetVersion

• Firma del método

public GetVersion(): string

• Valor de retorno

​

INativeNuiCallback

​

onNuiEventCallback

• Firma del método

onNuiEventCallback: (event: Constants.NuiEvent, resultCode: number, arg2: number,
                    kwsResult: KwsResult, asrResult: AsrResult) => void;

• Descripciones de parámetros

​

onNuiAudioStateChanged

• Firma del método

onNuiAudioStateChanged: (state: Constants.AudioState) => void

• Descripciones de AudioState

​

onNuiAudioRMSChanged

• Firma del método

onNuiAudioRMSChanged: (val: number) => number

• Descripciones de parámetros

​

onNuiNeedAudioData

• Firma del método

onNuiNeedAudioData: (buffer: ArrayBuffer) => number

• Descripciones de parámetros

• Valor de retorno

​

onNuiLogTrackCallback

onNuiLogTrackCallback: (level: Constants.LogLevel, log: string) => void

​

Constants.NuiEvent

​

Tipos auxiliares

​

Constants.LogLevel

​

Gestión de dispositivos de audio

• Creación: audio.createAudioCapturer(capturerOptions) crea asíncronamente el captador con una frecuencia de muestreo fija de 16 kHz, profundidad de bits de 16 y un canal (SAMPLE_RATE_16000/CHANNEL_1/SAMPLE_FORMAT_S16LE/ENCODING_TYPE_RAW).
• Evento de datos: capturer.on('readData', (buffer: ArrayBuffer) => void) obtiene continuamente datos de audio grabados. Almacene los datos en búfer en una cola para que la devolución de llamada onNuiNeedAudioData pueda recuperarlos según sea necesario.
• Evento de estado: capturer.on('stateChange', (state: audio.AudioState) => void). STATE_RUNNING indica que la grabación ha comenzado y STATE_STOPPED indica que la grabación se ha detenido.
• Control: start() inicia, stop() detiene y release() libera el captador.

​

Declaración de permisos

{
  "requestPermissions": [
    { "name": "ohos.permission.MICROPHONE" }
  ]
}