Captura de audio personalizada

​

Visión general

• Solucionar conflictos de dispositivos de captura de audio.
• Alimentar datos de audio desde un sistema de captura personalizado o un archivo de audio en el SDK para su transmisión.
• Publicar audio generado por TTS de IA a través del SDK.

​

Requisitos previos

• Se ha creado una instancia del motor llamando a createEngine.
• Se ha establecido una conexión con el servidor (la devolución de llamada onConnectionStatusChange ha reportado AoqConnectionStatusConnected).

​

Implementación

​

1. Iniciar o detener la captura de audio

// Option 1: Internal capture — external audio stream data is mixed with microphone data
AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig();
config.isExternal = false; // Use internal microphone capture
config.isVoipMode = false;
engine.startAudioCapture(config);

// Option 2: No internal capture — only external audio stream data is published
AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig();
config.isExternal = true; // Do not open the microphone; external audio stream provides the data
engine.startAudioCapture(config);

​

2. Después de conectar, agregue el flujo de audio externo

// Add the stream after confirming connection in the onConnectionStatusChange callback
@Override
public void onConnectionStatusChange(AoqClientEngine.AoqConnectionStatus status) {
    if (status == AoqClientEngine.AoqConnectionStatus.AoqConnectionStatusConnected) {
        addExternalAudioStream();
    }
}

private void addExternalAudioStream() {
    AoqClientEngine.AoqAudioExternalStreamConfig config = new AoqClientEngine.AoqAudioExternalStreamConfig();
    config.sampleRate = 48000;       // Sample rate — must match the actual audio data
    config.channels = 1;             // Channel count
    config.publishVolume = 100;      // Publishing volume [0-100]
    config.playoutVolume = 0;        // Local playback volume [0-100]; 0 = no local playback
    config.maxBufferDuration = 1000; // Maximum buffer duration (milliseconds)
    config.enable3A = true;          // Whether to apply 3A processing to input PCM

    String streamId = "external_audio_1";
    int ret = engine.addAudioExternalStream(streamId, config);
    if (ret == 0) {
        mExternalStreamId = streamId;
    }
}

​

3. Capturar u obtener datos PCM

• Captura por micrófono: Use Android AudioRecord para capturar datos PCM.
• Lectura de archivos: Analizar datos PCM desde un archivo de audio PCM o WAV local.
• TTS de IA: Obtener datos PCM de un motor de síntesis de voz.
• Flujo de red: Decodificar datos PCM desde un flujo de audio de red.

​

4. Enviar datos de audio al SDK mediante el ID de flujo

• Para captura por hardware: use 10 ms por trama y llame a push siempre que haya datos disponibles.
• Para entrada basada en archivos: use 40 ms por trama y espere 30 ms entre envíos.
• Mantenga un indicador running. Salga del bucle de envío cuando el motor se cierre o se elimine el ID de flujo.

// Member variable: flag to control the push loop
private volatile boolean mPushRunning = false;

// Push a single audio frame

private void pushAudioData(byte[] audioData, int bytesRead) {

    if (engine == null || mExternalStreamId == null || bytesRead <= 0) {
        return;
    }

    int channels = 1;
    int bytesPerSample = 2; // 16-bit PCM
    int sampleRate = 48000;

    // Build the audio frame data object
    AoqClientEngine.AoqAudioFrameData frameData = new AoqClientEngine.AoqAudioFrameData();
    frameData.dataPtr = audioData;
    frameData.dataSize = bytesRead;
    frameData.numOfSamples = bytesRead / (channels * bytesPerSample);
    frameData.bytesPerSample = bytesPerSample;
    frameData.numOfChannels = channels;
    frameData.samplesPerSec = sampleRate;

    // Push data and handle buffer-full errors
    int ret;
    final int WAIT_MS = 30;

    do {
        // Check whether the running flag and stream ID are still valid
        if (!mPushRunning || mExternalStreamId == null) {
            break;
        }
        ret = engine.pushAudioExternalStreamData(mExternalStreamId, frameData);
        if (ret == 110) { // AoqErrorCodeAudioExternalBufferFull
            try {
                Thread.sleep(WAIT_MS);
            } catch (InterruptedException e) {
                break;
            }
        } else {
            break;
        }
    } while (true);
}

• Comience a enviar datos solo después de que se haya establecido la conexión y se haya añadido el flujo de audio externo.
• Establezca numOfSamples de AoqAudioFrameData para que coincida con la longitud real de los datos.
• pushAudioExternalStreamData puede fallar si el búfer interno está lleno (código de error 110). Reintente después de un breve retraso.
• Para la captura en tiempo real, utilice tramas de 10 ms y llame a push cada vez que haya datos disponibles. Maneje el código de error 110.
• Para entrada basada en archivos, use tramas de 40 ms y llame a push cada 30 ms. Maneje el código de error 110.
• Antes de que el motor finalice (destroy) o se elimine un ID de flujo, establezca mPushRunning = false para detener el bucle de envío y evitar el acceso a recursos liberados.

​

5. Eliminar el flujo de audio externo

// Stop pushing first
stopPushAudio();
// Then remove the external audio stream
engine.removeAudioExternalStream(mExternalStreamId);
mExternalStreamId = null;