Captura de áudio personalizada

​

Visão geral

• Contornar conflitos de dispositivos de captura de áudio.
• Inserir dados de áudio de um sistema de captura personalizado ou de um arquivo de áudio no SDK para transmissão.
• Publicar áudio gerado por TTS de IA por meio do SDK.

​

Código de exemplo

​

Pré-requisitos

• Uma instância de engine foi criada chamando createEngine.
• Uma conexão com o servidor foi estabelecida (o callback onConnectionStatusChange reportou AoqConnectionStatusConnected).

​

Implementação

​

1. Iniciar ou parar a captura de áudio

// Option 1: Internal capture — external audio stream data is mixed with microphone data
AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig();
config.isExternal = false; // Use internal microphone capture
config.isVoipMode = false;
engine.startAudioCapture(config);

// Option 2: No internal capture — only external audio stream data is published
AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig();
config.isExternal = true; // Do not open the microphone; external audio stream provides the data
engine.startAudioCapture(config);

​

2. Após conectar, adicione o fluxo de áudio externo

// Add the stream after confirming connection in the onConnectionStatusChange callback
@Override
public void onConnectionStatusChange(AoqClientEngine.AoqConnectionStatus status) {
    if (status == AoqClientEngine.AoqConnectionStatus.AoqConnectionStatusConnected) {
        addExternalAudioStream();
    }
}

private void addExternalAudioStream() {
    AoqClientEngine.AoqAudioExternalStreamConfig config = new AoqClientEngine.AoqAudioExternalStreamConfig();
    config.sampleRate = 48000;       // Sample rate — must match the actual audio data
    config.channels = 1;             // Channel count
    config.publishVolume = 100;      // Publishing volume [0-100]
    config.playoutVolume = 0;        // Local playback volume [0-100]; 0 = no local playback
    config.maxBufferDuration = 1000; // Maximum buffer duration (milliseconds)
    config.enable3A = true;          // Whether to apply 3A processing to input PCM

    String streamId = "external_audio_1";
    int ret = engine.addAudioExternalStream(streamId, config);
    if (ret == 0) {
        mExternalStreamId = streamId;
    }
}

​

3. Capturar ou obter dados PCM

• Captura por microfone: Utilize o AudioRecord do Android para capturar dados PCM.
• Leitura de arquivo: Extraia dados PCM de um arquivo de áudio local nos formatos PCM ou WAV.
• TTS de IA: Obtenha dados PCM de um mecanismo de síntese de fala.
• Fluxo de rede: Decodifique dados PCM a partir de um fluxo de áudio em rede.

​

4. Enviar dados de áudio para o SDK via stream ID

• Para captura por hardware: utilize quadros de 10 ms e envie sempre que houver dados disponíveis.
• Para entrada baseada em arquivo: utilize quadros de 40 ms e aguarde 30 ms entre os envios.
• Mantenha uma flag running. Saia do loop de envio quando a engine for encerrada ou o stream ID for removido.

// Member variable: flag to control the push loop
private volatile boolean mPushRunning = false;

// Push a single audio frame

private void pushAudioData(byte[] audioData, int bytesRead) {

    if (engine == null || mExternalStreamId == null || bytesRead <= 0) {
        return;
    }

    int channels = 1;
    int bytesPerSample = 2; // 16-bit PCM
    int sampleRate = 48000;

    // Build the audio frame data object
    AoqClientEngine.AoqAudioFrameData frameData = new AoqClientEngine.AoqAudioFrameData();
    frameData.dataPtr = audioData;
    frameData.dataSize = bytesRead;
    frameData.numOfSamples = bytesRead / (channels * bytesPerSample);
    frameData.bytesPerSample = bytesPerSample;
    frameData.numOfChannels = channels;
    frameData.samplesPerSec = sampleRate;

    // Push data and handle buffer-full errors
    int ret;
    final int WAIT_MS = 30;

    do {
        // Check whether the running flag and stream ID are still valid
        if (!mPushRunning || mExternalStreamId == null) {
            break;
        }
        ret = engine.pushAudioExternalStreamData(mExternalStreamId, frameData);
        if (ret == 110) { // AoqErrorCodeAudioExternalBufferFull
            try {
                Thread.sleep(WAIT_MS);
            } catch (InterruptedException e) {
                break;
            }
        } else {
            break;
        }
    } while (true);
}

• Comece a enviar dados somente após estabelecer a conexão e adicionar o fluxo de áudio externo.
• Configure numOfSamples de AoqAudioFrameData para corresponder ao tamanho real dos dados.
• A chamada a pushAudioExternalStreamData pode falhar se o buffer interno estiver cheio (código de erro 110). Tente novamente após um curto intervalo.
• Em capturas em tempo real, use quadros de 10 ms e envie sempre que houver dados disponíveis. Trate o código de erro 110 adequadamente.
• Para entrada baseada em arquivo, utilize quadros de 40 ms e envie a cada 30 ms. Trate o código de erro 110 adequadamente.
• Antes de encerrar a engine (destroy) ou remover um stream ID, defina mPushRunning = false para interromper o loop de envio e evitar acesso a recursos já liberados.

​

5. Remover o fluxo de áudio externo

// Stop pushing first
stopPushAudio();
// Then remove the external audio stream
engine.removeAudioExternalStream(mExternalStreamId);
mExternalStreamId = null;