Controle de envio de fluxo de mídia - Alibaba Cloud Model Studio

Visão geral

enableSendMediaStream determina se o cliente envia fluxos de mídia de áudio ou vídeo para o service de IA. Em cenários do protocolo AOQ, alguns modelos exigem uma confirmação session.updated antes de aceitar dados de mídia. Use esta API para iniciar o envio no momento adequado.

Definição da API

iOS / Mac

// iOS / Mac
func enableSendMediaStream(_ trackType: AoqTrackType, enable: Bool)

Android

// Android
void enableSendMediaStream(AoqTrackType trackType, boolean enable)

HarmonyOS (ArkTS)

// HarmonyOS (ArkTS)
enableSendMediaStream(trackType: AoqTrackType, enable: boolean): void

Parâmetros:

Parâmetro	Tipo	Descrição
trackType	AoqTrackType	Tipo de trilha de mídia: `.audio` ou `.video`
enable	Bool	`true` = inicia o envio; `false` = pausa o envio

Fluxo de controle

O fluxo típico de controle de mídia segue a sequência abaixo:

Exemplo (iOS Swift)

Desative o envio antes da conexão

// Disable audio and video sending before connecting to prevent the model
// from receiving data before it is ready
engine.enableSendMediaStream(.audio, enable: false)
engine.enableSendMediaStream(.video, enable: false)

// Initiate the connection
engine.connect(config)

Ative após receber session.updated

func onDataMsg(_ msg: AoqDataMsg) {
    guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any],
          let type = obj["type"] as? String else { return }

    if type == "session.updated" {
        // The AI has confirmed the session configuration; start sending media
        engine.enableSendMediaStream(.audio, enable: true)
        engine.enableSendMediaStream(.video, enable: true)
    }
}

Observações importantes

Momento da chamada: Chame este método após createEngine. Chamadas anteriores à criação do engine não surtem efeito.
Comportamento padrão: Se você não chamar esta API, o SDK iniciará o envio de fluxos de mídia imediatamente após estabelecer uma conexão bem-sucedida.
Compatibilidade de modelos: Alguns modelos dependem do evento session.updated para aceitar dados de mídia. Adote o padrão "desativar primeiro, ativar depois" para garantir máxima compatibilidade.
Controle independente: Gerencie áudio e vídeo separadamente. Por exemplo, envie áudio sem transmitir vídeo.

Cenários comuns

Cenário	Ação	Descrição
Antes de conectar ao modelo	`enable(.audio, false)`	Aguarde session.updated antes de enviar
Após receber session.updated	`enable(.audio, true)`	A IA está pronta; inicie o envio

​Visão geral

​Definição da API

​Fluxo de controle

​Exemplo (iOS Swift)

​Desative o envio antes da conexão

​Ative após receber session.updated

​Observações importantes

​Cenários comuns