Skip to main content

Référence de l’API du SDK client AOQ pour HarmonyOS

Référence de l'API AOQ Client SDK pour HarmonyOS (OHOS). Le langage de la plateforme est ArkTS (.ets), relié au moteur C++ via NAPI.

SDK HarmonyOS
Le SDK AOQ fournit des API vidéo générales. Qwen-Audio-Realtime ne prend pas en charge l’entrée ni la sortie vidéo. Pour les capacités de médias des autres modèles, consultez leur documentation de connexion.

Index des API

Cycle de vie du moteur

API

Description

createEngine

Crée l'instance du moteur (singleton)

destroy

Détruit l'instance du moteur

getVersion

Renvoie la chaîne de version du SDK

connect

Connecte au serveur Relay

disconnect

Déconnecte du serveur

Gestion des périphériques audio

API

Description

startAudioCapture

Ouvre le périphérique de capture audio (microphone)

stopAudioCapture

Ferme le périphérique de capture audio

muteAudioCapture

Coupe ou rétablit la capture audio

startAudioPlayer

Démarre la lecture audio (lecture du flux distant)

stopAudioPlayer

Arrête la lecture audio

pauseAudioPlayer

Met en pause la lecture audio avec fondu sortant optionnel

resumeAudioPlayer

Reprend la lecture audio avec fondu entrant optionnel

interruptAudioPlayer

Interrompt le tour de parole audio en cours

enableSpeakerphone

Bascule la sortie audio entre le haut-parleur et l'écouteur

isSpeakerphoneEnabled

Indique si le haut-parleur est actif

Configuration du codec audio

API

Description

setAudioEncoderConfig

Définit les paramètres d'encodage audio

setAudioDecoderConfig

Définit les paramètres de décodage audio

Gestion des périphériques vidéo

API

Description

startVideoCapture

Ouvre le périphérique de capture vidéo (caméra)

stopVideoCapture

Ferme le périphérique de capture vidéo

switchCamera

Bascule entre les caméras avant et arrière

setLocalView

Définit ou supprime la vue de rendu vidéo locale

setRemoteView

Définit ou supprime la vue de rendu vidéo distante

Encodage vidéo et entrée externe

API

Description

setVideoEncoderConfig

Définit les paramètres d'encodage vidéo

pushExternalVideoCapturedFrame

Envoie une trame vidéo brute capturée en externe

pushExternalVideoEncodedFrame

Envoie une trame vidéo encodée en externe

Contrôle du flux multimédia

API

Description

enableSendMediaStream

Active ou désactive l'envoi du flux multimédia local

Lecture de fichiers audio

API

Description

startAudioFile

Démarre la diffusion d'un fichier audio local

stopAudioFile

Arrête la lecture du fichier audio

pauseAudioFile

Met en pause la lecture du fichier audio

resumeAudioFile

Reprend la lecture du fichier audio

getAudioFileDuration

Renvoie la durée totale du fichier audio

getAudioFileCurrentPosition

Renvoie la position de lecture actuelle

setAudioFilePositionMillis

Positionne la lecture à un instant précis du fichier audio

setAudioFileVolume

Définit le volume du fichier audio

getAudioFileVolume

Renvoie le volume actuel du fichier audio

Flux audio externes

API

Description

addAudioExternalStream

Ajoute un flux audio externe

removeAudioExternalStream

Supprime un flux audio externe

pushAudioExternalStreamData

Envoie des données audio PCM externes

setAudioExternalStreamVolume

Définit le volume d'un flux audio externe

getAudioExternalStreamVolume

Renvoie le volume d'un flux audio externe

clearAudioExternalStreamBuffer

Vide le tampon d'un flux audio externe

Messagerie en temps réel

API

Description

sendDataMsg

Envoie un message de données en temps réel

Callbacks de trames audio

API

Description

setAudioFrameObserver

Définit l'observateur de callback de données de trames audio

enableAudioFrameObserver

Active ou désactive les callbacks de trames audio à un point spécifié

Callbacks de trames vidéo

API

Description

setVideoFrameObserver

Définit l'observateur de callback de données de trames vidéo

enableVideoFrameObserver

Active ou désactive les callbacks de trames vidéo à un point spécifié

Callbacks AoqEngineEventListener

Callback

Description

onError

Callback d'erreur du moteur

onWarning

Callback d'avertissement du moteur

onConnectionStatusChange

Callback de changement d'état de connexion

onStats

Callback de statistiques

onAudioDeviceStateChanged

Callback de changement d'état du périphérique audio

onAudioDeviceRouteChanged

Callback de changement de route de sortie audio

onAudioDeviceInterrupted

Callback d'interruption du périphérique audio

onVideoDeviceStateChanged

Callback de changement d'état du périphérique vidéo

onAudioFileState

Callback d'état de lecture du fichier audio

onDataMsg

Callback de réception de message de données en temps réel

IAudioFrameObserver

Interface d'observateur de données de trames audio

IVideoFrameObserver

Interface d'observateur de données de trames vidéo

Détails des API

Cycle de vie du moteur

createEngine

Crée l'instance du moteur. Le SDK conserve le moteur sous forme de singleton global ; tout appel ultérieur à cette méthode renvoie l'instance existante. Renvoie null si l'initialisation du moteur natif échoue.
static createEngine(config: AoqCreateConfig, listener: AoqEngineEventListener, context: common.Context): AoqClientEngine | null

Paramètre

Type

Description

config

AoqCreateConfig

Configuration de création du moteur

listener

AoqEngineEventListener

Écouteur de callback d'événements du moteur (interface ; tous les callbacks sont optionnels)

context

common.Context

Contexte UIAbility/Page, utilisé pour l'initialisation aki+ACPM

Renvoie : AoqClientEngine | null — null si la création native échoue. Remarque : Contrairement à Android, ce SDK renvoie null en cas d'échec. Vérifiez toujours si la valeur de retour est null. Le context doit être un contexte UIAbility ou Page valide.

destroy

Détruit le singleton du moteur et libère toutes les ressources. Vous devez appeler à nouveau createEngine avant toute utilisation ultérieure.
static destroy(): number
Renvoie : 0 en cas de succès ; une valeur non nulle en cas d'échec.

getVersion

Renvoie la chaîne de version actuelle du SDK.
static getVersion(): string
Renvoie : Chaîne de version, par exemple "1.0.0".

connect

Se connecte au serveur Relay. AppServer transmet les paramètres de connexion au client.
Dans la documentation générale de l’API SDK, AppServer attribue les paramètres de connexion via /api/v1/allocate. Pour un modèle précis, consultez Connexion AOQ Qwen-Omni-Realtime, Connexion AOQ Qwen-Audio-Realtime ou Connexion AOQ Qwen-LiveTranslate-Realtime.
connect(config: AoqConnectConfig): number

Paramètre

Type

Description

config

AoqConnectConfig

Configuration de connexion, incluant le token, le SID et la liste des endpoints Relay

Renvoie : 0 si l'appel a été dispatché (asynchrone) ; une valeur non nulle si la validation des paramètres a échoué. Remarque : Les changements d'état de connexion sont signalés de manière asynchrone via onConnectionStatusChange. Il est recommandé d'appeler enableSendMediaStream(false) avant d'appeler connect.

disconnect

Déconnecte du serveur et libère les ressources liées à la connexion. Les périphériques de capture et de lecture audio/vidéo ne s'arrêtent pas automatiquement.
disconnect(): number
Renvoie : 0 si l'appel a été dispatché (asynchrone) ; une valeur non nulle en cas d'échec.

Gestion des périphériques audio

startAudioCapture

Ouvre le périphérique de capture audio (microphone).
startAudioCapture(config: AoqAudioCaptureConfig): number

Paramètre

Type

Description

config

AoqAudioCaptureConfig

Configuration de capture

Renvoie : 0 en cas de succès ; une valeur non nulle en cas d'échec.

stopAudioCapture

Ferme le périphérique de capture audio.
stopAudioCapture(): number

muteAudioCapture

Coupe ou rétablit la capture audio.
muteAudioCapture(mute: boolean): number

Paramètre

Type

Description

mute

boolean

true : couper le son ; false : rétablir le son

startAudioPlayer

Démarre la lecture audio (lecture du flux distant via le haut-parleur ou l'écouteur).
startAudioPlayer(config: AoqAudioPlaybackConfig): number

Paramètre

Type

Description

config

AoqAudioPlaybackConfig

Configuration de lecture

stopAudioPlayer

Arrête la lecture audio.
stopAudioPlayer(): number

pauseAudioPlayer

Met en pause la lecture audio avec un fondu sortant optionnel pour une transition fluide.
pauseAudioPlayer(fadeMs: number): number

Paramètre

Type

Description

fadeMs

number

Durée du fondu sortant (millisecondes) ; 0 signifie immédiat

resumeAudioPlayer

Reprend la lecture audio avec un fondu entrant optionnel pour une transition fluide.
resumeAudioPlayer(fadeMs: number): number

Paramètre

Type

Description

fadeMs

number

Durée du fondu entrant (millisecondes) ; 0 signifie immédiat

interruptAudioPlayer

Interrompt le tour de parole audio en cours.
interruptAudioPlayer(trackType: AoqTrackType, fadeMs: number): number

Paramètre

Type

Description

trackType

AoqTrackType

Type de piste cible ; généralement AoqTrackTypeAudio

fadeMs

number

Durée du fondu sortant (millisecondes)

enableSpeakerphone

Bascule la route de sortie audio entre le haut-parleur et l'écouteur.
enableSpeakerphone(enable: boolean): number

Paramètre

Type

Description

enable

boolean

true : utiliser le haut-parleur ; false : utiliser l'écouteur

isSpeakerphoneEnabled

Indique si le haut-parleur est actif.
isSpeakerphoneEnabled(): boolean
Renvoie : true si le haut-parleur est actif ; false si l'écouteur est actif.

Configuration du codec audio

setAudioEncoderConfig

Définit les paramètres d'encodage audio.
setAudioEncoderConfig(config: AoqAudioCodecConfig): number

setAudioDecoderConfig

Définit les paramètres de décodage audio.
setAudioDecoderConfig(config: AoqAudioCodecConfig): number

Gestion des périphériques vidéo

startVideoCapture

Ouvre le périphérique de capture vidéo (caméra). Si config.isExternal = true, la caméra ne s'ouvre pas ; l'appelant fournit les trames via pushExternalVideoCapturedFrame.
startVideoCapture(config: AoqVideoCaptureConfig): number

stopVideoCapture

Ferme le périphérique de capture vidéo.
stopVideoCapture(): number

switchCamera

Bascule entre les caméras avant et arrière.
switchCamera(direction: AoqCameraDirection): number

Paramètre

Type

Description

direction

AoqCameraDirection

AoqCameraDirectionFront ou AoqCameraDirectionBack

setLocalView

Définit ou supprime la vue de rendu vidéo locale.
setLocalView(trackType: AoqTrackType, canvas: AoqVideoCanvas | null): number

Paramètre

Type

Description

trackType

AoqTrackType

AoqTrackTypeVideo

canvas

AoqVideoCanvas \

null

Configuration du canevas de rendu ; passez null ou définissez canvas.view sur null pour supprimer la vue de rendu

Remarque : Sur HarmonyOS, cet appel doit intervenir après le callback XComponent.onLoad. Passez une instance AoqXComponentController en tant que canvas.view.

setRemoteView

Définit ou supprime la vue de rendu vidéo distante.
setRemoteView(trackType: AoqTrackType, canvas: AoqVideoCanvas | null): number

Paramètre

Type

Description

trackType

AoqTrackType

AoqTrackTypeVideo

canvas

AoqVideoCanvas \

null

Configuration du canevas de rendu ; passez null ou définissez canvas.view sur null pour supprimer la vue de rendu

Encodage vidéo et entrée externe

setVideoEncoderConfig

Définit les paramètres d'encodage vidéo. L'appel est routé vers la piste spécifiée par config.trackType.
setVideoEncoderConfig(config: AoqVideoCodecConfig): number

pushExternalVideoCapturedFrame

Envoie une trame vidéo brute capturée en externe.
pushExternalVideoCapturedFrame(trackType: AoqTrackType, frame: AoqVideoFrame): number

Paramètre

Type

Description

trackType

AoqTrackType

AoqTrackTypeVideo

frame

AoqVideoFrame

Données de trame vidéo

Consommé uniquement après startVideoCapture(isExternal=true). Formats pris en charge : NV12, NV21, BGRA, RGBA, I420. Si le tampon interne est plein, la méthode renvoie AoqECVideoExternalBufferFull (210). Mettez en veille et réessayez ; évitez les boucles actives.

pushExternalVideoEncodedFrame

Envoie une trame vidéo encodée en externe. Le SDK l'envoie directement sans réencodage.
pushExternalVideoEncodedFrame(trackType: AoqTrackType, frame: AoqVideoEncodedFrame): number

Paramètre

Type

Description

trackType

AoqTrackType

AoqTrackTypeVideo

frame

AoqVideoEncodedFrame

Données de trame encodée

Consommé uniquement après configuration de setVideoEncoderConfig(isExternal=true).

Contrôle du flux multimédia

enableSendMediaStream

Active ou désactive l'envoi du flux multimédia local. L'appel est routé vers la piste spécifiée par trackType.
enableSendMediaStream(trackType: AoqTrackType, enable: boolean): number

Paramètre

Type

Description

trackType

AoqTrackType

AoqTrackTypeAudio ou AoqTrackTypeVideo

enable

boolean

true : activer l'envoi ; false : désactiver l'envoi

Modèle recommandé : appelez enableSendMediaStream(trackType, false) après l'initialisation, puis activez l'envoi une fois la connexion établie et la poignée de main de session terminée (onConnectionStatusChange signale AoqConnectionStatusConnected).

Lecture de fichiers audio

startAudioFile

Démarre la diffusion d'un fichier audio local. La lecture du fichier audio est mixée à la fois dans le flux publié et dans la lecture locale.
startAudioFile(fileId: string, config: AoqAudioFileMixConfig): number

Paramètre

Type

Description

fileId

string

Identifiant unique du fichier audio, spécifié par l'appelant

config

AoqAudioFileMixConfig

Configuration de lecture

stopAudioFile / pauseAudioFile / resumeAudioFile

stopAudioFile(fileId: string): number
pauseAudioFile(fileId: string): number
resumeAudioFile(fileId: string): number

getAudioFileDuration / getAudioFileCurrentPosition

getAudioFileDuration(fileId: string): number      // Returns total duration (ms); negative on failure
getAudioFileCurrentPosition(fileId: string): number // Returns current position (ms); negative on failure

setAudioFilePositionMillis

setAudioFilePositionMillis(fileId: string, positionMillis: number): number

setAudioFileVolume / getAudioFileVolume

setAudioFileVolume(fileId: string, type: AoqAudioStreamDirection, volume: number): number
getAudioFileVolume(fileId: string, type: AoqAudioStreamDirection): number // Returns [0, 100]; negative on failure

Flux audio externes

addAudioExternalStream

Ajoute un flux audio externe.
addAudioExternalStream(streamId: string, config: AoqAudioExternalStreamConfig): number

pushAudioExternalStreamData

Envoie des données audio PCM externes. Renvoie AoqECAudioExternalBufferFull (110) si le tampon interne est plein.
pushAudioExternalStreamData(streamId: string, data: AoqAudioFrameData): number

setAudioExternalStreamVolume / getAudioExternalStreamVolume

setAudioExternalStreamVolume(streamId: string, type: AoqAudioStreamDirection, vol: number): number
getAudioExternalStreamVolume(streamId: string, type: AoqAudioStreamDirection): number

clearAudioExternalStreamBuffer

Vide le tampon du flux audio externe. Aucune valeur de retour ; exécution asynchrone.
clearAudioExternalStreamBuffer(streamId: string, fadeoutMs: number): void

Paramètre

Type

Description

fadeoutMs

number

-1 : fondu sortant par défaut ; 0 : vider immédiatement ; >0 : conserver la durée spécifiée puis fondu sortant

removeAudioExternalStream

removeAudioExternalStream(streamId: string): number

Messagerie en temps réel

sendDataMsg

Envoie un message de données en temps réel via le canal de données MoQT.
sendDataMsg(msg: AoqDataMsg): number

Callbacks de trames audio

setAudioFrameObserver

Définit l'observateur de callback de données de trames audio. Enregistrez d'abord l'observateur, puis appelez enableAudioFrameObserver pour commencer à recevoir les callbacks.
setAudioFrameObserver(observer: IAudioFrameObserver | null): number

enableAudioFrameObserver

enableAudioFrameObserver(enabled: boolean, audioSource: AoqAudioSource, config: AoqAudioObserverConfig): number

Callbacks de trames vidéo

setVideoFrameObserver

setVideoFrameObserver(observer: IVideoFrameObserver | null): number

enableVideoFrameObserver

enableVideoFrameObserver(enabled: boolean, videoSource: AoqVideoSource, config: AoqVideoObserverConfig): number

Callbacks AoqEngineEventListener

Tous les callbacks sont des propriétés optionnelles (?).
export interface AoqEngineEventListener {
  onError?: (code: number, message: string) => void;
  onWarning?: (code: number, message: string) => void;
  onConnectionStatusChange?: (status: AoqConnectionStatus) => void;
  onStats?: (stats: AoqStats) => void;
  onAudioDeviceStateChanged?: (state: AoqAudioDeviceState) => void;
  onAudioDeviceRouteChanged?: (routeType: number) => void;
  onAudioDeviceInterrupted?: (interrupt: boolean) => void;
  onVideoDeviceStateChanged?: (state: AoqVideoDeviceState) => void;
  onAudioFileState?: (state: AoqAudioFileState) => void;
  onDataMsg?: (msg: AoqDataMsg) => void;
}

IAudioFrameObserver

export interface IAudioFrameObserver {
  onCapturedAudioFrame?: (frame: AoqAudioFrameData) => void;
  onProcessCapturedAudioFrame?: (frame: AoqAudioFrameData) => void;
  onPublishAudioFrame?: (trackType: AoqTrackType, frame: AoqAudioFrameData) => void;
  onPlaybackAudioFrame?: (frame: AoqAudioFrameData) => void;
}
frame.dataPtr est une copie Uint8Array de la mémoire native et est actuellement en lecture seule (les modifications ne sont pas réécrites dans le SDK).

IVideoFrameObserver

export interface IVideoFrameObserver {
  onCapturedVideoFrame?: (frame: AoqVideoFrame) => boolean;
  onPreEncodeVideoFrame?: (trackType: AoqTrackType, frame: AoqVideoFrame) => boolean;
  onRemoteVideoFrame?: (trackType: AoqTrackType, frame: AoqVideoFrame) => boolean;
}
Les tampons de trames sont des copies Uint8Array de la mémoire native, valides uniquement pendant le callback. Ils sont actuellement équivalents à la lecture seule ; la prise en charge de la réécriture est prévue pour une prochaine version.

Types de données et énumérations

Types généraux

AoqCreateConfig

Champ

Type

Valeur par défaut

Description

workDir

string

""

Répertoire de travail du SDK

enableDumpAudio

boolean

false

Activer le dump audio brut (pour le débogage)

extras

string

""

Chaîne de paramètres supplémentaires

Contrairement à Android, AoqCreateConfig sur HarmonyOS n'inclut pas isBTScoMode.

AoqConnectConfig

Champ

Type

Valeur par défaut

Description

token

string

""

Token d'authentification

sid

string

""

ID de session

certFingerprint

string

""

Empreinte du certificat serveur

relayEndpoints

AoqRelayEndpoint[]

[]

Liste des endpoints Relay

workspaceIdHash

string

""

Hash de l'ID de l'espace de travail

publishTracks

AoqTrackParam[]

[]

Pistes locales à publier

subscribeTracks

AoqTrackParam[]

[]

Pistes distantes auxquelles s'abonner

AoqRelayEndpoint

Champ

Type

Description

endpoint

string

Nom d'hôte ou IP du serveur Relay

port

number

Port du serveur Relay

AoqTrackParam

Champ

Type

Description

trackType

AoqTrackType

Type de piste

AoqErrorCode

Valeur d'énumération

Valeur

Description

AoqECOK

0

Succès

AoqECParamInvalid

1

Paramètre invalide

AoqECStateInvalid

2

État invalide

AoqECUnSupport

3

Non pris en charge

AoqECAudio

100

Erreur audio générique

AoqECAudioExternalBufferFull

110

Tampon audio externe plein

AoqECAudioDevice

120

Erreur générique de périphérique audio

AoqECAudioDeviceRecordingAuthFailed

121

Autorisation d'enregistrement non accordée

AoqECAudioDeviceRecordingOccupied

122

Périphérique d'enregistrement en cours d'utilisation

AoqECAudioDeviceRecordingBackgroundStart

123

Échec du démarrage de l'enregistrement en arrière-plan

AoqECAudioDeviceRecordingStartFail

124

Échec du démarrage de l'enregistrement

AoqECAudioDevicePlayoutOccupied

125

Périphérique de lecture en cours d'utilisation

AoqECAudioDevicePlayoutBackgroundStart

126

Échec du démarrage de la lecture en arrière-plan

AoqECAudioDevicePlayoutStartFail

127

Échec du démarrage de la lecture

AoqECAudioDeviceEarpieceRequiresVoipMode

128

L'écouteur nécessite le mode VoIP

AoqECVideo

200

Erreur vidéo générique

AoqECVideoExternalBufferFull

210

Tampon vidéo externe plein

AoqECVideoExternalCaptureNotEnabled

211

Capture vidéo externe non activée

AoqECVideoExternalEncoderNotEnabled

212

Encodeur vidéo externe non activé

AoqECVideoDevice

220

Erreur générique de périphérique vidéo

AoqECVideoDeviceCameraOpenFail

221

Échec de l'ouverture de la caméra

AoqECVideoDeviceCameraAuthFailed

222

Autorisation de la caméra non accordée

AoqECVideoDeviceCameraOccupied

223

Caméra en cours d'utilisation

AoqECVideoDeviceCameraRunningError

224

Erreur d'exécution de la caméra

AoqECVideoCodec

230

Erreur générique de codec vidéo

AoqECVideoCodecEncoderInitFail

231

Échec de l'initialisation de l'encodeur vidéo

AoqECVideoRender

240

Erreur générique de rendu vidéo

AoqECVideoRenderCreateFail

241

Échec de la création du moteur de rendu vidéo

AoqECVideoRenderDrawError

242

Erreur de dessin du rendu vidéo

AoqWarningCode

Valeur d'énumération

Valeur

Description

AoqWCOK

0

Aucun avertissement

AoqWCAudio

100

Avertissement audio générique

AoqWCAudioHowling

101

Larsen détecté

AoqWCAudioDevice

120

Avertissement générique de périphérique audio

AoqWCAudioDeviceMicEnumerateError

121

Erreur d'énumération du microphone

AoqWCAudioDeviceMicStartTimeout

122

Délai d'attente dépassé pour le démarrage du microphone

AoqWCAudioDeviceRecordingError

123

Erreur d'enregistrement

AoqWCAudioDeviceSpeakerEnumerateError

124

Erreur d'énumération du haut-parleur

AoqWCAudioDeviceSpeakerStartTimeout

125

Délai d'attente dépassé pour le démarrage du haut-parleur

AoqWCAudioDevicePlayoutError

126

Erreur de lecture

AoqWCVideo

200

Avertissement vidéo générique

AoqWCVideoCameraEnumerateError

201

Erreur d'énumération de la caméra

AoqWCVideoEncoderSwitched

202

Encodeur vidéo basculé

AoqWCVideoRenderDowngrade

203

Rendu vidéo dégradé

AoqTrackType

Valeur d'énumération

Valeur

Description

AoqTrackTypeAudio

0

Piste audio

AoqTrackTypeVideo

1

Piste vidéo

AoqTrackTypeData

2

Piste de messagerie de données

Contrairement à Android, AoqTrackTypeScreen (3) n'est pas inclus sur HarmonyOS. La capture d'écran n'est pas encore disponible.

AoqConnectionStatus

Valeur d'énumération

Valeur

Description

AoqConnectionStatusDisconnected

0

Déconnecté

AoqConnectionStatusConnecting

1

Connexion en cours

AoqConnectionStatusConnected

2

Connecté

AoqConnectionStatusFailed

3

Échec de la connexion

AoqEncoderType / AoqMirrorMode / AoqOrientationMode

Identique au SDK Android ; aucun changement.

Types audio

AoqAudioCaptureConfig

Champ

Type

Valeur par défaut

Description

isExternal

boolean

false

true : utiliser une entrée audio externe

isVoipMode

boolean

false

true : activer le mode VoIP (AEC matériel)

channel

number

1

Nombre de canaux : 1 ou 2

AoqAudioPlaybackConfig

Champ

Type

Valeur par défaut

Description

isVoipMode

boolean

false

true : activer le mode VoIP (AEC matériel) ; la première écriture l'emporte entre la configuration de capture et de lecture

isDefaultSpeaker

boolean

true

true : haut-parleur par défaut ; false : écouteur par défaut

isExternal

boolean

false

true : utiliser une sortie audio externe

channel

number

1

Nombre de canaux : 1 ou 2

AoqAudioCodecConfig

Champ

Type

Valeur par défaut

Description

trackType

AoqTrackType

AoqTrackTypeAudio

Piste cible

codecType

AoqEncoderType

AoqEncoderTypeAudioPCM

Format de codec

sampleRate

number

48000

Taux d'échantillonnage (Hz)

channel

number

1

Nombre de canaux

bitrate

number

32000

Débit binaire (bps)

Types vidéo

AoqVideoCaptureConfig

Champ

Type

Valeur par défaut

Description

width

number

1280

Largeur de capture ; ignoré lorsque isExternal=true

height

number

720

Hauteur de capture

fps

number

15

Fréquence d'images de capture

isExternal

boolean

false

true : ne pas ouvrir la caméra ; fournir les trames via pushExternalVideoCapturedFrame

cameraDirection

AoqCameraDirection

Front

Direction de la caméra

AoqVideoCodecConfig

Champ

Type

Valeur par défaut

Description

trackType

AoqTrackType

AoqTrackTypeVideo

Piste cible

codecType

AoqEncoderType

AoqEncoderTypeVideoH264

Format de codec

width

number

720

Largeur d'encodage

height

number

1280

Hauteur d'encodage

fps

number

15

Fréquence d'images

bitrate

number

500

Débit binaire (kbps)

minBitrate

number

128

Débit binaire minimum (kbps)

keyframeInterval

number

2

Intervalle d'images clés (secondes)

mirrorMode

AoqMirrorMode

Disabled

Mode miroir

orientationMode

AoqOrientationMode

Auto

Orientation vidéo

isExternal

boolean

false

true : le SDK ignore le réencodage

Contrairement à Android, les unités de débit binaire sur HarmonyOS sont en kbps (valeurs par défaut : 500/128). Sur Android, elles sont en bps (valeurs par défaut : 500000/128000).

AoqVideoCanvas

Champ

Type

Valeur par défaut

Description

view

Object \

null

null

Instance AoqXComponentController ; passez null pour supprimer la liaison de rendu

renderMode

AoqRenderMode

AoqRenderModeAuto

Mode d'affichage

AoqVideoPixelFormat

Valeur d'énumération

Valeur

Description

AoqVideoPixelFormatUnknown

0

Inconnu

AoqVideoPixelFormatI420

1

I420

AoqVideoPixelFormatNV12

2

NV12

AoqVideoPixelFormatNV21

3

NV21

AoqVideoPixelFormatBGRA

4

BGRA

AoqVideoPixelFormatRGBA

5

RGBA

TextureOES et Texture2D ne sont pas pris en charge sur HarmonyOS.

AoqVideoFrame

Champ

Type

Description

format

AoqVideoPixelFormat

Format de pixel

width

number

Largeur (pixels)

height

number

Hauteur (pixels)

dataPtr

ArrayBuffer \

Uint8Array \

null

Données au format compact

dataSize

number

Taille des données compactes (octets)

dataY / dataU / dataV

ArrayBuffer \

Uint8Array \

null

Plans I420

strideY / strideU / strideV

number

Pas de plan

timeStamp

number

Horodatage (ms) ; lorsque 0, le SDK utilise l'horloge locale

AoqVideoEncodedFrame

Champ

Type

Description

codec

AoqVideoCodecType

Format d'encodage (AoqVideoCodecTypeJPEG = 0)

data

ArrayBuffer \

Uint8Array

Données de trame encodée

width

number

Largeur

height

number

Hauteur

timeStamp

number

Horodatage (ms)

Types de fichiers audio et de flux externes

AoqAudioFileMixConfig

Champ

Type

Valeur par défaut

Description

fileName

string

""

Nom du fichier (chemin inclus)

cycles

number

-1

Nombre de boucles ; -1 signifie boucle infinie

startPosMs

number

0

Position de départ de la lecture (ms)

publishVolume

number

100

Volume de publication [0, 100]

playoutVolume

number

100

Volume de lecture locale [0, 100]

AoqAudioExternalStreamConfig

Champ

Type

Valeur par défaut

Description

trackType

AoqTrackType

AoqTrackTypeAudio

Type de piste

codecType

AoqEncoderType

AoqEncoderTypeAudioPCM

Format audio

channels

number

1

Nombre de canaux

sampleRate

number

48000

Taux d'échantillonnage (Hz)

playoutVolume

number

100

Volume de lecture [0, 100]

publishVolume

number

100

Volume de publication [0, 100]

maxBufferDuration

number

1000

Durée maximale du tampon (ms)

enable3A

boolean

false

Indique s'il faut appliquer le traitement 3A au PCM d'entrée

AoqAudioFrameData

Champ

Type

Description

dataPtr

ArrayBuffer \

Uint8Array \

null

Données audio PCM brutes

dataSize

number

Taille des données PCM (octets)

numOfSamples

number

Nombre d'échantillons (mono)

bytesPerSample

number

Octets par échantillon

numOfChannels

number

Nombre de canaux

samplesPerSec

number

Taux d'échantillonnage

pushSequence

number

Numéro de séquence d'envoi PCM

timeStamp

number

Horodatage

autoGenMute

boolean

true : il s'agit de données de silence générées par le SDK

Types de configuration d'observateur

AoqAudioObserverConfig

Champ

Type

Valeur par défaut

Description

sampleRate

number

48000

Taux d'échantillonnage du callback

channels

number

1

Nombre de canaux du callback

mode

AoqAudioObserverMode

ReadOnly

Mode lecture/écriture

AoqVideoObserverConfig

Champ

Type

Valeur par défaut

Description

format

AoqVideoPixelFormat

I420

Format de pixel du callback

alignment

AoqVideoObserverAlignment

Default

Alignement de la largeur

mode

AoqVideoObserverMode

ReadOnly

Mode lecture/écriture

mirrorApplied

boolean

false

Indique s'il faut appliquer l'effet miroir

Types de statistiques

AoqStats

Champ

Type

Description

audioPublishStats

AoqAudioPublishStats[]

Statistiques de publication audio

videoPublishStats

AoqVideoPublishStats[]

Statistiques de publication vidéo

dataMsgPublishStats

AoqDataMsgPublishStats[]

Statistiques de publication de messages de données

audioSubscribeStats

AoqAudioSubscribeStats[]

Statistiques d'abonnement audio

videoSubscribeStats

AoqVideoSubscribeStats[]

Statistiques d'abonnement vidéo

dataMsgSubscribeStats

AoqDataMsgSubscribeStats[]

Statistiques d'abonnement aux messages de données

networkStats

AoqNetworkStats \

null

Statistiques réseau

Sous-types de statistiques

AoqAudioPublishStats : trackType / bitrate / bytes / encodeVolume AoqVideoPublishStats : trackType / bitrate / bytes / encodeFps AoqAudioSubscribeStats : trackType / bitrate / bytes / playVolume AoqVideoSubscribeStats : trackType / bitrate / bytes / decodeFps / renderFps AoqDataMsgPublishStats / AoqDataMsgSubscribeStats : trackType / bitrate / bytes AoqNetworkStats : sendBitrate / sendBytes / recvBitrate / recvBytes / loss / rtt

Différences clés par rapport au SDK Android

Catégorie

Android

HarmonyOS

Langage d'implémentation

Java

ArkTS (.ets), relié au C++ via NAPI

Type de valeur de retour

int / long / boolean

number / boolean

Retour de createEngine

@NonNull AoqClientEngine

AoqClientEngine \

null

Contexte de createEngine

android.content.Context

common.Context (UIAbility/Page)

Forme de l'écouteur

Classe abstraite avec méthodes vides par défaut

Interface TS ; tous les callbacks sont optionnels (?)

Forme de l'observateur de trames

Interface avec méthodes par défaut

Interface TS ; tous les callbacks sont optionnels (?)

AoqCreateConfig

Inclut isBTScoMode

N'inclut pas isBTScoMode

AoqAudioPlaybackConfig

Pas de isVoipMode

Inclut isVoipMode ; la première écriture l'emporte entre capture et lecture

onAudioDeviceFocusChanged

Fourni

Non fourni (pas d'abstraction de focus audio)

Vue de rendu vidéo

View (SurfaceView/TextureView)

AoqXComponentController (étend XComponentController)

Énumération de format de pixel

Inclut TextureOES (7) / Texture2D (8)

N'inclut pas les formats de texture

Champs supplémentaires de trame vidéo

textureId / transformMatrix / eglContext

Non inclus

Conteneur de données de trame

byte[] / ByteBuffer

ArrayBuffer / Uint8Array

Unité de débit binaire d'encodage vidéo

bps (défauts : 500000/128000)

kbps (défauts : 500/128)

AoqTrackType

Inclut AoqTrackTypeScreen (3)

N'inclut pas AoqTrackTypeScreen ; capture d'écran non disponible

API de capture d'écran

startScreenCapture / stopScreenCapture

Pas encore fournies

Réécriture d'observateur

Réécriture I420 prise en charge

Actuellement équivalent à lecture seule ; réécriture prévue pour une prochaine version

Sécurité de réenregistrement d'observateur

Repose sur les internes du SDK

Protection UAF utilisant le modèle tombstone

Surveillance des périphériques

Implicite dans la couche Java

AoqDeviceMonitor (interne) démarre automatiquement

Espace de noms des codes d'erreur

AoqErrorCodeXxx

AoqECXxx (ex. : AoqECOK, AoqECParamInvalid)

Notes d'architecture

  1. AoqXComponentController : Étend XComponentController et redéfinit onSurfaceCreated, onSurfaceChanged et onSurfaceDestroyed. Créez une instance, attachez-la à un XComponent et passez-la en tant que canvas.view lors de l'appel à setLocalView ou setRemoteView.
  2. Architecture NAPI : façade (AoqClientEngine.ets) → implémentation (AoqClientEngineImpl.ets) → NAPI (libaoq_client_sdk.so). Les objets de configuration sont aplatis en paramètres individuels au niveau de la couche d'implémentation.
  3. Surveillance des périphériques (interne) : AoqDeviceMonitor démarre automatiquement après createEngine et transmet l'état du réseau ainsi que l'état premier plan/arrière-plan de l'application au moteur C++.
  4. Protection UAF de l'observateur : Le réenregistrement suit une séquence en trois étapes : couper l'ancienne référence en C++ → pousser l'ancien observateur vers le tombstone → pointer vers le nouvel observateur.
  5. Sémantique de charge utile de trame : Les tampons Uint8Array dans les callbacks de trames audio/vidéo sont des copies de la mémoire native. La réécriture n'est pas prise en charge en P1 ; le zéro copie est prévu pour la P2.