Référence de l'API AOQ Client SDK pour HarmonyOS (OHOS). Le langage de la plateforme est ArkTS (.ets), relié au moteur C++ via NAPI.
Index des API
Cycle de vie du moteur
API | Description |
|---|---|
createEngine | Crée l'instance du moteur (singleton) |
destroy | Détruit l'instance du moteur |
getVersion | Renvoie la chaîne de version du SDK |
connect | Connecte au serveur Relay |
disconnect | Déconnecte du serveur |
Gestion des périphériques audio
API | Description |
|---|---|
startAudioCapture | Ouvre le périphérique de capture audio (microphone) |
stopAudioCapture | Ferme le périphérique de capture audio |
muteAudioCapture | Coupe ou rétablit la capture audio |
startAudioPlayer | Démarre la lecture audio (lecture du flux distant) |
stopAudioPlayer | Arrête la lecture audio |
pauseAudioPlayer | Met en pause la lecture audio avec fondu sortant optionnel |
resumeAudioPlayer | Reprend la lecture audio avec fondu entrant optionnel |
interruptAudioPlayer | Interrompt le tour de parole audio en cours |
enableSpeakerphone | Bascule la sortie audio entre le haut-parleur et l'écouteur |
isSpeakerphoneEnabled | Indique si le haut-parleur est actif |
Configuration du codec audio
API | Description |
|---|---|
setAudioEncoderConfig | Définit les paramètres d'encodage audio |
setAudioDecoderConfig | Définit les paramètres de décodage audio |
Gestion des périphériques vidéo
API | Description |
|---|---|
startVideoCapture | Ouvre le périphérique de capture vidéo (caméra) |
stopVideoCapture | Ferme le périphérique de capture vidéo |
switchCamera | Bascule entre les caméras avant et arrière |
setLocalView | Définit ou supprime la vue de rendu vidéo locale |
setRemoteView | Définit ou supprime la vue de rendu vidéo distante |
Encodage vidéo et entrée externe
API | Description |
|---|---|
setVideoEncoderConfig | Définit les paramètres d'encodage vidéo |
pushExternalVideoCapturedFrame | Envoie une trame vidéo brute capturée en externe |
pushExternalVideoEncodedFrame | Envoie une trame vidéo encodée en externe |
Contrôle du flux multimédia
API | Description |
|---|---|
enableSendMediaStream | Active ou désactive l'envoi du flux multimédia local |
Lecture de fichiers audio
API | Description |
|---|---|
startAudioFile | Démarre la diffusion d'un fichier audio local |
stopAudioFile | Arrête la lecture du fichier audio |
pauseAudioFile | Met en pause la lecture du fichier audio |
resumeAudioFile | Reprend la lecture du fichier audio |
getAudioFileDuration | Renvoie la durée totale du fichier audio |
getAudioFileCurrentPosition | Renvoie la position de lecture actuelle |
setAudioFilePositionMillis | Positionne la lecture à un instant précis du fichier audio |
setAudioFileVolume | Définit le volume du fichier audio |
getAudioFileVolume | Renvoie le volume actuel du fichier audio |
Flux audio externes
API | Description |
|---|---|
addAudioExternalStream | Ajoute un flux audio externe |
removeAudioExternalStream | Supprime un flux audio externe |
pushAudioExternalStreamData | Envoie des données audio PCM externes |
setAudioExternalStreamVolume | Définit le volume d'un flux audio externe |
getAudioExternalStreamVolume | Renvoie le volume d'un flux audio externe |
clearAudioExternalStreamBuffer | Vide le tampon d'un flux audio externe |
Messagerie en temps réel
API | Description |
|---|---|
sendDataMsg | Envoie un message de données en temps réel |
Callbacks de trames audio
API | Description |
|---|---|
setAudioFrameObserver | Définit l'observateur de callback de données de trames audio |
enableAudioFrameObserver | Active ou désactive les callbacks de trames audio à un point spécifié |
Callbacks de trames vidéo
API | Description |
|---|---|
setVideoFrameObserver | Définit l'observateur de callback de données de trames vidéo |
enableVideoFrameObserver | Active ou désactive les callbacks de trames vidéo à un point spécifié |
Callbacks AoqEngineEventListener
Callback | Description |
|---|---|
onError | Callback d'erreur du moteur |
onWarning | Callback d'avertissement du moteur |
onConnectionStatusChange | Callback de changement d'état de connexion |
onStats | Callback de statistiques |
onAudioDeviceStateChanged | Callback de changement d'état du périphérique audio |
onAudioDeviceRouteChanged | Callback de changement de route de sortie audio |
onAudioDeviceInterrupted | Callback d'interruption du périphérique audio |
onVideoDeviceStateChanged | Callback de changement d'état du périphérique vidéo |
onAudioFileState | Callback d'état de lecture du fichier audio |
onDataMsg | Callback de réception de message de données en temps réel |
IAudioFrameObserver | Interface d'observateur de données de trames audio |
IVideoFrameObserver | Interface d'observateur de données de trames vidéo |
Détails des API
Cycle de vie du moteur
createEngine
Crée l'instance du moteur. Le SDK conserve le moteur sous forme de singleton global ; tout appel ultérieur à cette méthode renvoie l'instance existante. Renvoie null si l'initialisation du moteur natif échoue.
Paramètre | Type | Description |
|---|---|---|
config | AoqCreateConfig | Configuration de création du moteur |
listener | AoqEngineEventListener | Écouteur de callback d'événements du moteur (interface ; tous les callbacks sont optionnels) |
context | common.Context | Contexte UIAbility/Page, utilisé pour l'initialisation aki+ACPM |
AoqClientEngine | null — null si la création native échoue.
Remarque : Contrairement à Android, ce SDK renvoie null en cas d'échec. Vérifiez toujours si la valeur de retour est null. Le context doit être un contexte UIAbility ou Page valide.
destroy
Détruit le singleton du moteur et libère toutes les ressources. Vous devez appeler à nouveau createEngine avant toute utilisation ultérieure.
getVersion
Renvoie la chaîne de version actuelle du SDK.
"1.0.0".
connect
Se connecte au serveur Relay. AppServer transmet les paramètres de connexion au client.
/api/v1/allocate. Pour un modèle précis, consultez Connexion AOQ Qwen-Omni-Realtime, Connexion AOQ Qwen-Audio-Realtime ou Connexion AOQ Qwen-LiveTranslate-Realtime.Paramètre | Type | Description |
|---|---|---|
config | AoqConnectConfig | Configuration de connexion, incluant le token, le SID et la liste des endpoints Relay |
onConnectionStatusChange. Il est recommandé d'appeler enableSendMediaStream(false) avant d'appeler connect.
disconnect
Déconnecte du serveur et libère les ressources liées à la connexion. Les périphériques de capture et de lecture audio/vidéo ne s'arrêtent pas automatiquement.
Gestion des périphériques audio
startAudioCapture
Ouvre le périphérique de capture audio (microphone).
Paramètre | Type | Description |
|---|---|---|
config | AoqAudioCaptureConfig | Configuration de capture |
stopAudioCapture
Ferme le périphérique de capture audio.
muteAudioCapture
Coupe ou rétablit la capture audio.
Paramètre | Type | Description |
|---|---|---|
mute | boolean | true : couper le son ; false : rétablir le son |
startAudioPlayer
Démarre la lecture audio (lecture du flux distant via le haut-parleur ou l'écouteur).
Paramètre | Type | Description |
|---|---|---|
config | AoqAudioPlaybackConfig | Configuration de lecture |
stopAudioPlayer
Arrête la lecture audio.
pauseAudioPlayer
Met en pause la lecture audio avec un fondu sortant optionnel pour une transition fluide.
Paramètre | Type | Description |
|---|---|---|
fadeMs | number | Durée du fondu sortant (millisecondes) ; 0 signifie immédiat |
resumeAudioPlayer
Reprend la lecture audio avec un fondu entrant optionnel pour une transition fluide.
Paramètre | Type | Description |
|---|---|---|
fadeMs | number | Durée du fondu entrant (millisecondes) ; 0 signifie immédiat |
interruptAudioPlayer
Interrompt le tour de parole audio en cours.
Paramètre | Type | Description |
|---|---|---|
trackType | AoqTrackType | Type de piste cible ; généralement |
fadeMs | number | Durée du fondu sortant (millisecondes) |
enableSpeakerphone
Bascule la route de sortie audio entre le haut-parleur et l'écouteur.
Paramètre | Type | Description |
|---|---|---|
enable | boolean | true : utiliser le haut-parleur ; false : utiliser l'écouteur |
isSpeakerphoneEnabled
Indique si le haut-parleur est actif.
Configuration du codec audio
setAudioEncoderConfig
Définit les paramètres d'encodage audio.
setAudioDecoderConfig
Définit les paramètres de décodage audio.
Gestion des périphériques vidéo
startVideoCapture
Ouvre le périphérique de capture vidéo (caméra). Si config.isExternal = true, la caméra ne s'ouvre pas ; l'appelant fournit les trames via pushExternalVideoCapturedFrame.
stopVideoCapture
Ferme le périphérique de capture vidéo.
switchCamera
Bascule entre les caméras avant et arrière.
Paramètre | Type | Description |
|---|---|---|
direction | AoqCameraDirection |
|
setLocalView
Définit ou supprime la vue de rendu vidéo locale.
Paramètre | Type | Description | |
|---|---|---|---|
trackType | AoqTrackType |
| |
canvas | AoqVideoCanvas \ | null | Configuration du canevas de rendu ; passez null ou définissez |
XComponent.onLoad. Passez une instance AoqXComponentController en tant que canvas.view.
setRemoteView
Définit ou supprime la vue de rendu vidéo distante.
Paramètre | Type | Description | |
|---|---|---|---|
trackType | AoqTrackType |
| |
canvas | AoqVideoCanvas \ | null | Configuration du canevas de rendu ; passez null ou définissez |
Encodage vidéo et entrée externe
setVideoEncoderConfig
Définit les paramètres d'encodage vidéo. L'appel est routé vers la piste spécifiée par config.trackType.
pushExternalVideoCapturedFrame
Envoie une trame vidéo brute capturée en externe.
Paramètre | Type | Description |
|---|---|---|
trackType | AoqTrackType |
|
frame | AoqVideoFrame | Données de trame vidéo |
startVideoCapture(isExternal=true). Formats pris en charge : NV12, NV21, BGRA, RGBA, I420.
Si le tampon interne est plein, la méthode renvoie AoqECVideoExternalBufferFull (210). Mettez en veille et réessayez ; évitez les boucles actives.
pushExternalVideoEncodedFrame
Envoie une trame vidéo encodée en externe. Le SDK l'envoie directement sans réencodage.
Paramètre | Type | Description |
|---|---|---|
trackType | AoqTrackType |
|
frame | AoqVideoEncodedFrame | Données de trame encodée |
setVideoEncoderConfig(isExternal=true).
Contrôle du flux multimédia
enableSendMediaStream
Active ou désactive l'envoi du flux multimédia local. L'appel est routé vers la piste spécifiée par trackType.
Paramètre | Type | Description |
|---|---|---|
trackType | AoqTrackType |
|
enable | boolean | true : activer l'envoi ; false : désactiver l'envoi |
enableSendMediaStream(trackType, false) après l'initialisation, puis activez l'envoi une fois la connexion établie et la poignée de main de session terminée (onConnectionStatusChange signale AoqConnectionStatusConnected).
Lecture de fichiers audio
startAudioFile
Démarre la diffusion d'un fichier audio local. La lecture du fichier audio est mixée à la fois dans le flux publié et dans la lecture locale.
Paramètre | Type | Description |
|---|---|---|
fileId | string | Identifiant unique du fichier audio, spécifié par l'appelant |
config | AoqAudioFileMixConfig | Configuration de lecture |
stopAudioFile / pauseAudioFile / resumeAudioFile
getAudioFileDuration / getAudioFileCurrentPosition
setAudioFilePositionMillis
setAudioFileVolume / getAudioFileVolume
Flux audio externes
addAudioExternalStream
Ajoute un flux audio externe.
pushAudioExternalStreamData
Envoie des données audio PCM externes. Renvoie AoqECAudioExternalBufferFull (110) si le tampon interne est plein.
setAudioExternalStreamVolume / getAudioExternalStreamVolume
clearAudioExternalStreamBuffer
Vide le tampon du flux audio externe. Aucune valeur de retour ; exécution asynchrone.
Paramètre | Type | Description |
|---|---|---|
fadeoutMs | number | -1 : fondu sortant par défaut ; 0 : vider immédiatement ; >0 : conserver la durée spécifiée puis fondu sortant |
removeAudioExternalStream
Messagerie en temps réel
sendDataMsg
Envoie un message de données en temps réel via le canal de données MoQT.
Callbacks de trames audio
setAudioFrameObserver
Définit l'observateur de callback de données de trames audio. Enregistrez d'abord l'observateur, puis appelez enableAudioFrameObserver pour commencer à recevoir les callbacks.
enableAudioFrameObserver
Callbacks de trames vidéo
setVideoFrameObserver
enableVideoFrameObserver
Callbacks AoqEngineEventListener
Tous les callbacks sont des propriétés optionnelles (?).
IAudioFrameObserver
frame.dataPtr est une copie Uint8Array de la mémoire native et est actuellement en lecture seule (les modifications ne sont pas réécrites dans le SDK).
IVideoFrameObserver
Uint8Array de la mémoire native, valides uniquement pendant le callback. Ils sont actuellement équivalents à la lecture seule ; la prise en charge de la réécriture est prévue pour une prochaine version.
Types de données et énumérations
Types généraux
AoqCreateConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
workDir | string | "" | Répertoire de travail du SDK |
enableDumpAudio | boolean | false | Activer le dump audio brut (pour le débogage) |
extras | string | "" | Chaîne de paramètres supplémentaires |
AoqCreateConfig sur HarmonyOS n'inclut pas isBTScoMode.
AoqConnectConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
token | string | "" | Token d'authentification |
sid | string | "" | ID de session |
certFingerprint | string | "" | Empreinte du certificat serveur |
relayEndpoints | AoqRelayEndpoint[] | [] | Liste des endpoints Relay |
workspaceIdHash | string | "" | Hash de l'ID de l'espace de travail |
publishTracks | AoqTrackParam[] | [] | Pistes locales à publier |
subscribeTracks | AoqTrackParam[] | [] | Pistes distantes auxquelles s'abonner |
AoqRelayEndpoint
Champ | Type | Description |
|---|---|---|
endpoint | string | Nom d'hôte ou IP du serveur Relay |
port | number | Port du serveur Relay |
AoqTrackParam
Champ | Type | Description |
|---|---|---|
trackType | AoqTrackType | Type de piste |
AoqErrorCode
Valeur d'énumération | Valeur | Description |
|---|---|---|
AoqECOK | 0 | Succès |
AoqECParamInvalid | 1 | Paramètre invalide |
AoqECStateInvalid | 2 | État invalide |
AoqECUnSupport | 3 | Non pris en charge |
AoqECAudio | 100 | Erreur audio générique |
AoqECAudioExternalBufferFull | 110 | Tampon audio externe plein |
AoqECAudioDevice | 120 | Erreur générique de périphérique audio |
AoqECAudioDeviceRecordingAuthFailed | 121 | Autorisation d'enregistrement non accordée |
AoqECAudioDeviceRecordingOccupied | 122 | Périphérique d'enregistrement en cours d'utilisation |
AoqECAudioDeviceRecordingBackgroundStart | 123 | Échec du démarrage de l'enregistrement en arrière-plan |
AoqECAudioDeviceRecordingStartFail | 124 | Échec du démarrage de l'enregistrement |
AoqECAudioDevicePlayoutOccupied | 125 | Périphérique de lecture en cours d'utilisation |
AoqECAudioDevicePlayoutBackgroundStart | 126 | Échec du démarrage de la lecture en arrière-plan |
AoqECAudioDevicePlayoutStartFail | 127 | Échec du démarrage de la lecture |
AoqECAudioDeviceEarpieceRequiresVoipMode | 128 | L'écouteur nécessite le mode VoIP |
AoqECVideo | 200 | Erreur vidéo générique |
AoqECVideoExternalBufferFull | 210 | Tampon vidéo externe plein |
AoqECVideoExternalCaptureNotEnabled | 211 | Capture vidéo externe non activée |
AoqECVideoExternalEncoderNotEnabled | 212 | Encodeur vidéo externe non activé |
AoqECVideoDevice | 220 | Erreur générique de périphérique vidéo |
AoqECVideoDeviceCameraOpenFail | 221 | Échec de l'ouverture de la caméra |
AoqECVideoDeviceCameraAuthFailed | 222 | Autorisation de la caméra non accordée |
AoqECVideoDeviceCameraOccupied | 223 | Caméra en cours d'utilisation |
AoqECVideoDeviceCameraRunningError | 224 | Erreur d'exécution de la caméra |
AoqECVideoCodec | 230 | Erreur générique de codec vidéo |
AoqECVideoCodecEncoderInitFail | 231 | Échec de l'initialisation de l'encodeur vidéo |
AoqECVideoRender | 240 | Erreur générique de rendu vidéo |
AoqECVideoRenderCreateFail | 241 | Échec de la création du moteur de rendu vidéo |
AoqECVideoRenderDrawError | 242 | Erreur de dessin du rendu vidéo |
AoqWarningCode
Valeur d'énumération | Valeur | Description |
|---|---|---|
AoqWCOK | 0 | Aucun avertissement |
AoqWCAudio | 100 | Avertissement audio générique |
AoqWCAudioHowling | 101 | Larsen détecté |
AoqWCAudioDevice | 120 | Avertissement générique de périphérique audio |
AoqWCAudioDeviceMicEnumerateError | 121 | Erreur d'énumération du microphone |
AoqWCAudioDeviceMicStartTimeout | 122 | Délai d'attente dépassé pour le démarrage du microphone |
AoqWCAudioDeviceRecordingError | 123 | Erreur d'enregistrement |
AoqWCAudioDeviceSpeakerEnumerateError | 124 | Erreur d'énumération du haut-parleur |
AoqWCAudioDeviceSpeakerStartTimeout | 125 | Délai d'attente dépassé pour le démarrage du haut-parleur |
AoqWCAudioDevicePlayoutError | 126 | Erreur de lecture |
AoqWCVideo | 200 | Avertissement vidéo générique |
AoqWCVideoCameraEnumerateError | 201 | Erreur d'énumération de la caméra |
AoqWCVideoEncoderSwitched | 202 | Encodeur vidéo basculé |
AoqWCVideoRenderDowngrade | 203 | Rendu vidéo dégradé |
AoqTrackType
Valeur d'énumération | Valeur | Description |
|---|---|---|
AoqTrackTypeAudio | 0 | Piste audio |
AoqTrackTypeVideo | 1 | Piste vidéo |
AoqTrackTypeData | 2 | Piste de messagerie de données |
AoqTrackTypeScreen (3) n'est pas inclus sur HarmonyOS. La capture d'écran n'est pas encore disponible.
AoqConnectionStatus
Valeur d'énumération | Valeur | Description |
|---|---|---|
AoqConnectionStatusDisconnected | 0 | Déconnecté |
AoqConnectionStatusConnecting | 1 | Connexion en cours |
AoqConnectionStatusConnected | 2 | Connecté |
AoqConnectionStatusFailed | 3 | Échec de la connexion |
AoqEncoderType / AoqMirrorMode / AoqOrientationMode
Identique au SDK Android ; aucun changement.
Types audio
AoqAudioCaptureConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
isExternal | boolean | false | true : utiliser une entrée audio externe |
isVoipMode | boolean | false | true : activer le mode VoIP (AEC matériel) |
channel | number | 1 | Nombre de canaux : 1 ou 2 |
AoqAudioPlaybackConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
isVoipMode | boolean | false | true : activer le mode VoIP (AEC matériel) ; la première écriture l'emporte entre la configuration de capture et de lecture |
isDefaultSpeaker | boolean | true | true : haut-parleur par défaut ; false : écouteur par défaut |
isExternal | boolean | false | true : utiliser une sortie audio externe |
channel | number | 1 | Nombre de canaux : 1 ou 2 |
AoqAudioCodecConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
trackType | AoqTrackType | AoqTrackTypeAudio | Piste cible |
codecType | AoqEncoderType | AoqEncoderTypeAudioPCM | Format de codec |
sampleRate | number | 48000 | Taux d'échantillonnage (Hz) |
channel | number | 1 | Nombre de canaux |
bitrate | number | 32000 | Débit binaire (bps) |
Types vidéo
AoqVideoCaptureConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
width | number | 1280 | Largeur de capture ; ignoré lorsque |
height | number | 720 | Hauteur de capture |
fps | number | 15 | Fréquence d'images de capture |
isExternal | boolean | false | true : ne pas ouvrir la caméra ; fournir les trames via |
cameraDirection | AoqCameraDirection | Front | Direction de la caméra |
AoqVideoCodecConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
trackType | AoqTrackType | AoqTrackTypeVideo | Piste cible |
codecType | AoqEncoderType | AoqEncoderTypeVideoH264 | Format de codec |
width | number | 720 | Largeur d'encodage |
height | number | 1280 | Hauteur d'encodage |
fps | number | 15 | Fréquence d'images |
bitrate | number | 500 | Débit binaire (kbps) |
minBitrate | number | 128 | Débit binaire minimum (kbps) |
keyframeInterval | number | 2 | Intervalle d'images clés (secondes) |
mirrorMode | AoqMirrorMode | Disabled | Mode miroir |
orientationMode | AoqOrientationMode | Auto | Orientation vidéo |
isExternal | boolean | false | true : le SDK ignore le réencodage |
AoqVideoCanvas
Champ | Type | Valeur par défaut | Description | |
|---|---|---|---|---|
view | Object \ | null | null | Instance |
renderMode | AoqRenderMode | AoqRenderModeAuto | Mode d'affichage |
AoqVideoPixelFormat
Valeur d'énumération | Valeur | Description |
|---|---|---|
AoqVideoPixelFormatUnknown | 0 | Inconnu |
AoqVideoPixelFormatI420 | 1 | I420 |
AoqVideoPixelFormatNV12 | 2 | NV12 |
AoqVideoPixelFormatNV21 | 3 | NV21 |
AoqVideoPixelFormatBGRA | 4 | BGRA |
AoqVideoPixelFormatRGBA | 5 | RGBA |
AoqVideoFrame
Champ | Type | Description | ||
|---|---|---|---|---|
format | AoqVideoPixelFormat | Format de pixel | ||
width | number | Largeur (pixels) | ||
height | number | Hauteur (pixels) | ||
dataPtr | ArrayBuffer \ | Uint8Array \ | null | Données au format compact |
dataSize | number | Taille des données compactes (octets) | ||
dataY / dataU / dataV | ArrayBuffer \ | Uint8Array \ | null | Plans I420 |
strideY / strideU / strideV | number | Pas de plan | ||
timeStamp | number | Horodatage (ms) ; lorsque 0, le SDK utilise l'horloge locale |
AoqVideoEncodedFrame
Champ | Type | Description | |
|---|---|---|---|
codec | AoqVideoCodecType | Format d'encodage ( | |
data | ArrayBuffer \ | Uint8Array | Données de trame encodée |
width | number | Largeur | |
height | number | Hauteur | |
timeStamp | number | Horodatage (ms) |
Types de fichiers audio et de flux externes
AoqAudioFileMixConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
fileName | string | "" | Nom du fichier (chemin inclus) |
cycles | number | -1 | Nombre de boucles ; -1 signifie boucle infinie |
startPosMs | number | 0 | Position de départ de la lecture (ms) |
publishVolume | number | 100 | Volume de publication [0, 100] |
playoutVolume | number | 100 | Volume de lecture locale [0, 100] |
AoqAudioExternalStreamConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
trackType | AoqTrackType | AoqTrackTypeAudio | Type de piste |
codecType | AoqEncoderType | AoqEncoderTypeAudioPCM | Format audio |
channels | number | 1 | Nombre de canaux |
sampleRate | number | 48000 | Taux d'échantillonnage (Hz) |
playoutVolume | number | 100 | Volume de lecture [0, 100] |
publishVolume | number | 100 | Volume de publication [0, 100] |
maxBufferDuration | number | 1000 | Durée maximale du tampon (ms) |
enable3A | boolean | false | Indique s'il faut appliquer le traitement 3A au PCM d'entrée |
AoqAudioFrameData
Champ | Type | Description | ||
|---|---|---|---|---|
dataPtr | ArrayBuffer \ | Uint8Array \ | null | Données audio PCM brutes |
dataSize | number | Taille des données PCM (octets) | ||
numOfSamples | number | Nombre d'échantillons (mono) | ||
bytesPerSample | number | Octets par échantillon | ||
numOfChannels | number | Nombre de canaux | ||
samplesPerSec | number | Taux d'échantillonnage | ||
pushSequence | number | Numéro de séquence d'envoi PCM | ||
timeStamp | number | Horodatage | ||
autoGenMute | boolean | true : il s'agit de données de silence générées par le SDK |
Types de configuration d'observateur
AoqAudioObserverConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
sampleRate | number | 48000 | Taux d'échantillonnage du callback |
channels | number | 1 | Nombre de canaux du callback |
mode | AoqAudioObserverMode | ReadOnly | Mode lecture/écriture |
AoqVideoObserverConfig
Champ | Type | Valeur par défaut | Description |
|---|---|---|---|
format | AoqVideoPixelFormat | I420 | Format de pixel du callback |
alignment | AoqVideoObserverAlignment | Default | Alignement de la largeur |
mode | AoqVideoObserverMode | ReadOnly | Mode lecture/écriture |
mirrorApplied | boolean | false | Indique s'il faut appliquer l'effet miroir |
Types de statistiques
AoqStats
Champ | Type | Description | |
|---|---|---|---|
audioPublishStats | AoqAudioPublishStats[] | Statistiques de publication audio | |
videoPublishStats | AoqVideoPublishStats[] | Statistiques de publication vidéo | |
dataMsgPublishStats | AoqDataMsgPublishStats[] | Statistiques de publication de messages de données | |
audioSubscribeStats | AoqAudioSubscribeStats[] | Statistiques d'abonnement audio | |
videoSubscribeStats | AoqVideoSubscribeStats[] | Statistiques d'abonnement vidéo | |
dataMsgSubscribeStats | AoqDataMsgSubscribeStats[] | Statistiques d'abonnement aux messages de données | |
networkStats | AoqNetworkStats \ | null | Statistiques réseau |
Sous-types de statistiques
AoqAudioPublishStats : trackType / bitrate / bytes / encodeVolume
AoqVideoPublishStats : trackType / bitrate / bytes / encodeFps
AoqAudioSubscribeStats : trackType / bitrate / bytes / playVolume
AoqVideoSubscribeStats : trackType / bitrate / bytes / decodeFps / renderFps
AoqDataMsgPublishStats / AoqDataMsgSubscribeStats : trackType / bitrate / bytes
AoqNetworkStats : sendBitrate / sendBytes / recvBitrate / recvBytes / loss / rtt
Différences clés par rapport au SDK Android
Catégorie | Android | HarmonyOS | |
|---|---|---|---|
Langage d'implémentation | Java | ArkTS (.ets), relié au C++ via NAPI | |
Type de valeur de retour | int / long / boolean | number / boolean | |
Retour de createEngine | @NonNull AoqClientEngine | AoqClientEngine \ | null |
Contexte de createEngine | android.content.Context | common.Context (UIAbility/Page) | |
Forme de l'écouteur | Classe abstraite avec méthodes vides par défaut | Interface TS ; tous les callbacks sont optionnels (?) | |
Forme de l'observateur de trames | Interface avec méthodes par défaut | Interface TS ; tous les callbacks sont optionnels (?) | |
AoqCreateConfig | Inclut | N'inclut pas | |
AoqAudioPlaybackConfig | Pas de | Inclut | |
onAudioDeviceFocusChanged | Fourni | Non fourni (pas d'abstraction de focus audio) | |
Vue de rendu vidéo | View (SurfaceView/TextureView) | AoqXComponentController (étend XComponentController) | |
Énumération de format de pixel | Inclut TextureOES (7) / Texture2D (8) | N'inclut pas les formats de texture | |
Champs supplémentaires de trame vidéo | textureId / transformMatrix / eglContext | Non inclus | |
Conteneur de données de trame | byte[] / ByteBuffer | ArrayBuffer / Uint8Array | |
Unité de débit binaire d'encodage vidéo | bps (défauts : 500000/128000) | kbps (défauts : 500/128) | |
AoqTrackType | Inclut AoqTrackTypeScreen (3) | N'inclut pas AoqTrackTypeScreen ; capture d'écran non disponible | |
API de capture d'écran | startScreenCapture / stopScreenCapture | Pas encore fournies | |
Réécriture d'observateur | Réécriture I420 prise en charge | Actuellement équivalent à lecture seule ; réécriture prévue pour une prochaine version | |
Sécurité de réenregistrement d'observateur | Repose sur les internes du SDK | Protection UAF utilisant le modèle tombstone | |
Surveillance des périphériques | Implicite dans la couche Java | AoqDeviceMonitor (interne) démarre automatiquement | |
Espace de noms des codes d'erreur | AoqErrorCodeXxx | AoqECXxx (ex. : AoqECOK, AoqECParamInvalid) |
Notes d'architecture
- AoqXComponentController : Étend
XComponentControlleret redéfinitonSurfaceCreated,onSurfaceChangedetonSurfaceDestroyed. Créez une instance, attachez-la à unXComponentet passez-la en tant quecanvas.viewlors de l'appel àsetLocalViewousetRemoteView. - Architecture NAPI : façade (
AoqClientEngine.ets) → implémentation (AoqClientEngineImpl.ets) → NAPI (libaoq_client_sdk.so). Les objets de configuration sont aplatis en paramètres individuels au niveau de la couche d'implémentation. - Surveillance des périphériques (interne) :
AoqDeviceMonitordémarre automatiquement aprèscreateEngineet transmet l'état du réseau ainsi que l'état premier plan/arrière-plan de l'application au moteur C++. - Protection UAF de l'observateur : Le réenregistrement suit une séquence en trois étapes : couper l'ancienne référence en C++ → pousser l'ancien observateur vers le tombstone → pointer vers le nouvel observateur.
- Sémantique de charge utile de trame : Les tampons
Uint8Arraydans les callbacks de trames audio/vidéo sont des copies de la mémoire native. La réécriture n'est pas prise en charge en P1 ; le zéro copie est prévu pour la P2.