接入模型與應用

func onConnectionStatusChange(_ status: AoqConnectionStatus) {
    if status == .connected { sendSessionUpdate() }
}

private func sendSessionUpdate() {
    let json = """
    {
      // 該事件的id，由用戶端產生
      "event_id": "event_ToPZqeobitzUJnt3QqtWg",
      // 事件類型，固定為session.update
      "type": "session.update",
      // 會話配置
      "session": {
          // 輸出模態，支援設定為["text"]（僅輸出文本）或["text","audio"]（輸出文本與音頻）。
          "modalities": [
              "text",
              "audio"
          ],
          // 輸出音訊音色
          "voice": "Ethan",
          // 輸入音頻格式，當前僅支援設定為pcm。輸入音頻為16 kHz採樣率的PCM音頻流。
          "input_audio_format": "pcm",
          // 輸出音頻格式，當前僅支援設定為pcm。輸出音頻為24 kHz採樣率的PCM音頻流。
          "output_audio_format": "pcm",
          // 系統訊息，用於設定模型的目標或角色。
          "instructions": "你是某五星級酒店的AI客服專員，請準確且友好地解答客戶關於房型、設施、價格、預訂政策的諮詢。請始終以專業和樂於助人的態度回應，杜絕提供未經證實或超出酒店服務涵蓋範圍的資訊。",
          // 是否開啟語音活動檢測。若需啟用，需傳入一個設定物件，服務端將據此自動檢測語音起止。
          // 設定為null表示由用戶端決定何時發起模型響應。
          "turn_detection": {
              // VAD類型，取值為server_vad或semantic_vad。使用qwen3.5-omni-realtime系列模型時推薦設為semantic_vad。
              "type": "semantic_vad",
              // VAD檢測閾值。建議在嘈雜的環境中增加，在安靜的環境中降低。
              "threshold": 0.5,
              // 檢測語音停止的靜音期間，超過此值後會觸發模型響應
              "silence_duration_ms": 800
          }
      }
    }
    """
    let msg = AoqDataMsg()
    msg.data = json.data(using: .utf8)!
    engine.send(msg)
}

# pip install aiortc aiohttp certifi
import asyncio, aiohttp, ssl, certifi
from aiortc import RTCPeerConnection, RTCConfiguration, RTCSessionDescription
from aiortc.mediastreams import AudioStreamTrack

API_KEY = "your-api-key"
MODEL = "目標模型"
SIGNALING_URL = f"https://{{endpoint}}/api/v1/webrtc/realtime?model={MODEL}"

async def connect():
    pc = RTCPeerConnection(RTCConfiguration(iceServers=[]))

    # 添加音頻軌道，確保 Offer SDP 包含 m=audio（服務端必需）
    pc.addTrack(AudioStreamTrack())

    # 建立 DataChannel 以觸發 SDP 協商（名稱可自訂，服務端會通過名為 "txt" 的通道推送事件）
    pc.createDataChannel("oai-events")

    # SDP 交換：建立 Offer 並發送到服務端
    offer = await pc.createOffer()
    await pc.setLocalDescription(offer)

    async with aiohttp.ClientSession() as session:
        async with session.post(
            SIGNALING_URL,
            ssl=ssl.create_default_context(cafile=certifi.where()),
            data=offer.sdp.encode("utf-8"),
            headers={
                "Content-Type": "application/sdp",
                "Authorization": f"Bearer {API_KEY}",
            },
        ) as resp:
            if not resp.ok:
                raise Exception(f"SDP 交換失敗: {resp.status} {await resp.text()}")
            answer_sdp = await resp.text()

    print("=== Offer SDP ===")
    print(offer.sdp)
    print("=== Answer SDP ===")
    print(answer_sdp)

    # ICE 建連自動完成
    await pc.setRemoteDescription(RTCSessionDescription(sdp=answer_sdp, type="answer"))
    print("WebRTC 串連已建立")
    return pc