Skip to main content

Integrasikan model pengenalan suara

Kirim file audio lokal atau URL audio ke model pengenalan suara Token Plan dari alat Agent dan kembalikan transkripsi.

Model yang didukung

ModelKemampuanJenis
qwen-audio-3.0-asr-flashPengenalan suaraNon-real-time
Untuk model lainnya, lihat model yang didukung oleh Token Plan.

Prasyarat

  • Langganan Token Plan. Untuk Personal Edition, dapatkan API key sk-sp- dari My Subscription (Personal). Untuk Team Edition, tetapkan kursi di Member Management, lalu dapatkan API key.
  • Python 3.9 atau yang lebih baru.
  • URL audio yang dapat diakses secara publik atau file audio lokal. Durasi audio tidak boleh lebih dari 5 menit. Format seperti wav, mp3, dan opus didukung. Untuk detailnya, lihat Spesifikasi audio.

Antarmuka

POST https://token-plan.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation Gunakan Authorization: Bearer $ANTHROPIC_AUTH_TOKEN di header permintaan. Untuk body permintaan dan field respons, lihat bagian di bawah.

Langkah 1: Buat Slash Command

Konfigurasikan API key Token Plan (diawali dengan sk-sp-) sebagai variabel lingkungan $ANTHROPIC_AUTH_TOKEN untuk autentikasi skrip. Buat .claude/commands/speech-to-text.md di root proyek dan tambahkan konten berikut:
Call the Token Plan speech recognition API to transcribe audio into text.

Audio file or URL: $ARGUMENTS

## Steps

1. Confirm that the input is a local audio path or a publicly accessible URL. The audio must be no longer than 5 minutes. For format and size limits, see the audio specifications in the Model Studio speech recognition documentation.
2. Install dependencies: pip install requests
3. Use the Bash tool to run the following Python script. The script reads TOKEN_PLAN_API_KEY first, then ANTHROPIC_AUTH_TOKEN. Do not display the key or write it to files or logs.

```python
import base64
import json
import os
import sys
from pathlib import Path

import requests

MIME_TYPES = {
    "aac": "audio/aac",
    "amr": "audio/amr",
    "flac": "audio/flac",
    "m4a": "audio/mp4",
    "mp3": "audio/mpeg",
    "ogg": "audio/ogg",
    "opus": "audio/opus",
    "wav": "audio/wav",
    "webm": "audio/webm",
}

source = sys.argv[1]
key = os.environ.get("TOKEN_PLAN_API_KEY") or os.environ.get("ANTHROPIC_AUTH_TOKEN")
if not key:
    raise SystemExit("Token Plan API Key not found.")

if source.startswith(("http://", "https://")):
    audio_data = source
    audio_format = Path(source.split("?")[0]).suffix.lstrip(".").lower() or "mp3"
else:
    path = Path(source)
    audio_format = path.suffix.lstrip(".").lower()
    mime_type = MIME_TYPES.get(audio_format, f"audio/{audio_format}")
    audio_data = f"data:{mime_type};base64,{base64.b64encode(path.read_bytes()).decode()}"

payload = {
    "model": "qwen-audio-3.0-asr-flash",
    "input": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {"type": "input_audio", "input_audio": {"data": audio_data}}
                ],
            }
        ]
    },
    "parameters": {"format": audio_format},
}

response = requests.post(
    "https://token-plan.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation",
    headers={"Authorization": f"Bearer {key}", "Content-Type": "application/json"},
    json=payload,
    timeout=300,
)
if not response.ok:
    raise SystemExit(f"{response.status_code}: {response.text}")
result = response.json()
print(result.get("output", {}).get("text") or json.dumps(result, ensure_ascii=False, indent=2))
```

4. Output the transcription. If detailed results are needed, show the `sentence` and `words` fields in the response JSON.

Langkah 2: Transkripsi audio

Di Claude Code, masukkan /speech-to-text ./meeting.wav, atau berikan URL audio: /speech-to-text https://example.com/audio.mp3.

Parameter permintaan

ParameterDeskripsi
modelAtur ke qwen-audio-3.0-asr-flash.
input.messages[0].content[0].input_audio.dataURL audio, atau URI Data Base64 dalam format data:audio/{format};base64,{data}.
parameters.formatWajib. Format audio, seperti wav atau mp3.
parameters.sample_rateOpsional. Sample rate audio, seperti 16000.
parameters.language_hintsOpsional. Kode bahasa untuk pengenalan, hingga 4, seperti ["zh"].
Untuk semua parameter dan bidang respons, lihat API HTTP pengenalan ucapan non-real-time.

Respons

  • Teks yang dikenali: output.text.
  • Hasil tingkat kalimat: output.sentence.text, output.sentence.words (stempel waktu tingkat kata).
  • Durasi audio: usage.duration, dalam detik.

Alat lainnya

Untuk mekanisme ekstensi dan jalur file konfigurasi untuk alat lainnya, lihat "Jalur konfigurasi alat" di Ringkasan integrasi.

Batas

  • Token Plan menyediakan model pengenalan suara non-real-time qwen-audio-3.0-asr-flash.
  • Satu input audio tidak boleh lebih dari 5 menit. Untuk batas ukuran dan format file, lihat Spesifikasi audio.
  • Pengenalan suara menggunakan protokol DashScope. Endpoint-nya adalah https://token-plan.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation.