Skip to main content

Integrar o modelo de reconhecimento de fala

Envie um arquivo de áudio local ou uma URL de áudio para o modelo de reconhecimento de fala do Token Plan a partir de uma ferramenta de agente e retorne a transcrição.

Modelos suportados

ModeloCapacidadeTipo
qwen-audio-3.0-asr-flashReconhecimento de falaNão em tempo real
Para mais modelos, veja modelos suportados pelo Token Plan.

Pré-requisitos

  • Uma assinatura do Token Plan. Para a Personal Edition, obtenha a chave de API sk-sp- em My Subscription (Personal). Para a Team Edition, atribua um assento em Member Management e, em seguida, obtenha a chave de API.
  • Python 3.9 ou superior.
  • Um URL de áudio acessível publicamente ou um arquivo de áudio local. O áudio deve ter no máximo 5 minutos. Formatos como wav, mp3 e opus são suportados. Para detalhes, consulte Especificações de áudio.

Interface

POST https://token-plan.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation Use Authorization: Bearer $ANTHROPIC_AUTH_TOKEN no cabeçalho da solicitação. Para os campos do corpo da solicitação e da resposta, consulte as seções abaixo.

Etapa 1: Criar um Slash Command

Configure a chave da API do Token Plan (com o prefixo sk-sp-) como a variável de ambiente $ANTHROPIC_AUTH_TOKEN para autenticação do script. Crie .claude/commands/speech-to-text.md na raiz do projeto e adicione o seguinte conteúdo:
Chame a API de reconhecimento de fala do Token Plan para transcrever áudio em texto.

Arquivo de áudio ou URL: $ARGUMENTS

## Etapas

1. Confirme se a entrada é um caminho de áudio local ou uma URL publicamente acessível. O áudio não deve ter mais de 5 minutos. Para limites de formato e tamanho, consulte as especificações de áudio na documentação de reconhecimento de fala do Model Studio.
2. Instale as dependências: pip install requests
3. Use a ferramenta Bash para executar o seguinte script Python. O script lê TOKEN_PLAN_API_KEY primeiro e, em seguida, ANTHROPIC_AUTH_TOKEN. Não exiba a chave nem a grave em arquivos ou logs.

```python
import base64
import json
import os
import sys
from pathlib import Path

import requests

MIME_TYPES = {
    "aac": "audio/aac",
    "amr": "audio/amr",
    "flac": "audio/flac",
    "m4a": "audio/mp4",
    "mp3": "audio/mpeg",
    "ogg": "audio/ogg",
    "opus": "audio/opus",
    "wav": "audio/wav",
    "webm": "audio/webm",
}

source = sys.argv[1]
key = os.environ.get("TOKEN_PLAN_API_KEY") or os.environ.get("ANTHROPIC_AUTH_TOKEN")
if not key:
    raise SystemExit("Token Plan API Key not found.")

if source.startswith(("http://", "https://")):
    audio_data = source
    audio_format = Path(source.split("?")[0]).suffix.lstrip(".").lower() or "mp3"
else:
    path = Path(source)
    audio_format = path.suffix.lstrip(".").lower()
    mime_type = MIME_TYPES.get(audio_format, f"audio/{audio_format}")
    audio_data = f"data:{mime_type};base64,{base64.b64encode(path.read_bytes()).decode()}"

payload = {
    "model": "qwen-audio-3.0-asr-flash",
    "input": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {"type": "input_audio", "input_audio": {"data": audio_data}}
                ],
            }
        ]
    },
    "parameters": {"format": audio_format},
}

response = requests.post(
    "https://token-plan.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation",
    headers={"Authorization": f"Bearer {key}", "Content-Type": "application/json"},
    json=payload,
    timeout=300,
)
if not response.ok:
    raise SystemExit(f"{response.status_code}: {response.text}")
result = response.json()
print(result.get("output", {}).get("text") or json.dumps(result, ensure_ascii=False, indent=2))
```

4. Exiba a transcrição. Se forem necessários resultados detalhados, mostre os campos `sentence` e `words` no JSON da resposta.

Etapa 2: Transcrever áudio

No Claude Code, digite /speech-to-text ./meeting.wav ou forneça uma URL de áudio: /speech-to-text https://example.com/audio.mp3.

Parâmetros de requisição

ParâmetroDescrição
modelDefina como qwen-audio-3.0-asr-flash.
input.messages[0].content[0].input_audio.dataUma URL de áudio ou um Data URI Base64 no formato data:audio/{format};base64,{data}.
parameters.formatObrigatório. O formato do áudio, como wav ou mp3.
parameters.sample_rateOpcional. A taxa de amostragem do áudio, como 16000.
parameters.language_hintsOpcional. Códigos de idioma para reconhecimento, até 4, como ["zh"].
Para todos os parâmetros e campos de resposta, consulte API HTTP de reconhecimento de fala não em tempo real.

Resposta

  • Texto reconhecido: output.text.
  • Resultado por frase: output.sentence.text, output.sentence.words (carimbos de data/hora por palavra).
  • Duração do áudio: usage.duration, em segundos.

Outras ferramentas

Para mecanismos de extensão e caminhos de arquivos de configuração de outras ferramentas, consulte "Caminhos de configuração de ferramentas" em Visão geral da integração.

Limites

  • O Token Plan fornece o modelo de reconhecimento de fala não em tempo real qwen-audio-3.0-asr-flash.
  • Uma única entrada de áudio não deve ter mais de 5 minutos. Para limites de tamanho e formato de arquivo, consulte Especificações de áudio.
  • O reconhecimento de fala usa o protocolo DashScope. O endpoint é https://token-plan.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation.