DashScope SDK の接続再利用の設定

// 推奨される DashScope SDK のバージョン >= 2.12.0
import java.time.Duration;
import java.util.Arrays;

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.protocol.ConnectionConfigurations;
import com.alibaba.dashscope.protocol.Protocol;
import com.alibaba.dashscope.utils.Constants;

public class Main {
    public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException {
        // これはシンガポールリージョンの URL です。WorkspaceId を実際のワークスペース ID に置き換えてください。URL はリージョンによって異なります。
        Generation gen = new Generation(Protocol.HTTP.getValue(), "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1");
        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content("You are a helpful assistant.")
                .build();
        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content("Who are you?")
                .build();
        GenerationParam param = GenerationParam.builder()
                // シンガポールリージョンと北京リージョンの API キーは異なります。API キーの取得については、https://www.alibabacloud.com/help/model-studio/get-api-key をご参照ください。
                // 環境変数を設定していない場合は、次の行を実際の Model Studio の API キーに置き換えてください：.apiKey("sk-xxx")
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                // この例では qwen-plus を使用しています。必要に応じてモデル名を変更してください。モデルリスト：https://www.alibabacloud.com/help/model-studio/getting-started/models
                .model("qwen-plus")
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .build();

        System.out.println(userMsg.getContent());
        return gen.call(param);
    }
    public static void main(String[] args) {
        // コネクションプールの設定
        Constants.connectionConfigurations = ConnectionConfigurations.builder()
                .connectTimeout(Duration.ofSeconds(10))  // 接続確立のタイムアウト、デフォルト 120 秒
                .readTimeout(Duration.ofSeconds(300)) // データ読み取りのタイムアウト、デフォルト 300 秒
                .writeTimeout(Duration.ofSeconds(60)) // データ書き込みのタイムアウト、デフォルト 60 秒
                .connectionIdleTimeout(Duration.ofSeconds(300)) // コネクションプール内のアイドル接続のタイムアウト、デフォルト 300 秒
                .connectionPoolSize(256) // コネクションプール内の最大接続数、デフォルト 32
                .maximumAsyncRequests(256)  // 最大同時リクエスト数、デフォルト 32
                .maximumAsyncRequestsPerHost(256) // ホストごとの最大同時リクエスト数、デフォルト 32
                .build();

        try {
            GenerationResult result = callWithMessage();
            System.out.println(result.getOutput().getChoices().get(0).getMessage().getContent());
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            // ロギングフレームワークを使用して例外情報を記録します
            System.err.println("An error occurred while calling the generation service: " + e.getMessage());
        }
        System.exit(0);
    }
}

import asyncio
import httpx
import os
import dashscope

async def main():
    # 接続パラメータを設定します
    limits = httpx.Limits(
        max_connections=100,           # 接続総数の上限
        max_keepalive_connections=30,  # keep-alive 接続の最大数
    )

    # カスタム HTTP クライアントを作成し、Client コンストラクターに渡します
    async with httpx.AsyncClient(limits=limits) as http_client:
        # 以下の構成はシンガポールリージョン用です。{WorkspaceId} を実際のワークスペース ID に置き換えてください。構成はリージョンごとに異なります。
        # シンガポールリージョンと北京リージョンの API キーは異なります。API キーを取得するには、https://www.alibabacloud.com/help/model-studio/get-api-key をご参照ください
        # 環境変数を設定していない場合は、API キーを直接設定してください: api_key = "sk-xxx"
        aclient = dashscope.AsyncClient(
            api_key=os.getenv("DASHSCOPE_API_KEY"),
            workspace="{WorkspaceId}",
            region="ap-southeast-1",
            http_client=http_client,  # カスタム HTTP クライアントを渡します
        )
        response = await aclient.chat.completions.create(
            model='qwen-plus',
            messages=[{"role": "user", "content": 'Hello, please introduce yourself'}],
        )
        print(response)

asyncio.run(main())

import httpx
import os
import dashscope

# HTTP クライアントオブジェクトを作成し、接続再利用のパラメータを設定します
http_client = httpx.Client(
    limits=httpx.Limits(
        max_connections=100,          # 接続総数の上限
        max_keepalive_connections=30, # keep-alive 接続の最大数
    ),
)

# 以下の構成はシンガポールリージョン用です。{WorkspaceId} を実際のワークスペース ID に置き換えてください。構成はリージョンごとに異なります。
# シンガポールリージョンと北京リージョンの API キーは異なります。API キーを取得するには、https://www.alibabacloud.com/help/model-studio/get-api-key をご参照ください
# 環境変数を設定していない場合は、API キーを直接設定してください: api_key = "sk-xxx"
client = dashscope.Client(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
    http_client=http_client,  # カスタム HTTP クライアントを渡します
)

try:
    # 複数の呼び出しで同じ HTTP クライアントを再利用します
    response1 = client.chat.completions.create(
        model='qwen-plus',
        messages=[{"role": "user", "content": 'Hello'}],
    )
    print(response1)

    response2 = client.chat.completions.create(
        model='qwen-plus',
        messages=[{"role": "user", "content": 'Introduce yourself'}],
    )
    print(response2)
finally:
    # HTTP クライアントが正しくクローズされるようにします
    http_client.close()