Tanpa penggunaan kembali koneksi, setiap panggilan API membuka koneksi TCP baru dan menjalankan proses jabat tangan TLS, yang menambah latensi. Dalam skenario konkurensi tinggi, overhead ini dapat menyebabkan timeout dan pemborosan sumber daya. Penggunaan kembali koneksi menghilangkan penyiapan berulang, sehingga mengurangi latensi dan konsumsi sumber daya.
DashScope SDK mendukung penggunaan kembali koneksi baik di Java maupun Python:
Sebelum menjalankan contoh kode berikut:
Java SDK menyertakan kolam koneksi bawaan yang diaktifkan secara default. Sesuaikan jumlah koneksi maksimum dan pengaturan timeout untuk mengoptimalkan sesuai beban kerja Anda.
Batasan parameter:
Contoh berikut mengonfigurasi parameter kolam koneksi (timeout, jumlah koneksi maksimum) dan memanggil layanan model. Sesuaikan parameter tersebut untuk mengoptimalkan konkurensi dan penggunaan sumber daya.
Python SDK DashScope mendukung penggunaan kembali koneksi dengan meneruskan HTTP client kustom (
Untuk skenario asinkron, gunakan
Contoh berikut mengonfigurasi penggunaan kembali koneksi dan memanggil layanan model secara asinkron:
Untuk skenario sinkron, gunakan
Contoh berikut mengonfigurasi penggunaan kembali koneksi dan memanggil layanan model secara sinkron:
Untuk menggunakan kembali HTTP client di beberapa panggilan:
Jika pemanggilan model gagal, lihat Pesan error untuk menyelesaikan masalah.
- Java SDK: Kolam koneksi bawaan diaktifkan secara default. Konfigurasikan parameter seperti jumlah koneksi maksimum dan durasi timeout.
- Python SDK: Aktifkan penggunaan kembali koneksi dengan meneruskan Session kustom. SDK ini mendukung panggilan sinkron maupun asinkron.
Sebelum memulai
Sebelum menjalankan contoh kode berikut:
Java SDK
Java SDK menyertakan kolam koneksi bawaan yang diaktifkan secara default. Sesuaikan jumlah koneksi maksimum dan pengaturan timeout untuk mengoptimalkan sesuai beban kerja Anda.
Parameter
| Parameter | Description | Default value | Unit |
|---|---|---|---|
| connectTimeout | Timeout pembentukan koneksi. | 120 | seconds |
| readTimeout | Timeout pembacaan data. | 300 | seconds |
| writeTimeout | Timeout penulisan data. | 60 | seconds |
| connectionIdleTimeout | Timeout koneksi idle dalam kolam. | 300 | seconds |
| connectionPoolSize | Jumlah koneksi maksimum dalam kolam. | 32 | connections |
| maximumAsyncRequests | Jumlah maksimum permintaan konkuren di semua host (batas global). | 32 | requests |
| maximumAsyncRequestsPerHost | Jumlah maksimum permintaan konkuren per host. | 32 | requests |
maximumAsyncRequestsharus ≤connectionPoolSize; jika tidak, permintaan dapat hang.maximumAsyncRequestsPerHostharus ≤maximumAsyncRequests.
- connectTimeout: Dalam skenario latensi rendah, atur timeout lebih pendek untuk mengurangi waktu tunggu.
- connectionIdleTimeout: Dalam skenario konkurensi tinggi, perpanjang timeout idle untuk menghindari pembuatan koneksi berulang dan mengurangi penggunaan sumber daya.
- connectionPoolSize: Dalam skenario konkurensi tinggi, jumlah koneksi yang terlalu sedikit menyebabkan blocking, timeout, dan koneksi ulang berulang (penggunaan sumber daya lebih tinggi). Sebaliknya, jumlah koneksi yang terlalu banyak membebani server. Seimbangkan jumlah koneksi berdasarkan beban kerja Anda.
Contoh kode
Contoh berikut mengonfigurasi parameter kolam koneksi (timeout, jumlah koneksi maksimum) dan memanggil layanan model. Sesuaikan parameter tersebut untuk mengoptimalkan konkurensi dan penggunaan sumber daya.
Python SDK
Python SDK DashScope mendukung penggunaan kembali koneksi dengan meneruskan HTTP client kustom (httpx.Client / httpx.AsyncClient). SDK ini mendukung dua metode pemanggilan: HTTP asinkron (berbasis korutin) dan HTTP sinkron.
HTTP Asinkron
Untuk skenario asinkron, gunakan httpx.AsyncClient dengan httpx.Limits untuk mengaktifkan penggunaan kembali koneksi. httpx.Limits mendukung konfigurasi parameter seperti batas jumlah koneksi:
| Parameter | Description | Default value | Notes |
|---|---|---|---|
| max_connections | Batas total koneksi. | None (tidak terbatas) | Mengontrol jumlah maksimum koneksi. Dalam skenario konkurensi tinggi, tingkatkan nilai ini untuk meningkatkan konkurensi. |
| max_keepalive_connections | Jumlah maksimum koneksi keep-alive. | None (tidak terbatas) | Mengontrol jumlah koneksi aktif yang dipertahankan dalam pool, mencegah beban berlebih pada satu server. |
| keepalive_expiry | Timeout keep-alive koneksi. | 5.0 (detik) | Koneksi keep-alive yang menganggur akan ditutup otomatis setelah durasi ini. |
Contoh kode
Contoh berikut mengonfigurasi penggunaan kembali koneksi dan memanggil layanan model secara asinkron:
HTTP Sinkron
Untuk skenario sinkron, gunakan httpx.Client untuk mengaktifkan penggunaan kembali koneksi. Beberapa permintaan dalam HTTP client yang sama menggunakan kembali koneksi TCP dasar, sehingga menghindari overhead pembentukan koneksi berulang.
Contoh kode: panggilan tunggal
Contoh berikut mengonfigurasi penggunaan kembali koneksi dan memanggil layanan model secara sinkron:
Contoh kode: beberapa panggilan dengan HTTP client bersama
Untuk menggunakan kembali HTTP client di beberapa panggilan:
Praktik terbaik
- Java SDK: Atur
connectionPoolSizedanmaximumAsyncRequestssesuai beban kerja Anda. Seimbangkan jumlah koneksi: terlalu sedikit menyebabkan blocking, terlalu banyak membebani server. - Python SDK: Gunakan pernyataan
withuntuk mengelola siklus hidup HTTP client secara otomatis dan memastikan pembersihan sumber daya yang tepat. - Pilih metode yang tepat: Gunakan panggilan asinkron untuk aplikasi asinkron (asyncio, FastAPI). Gunakan panggilan sinkron untuk aplikasi sinkron tradisional.