مستندات API
پاسخ استریم (SSE) در API
با "stream": true پاسخ بهصورت Server-Sent Events میرسد، همانطور که سازندهٔ مدل میفرستد. روی /v1/chat/completions دروازه خودش stream_options.include_usage را روشن میکند، پس آخرین تکه همیشه شمار توکنها را دارد و هزینه از همان حساب میشود. اگر اتصال را وسط پاسخ ببندی، تولید تا آخر ادامه پیدا میکند و کامل حساب میشود.
آخرین بهروزرسانی:
فهرست مستندات
مسیرهای API
حساب، کلید و تیم
استریم · ۱
استریم در مسیرهای سازگار با OpenAI
from openai import OpenAI
client = OpenAI(base_url="https://1xai.ir/v1", api_key="1xai-...")
stream = client.chat.completions.create(
model="gpt-5-mini",
messages=[{"role": "user", "content": "سلام"}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
if chunk.usage: # the last chunk
print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)- هر خط رویداد همانطور که از سازنده میرسد، بیدرنگ برایت فرستاده میشود و با
data: [DONE]تمام میشود. stream_options.include_usageرا دروازه خودش روشن میکند، چه فرستاده باشی و چه نه. آخرین تکه پیش از[DONE]فیلدusageدارد وchoicesآن خالی است؛ کدی کهchoices[0]را بیبررسی میخواند باید این را در نظر بگیرد.- در
/v1/responsesاین گزینه فرستاده نمیشود؛ شمار توکنها در رویدادresponse.completedاست. - پاسخ استریم هدر
X-1xai-Cost-Tomanندارد.X-Request-Idرا از هدرها بردار و پس از پایان استریم مبلغ را ازGET /v1/usage?request_id=…بخوان (هزینهٔ تماس استریم).
استریم · ۲
استریم در مسیرهای Anthropic و Gemini
استریم · ۳
قطع اتصال و مهلت
- بستن اتصال تولید را متوقف نمیکند: پاسخ در سمت سازنده تا آخر ساخته میشود و هزینهٔ کاملش کم میشود. اگر میخواهی پاسخ کوتاهتر شود،
max_tokensبگذار. - سازنده ۱۰ دقیقه برای پاسخ فرصت دارد. مهلت کلاینت خودت را کمتر از این نگذار، وگرنه پاسخهای بلند را از دست میدهی و هزینهشان را میپردازی.
- خطایی که پیش از شروع استریم پیش بیاید یک پاسخ JSON معمولی با وضعیت خطاست، نه یک رویداد (خطاها).