۱۰۰ هزار تومان هدیهٔ ثبت‌نام، تا ۱ میلیونبا ثبت‌نام گردونهٔ هدیه را بچرخان: دست‌کم ۱۰۰٬۰۰۰ تومان و تا ۱٬۰۰۰٬۰۰۰ تومان اعتبار هدیه، بدون کارت بانکیگردونهٔ هدیه۱ میلیون برای تو، ۱ میلیون برای دوستتدوستانت را دعوت کن: برای هر دوستی که فعال شود ۱٬۰۰۰٬۰۰۰ تومان اعتبار هدیه می‌گیری و خودش هم ۱٬۰۰۰٬۰۰۰ تومانجوایز
1xAi
بنچمارکِ بازتولیدپذیر

سرعتِ درگاه را خودتان بسنجید

زمانِ پاسخِ 1xAi را از ترافیکِ واقعی منتشر می‌کنیم، با اندازهٔ نمونه. این صفحه می‌گوید چه چیزی منتشر می‌شود، چطور با کلیدِ خودتان و از شبکهٔ خودتان همان را بسنجید، و عددها را چطور بخوانید.

آنچه منتشر می‌کنیم

همان عددهای صفحهٔ وضعیت، از همان فایلِ عمومی: زمان تا نخستین بایت، زمانِ کل و سرعتِ تولید، در ۳۰ روزِ بستهٔ اخیر.

در درگاه و روی فراخوانی‌های واقعیِ مشتریان سنجیده شده است (اندازه‌گیری از ۲۰۲۶-۱۱-۱۹). با کمتر از ۱۰۰ فراخوانی عددی منتشر نمی‌شود، و هر صدکِ منتشرشده حداکثر ۹٫۱٪ بیشتر از مقدارِ واقعی است و هرگز کمتر از آن نیست.

۳۰ روزِ اخیر

از ۲۰۲۶-۱۰-۲۳ تا ۲۰۲۶-۱۱-۲۱ به وقتِ تهران · ۳ روز از ۳۰ روز خلاصه دارد

سرویس‌دهنده‌ها

  • OpenAI

    پاسخِ استریم۲٬۱۶۲ فراخوانی

    نخستین بایت، میانه
    ۷٫۲۵ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۴۴٫۶۷ ثانیه
    زمانِ کل، میانه
    ۱۳٫۲۸ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۶۸٫۸۹ ثانیه
    سرعتِ تولید
    ۵۸٫۷ توکن بر ثانیه

    پاسخِ یک‌جا۸٬۶۳۴ فراخوانی

    زمانِ کل، میانه
    ۵٫۵۹ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۸٫۹۷ ثانیه
  • Anthropic

    پاسخِ استریم۱٬۴۷۲ فراخوانی

    نخستین بایت، میانه
    ۹۸۷ میلی‌ثانیه
    نخستین بایت، صدکِ ۹۵
    ۷٫۹۰ ثانیه
    زمانِ کل، میانه
    ۴٫۳۱ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۳۱٫۵۹ ثانیه
    سرعتِ تولید
    ۱۸۵٫۵ توکن بر ثانیه

    پاسخِ یک‌جا۴۶۰ فراخوانی

    زمانِ کل، میانه
    ۴٫۷۰ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۳۴٫۴۵ ثانیه
  • Google

    پاسخِ استریم۴۲۰ فراخوانی

    نخستین بایت، میانه
    ۹۸۷ میلی‌ثانیه
    نخستین بایت، صدکِ ۹۵
    ۲۴٫۳۶ ثانیه
    زمانِ کل، میانه
    ۱٫۲۸ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۴۰٫۹۶ ثانیه
    سرعتِ تولید
    ۴۹۱٫۲ توکن بر ثانیه

    پاسخِ یک‌جا۱٬۴۳۰ فراخوانی

    زمانِ کل، میانه
    ۵٫۵۹ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۷۵٫۱۳ ثانیه
  • DeepSeek

    پاسخِ استریم۸۹۲ فراخوانی

    نخستین بایت، میانه
    ۸٫۶۲ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۶۸٫۸۹ ثانیه
    زمانِ کل، میانه
    ۱۵٫۸۰ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۸۱٫۹۲ ثانیه
    سرعتِ تولید
    ۱۶۶٫۵ توکن بر ثانیه

    پاسخِ یک‌جا۱٬۰۸۱ فراخوانی

    زمانِ کل، میانه
    ۹۸۷ میلی‌ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۶٫۵۶ ثانیه
  • xAI

    پاسخِ استریم۲ فراخوانی

    دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.

    پاسخِ یک‌جا۲ فراخوانی

    دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.

  • Moonshot AI

    پاسخِ استریم۱۲ فراخوانی

    دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.

    پاسخِ یک‌جا۱۰ فراخوانی

    دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.

  • Z.ai

    پاسخِ استریم۵۱۴ فراخوانی

    نخستین بایت، میانه
    ۴٫۷۰ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۱۱٫۱۷ ثانیه
    زمانِ کل، میانه
    ۸٫۶۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۴۴٫۶۷ ثانیه
    سرعتِ تولید
    ۶۰٫۹ توکن بر ثانیه

    پاسخِ یک‌جا۲۰۵ فراخوانی

    زمانِ کل، میانه
    ۸٫۶۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۸٫۹۷ ثانیه
  • Alibaba Qwen

    پاسخِ استریم۱۲۳ فراخوانی

    نخستین بایت، میانه
    ۴٫۷۰ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۲۸٫۹۷ ثانیه
    زمانِ کل، میانه
    ۸٫۶۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۳۷٫۵۶ ثانیه
    سرعتِ تولید
    ۶۵٫۴ توکن بر ثانیه

    پاسخِ یک‌جا۵۸۳ فراخوانی

    زمانِ کل، میانه
    ۱٫۶۶ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۶٫۵۶ ثانیه
  • MiniMax

    پاسخِ استریم۸ فراخوانی

    دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.

مدل‌های پرمصرف

  • gpt-6-luna OpenAI

    پاسخِ استریم۱۶۱ فراخوانی

    نخستین بایت، میانه
    ۱٫۹۸ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۴٫۷۰ ثانیه
    زمانِ کل، میانه
    ۳٫۹۵ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۹٫۳۹ ثانیه
    سرعتِ تولید
    ۶۹٫۲ توکن بر ثانیه

    پاسخِ یک‌جا۶٬۲۹۷ فراخوانی

    زمانِ کل، میانه
    ۱۰٫۲۴ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۳۱٫۵۹ ثانیه
  • gpt-4o-mini OpenAI

    پاسخِ استریم۳۸۳ فراخوانی

    نخستین بایت، میانه
    ۶۹۸ میلی‌ثانیه
    نخستین بایت، صدکِ ۹۵
    ۲٫۳۵ ثانیه
    زمانِ کل، میانه
    ۲٫۸۰ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۱۲٫۱۸ ثانیه
    سرعتِ تولید
    ۷۵٫۲ توکن بر ثانیه

    پاسخِ یک‌جا۱٬۸۷۴ فراخوانی

    زمانِ کل، میانه
    ۱٫۰۸ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۴٫۳۱ ثانیه
  • gpt-5.6-luna OpenAI

    پاسخِ استریم۱٬۲۴۵ فراخوانی

    نخستین بایت، میانه
    ۱۳٫۲۸ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۴۸٫۷۱ ثانیه
    زمانِ کل، میانه
    ۱۸٫۷۸ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۶۳٫۱۷ ثانیه
    سرعتِ تولید
    ۶۲٫۹ توکن بر ثانیه

    پاسخِ یک‌جا۲۵۷ فراخوانی

    زمانِ کل، میانه
    ۹٫۳۹ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۸٫۹۷ ثانیه
  • claude-haiku-5-5 Anthropic

    پاسخِ استریم۱٬۱۵۴ فراخوانی

    نخستین بایت، میانه
    ۹۰۵ میلی‌ثانیه
    نخستین بایت، صدکِ ۹۵
    ۴٫۳۱ ثانیه
    زمانِ کل، میانه
    ۳٫۳۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۱۷٫۲۳ ثانیه
    سرعتِ تولید
    ۲۴۴٫۹ توکن بر ثانیه

    پاسخِ یک‌جا۲۶۹ فراخوانی

    زمانِ کل، میانه
    ۴٫۷۰ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۴٫۳۶ ثانیه
  • deepseek-v4-flash DeepSeek

    پاسخِ استریم۳۴۹ فراخوانی

    نخستین بایت، میانه
    ۲٫۱۶ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۳۴٫۴۵ ثانیه
    زمانِ کل، میانه
    ۷٫۲۵ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۴۰٫۹۶ ثانیه
    سرعتِ تولید
    ۱۷۹٫۸ توکن بر ثانیه

    پاسخِ یک‌جا۸۹۹ فراخوانی

    زمانِ کل، میانه
    ۹۰۵ میلی‌ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۶٫۵۶ ثانیه
  • glm-5.3-flash Z.ai

    پاسخِ استریم۵۱۴ فراخوانی

    نخستین بایت، میانه
    ۴٫۷۰ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۱۱٫۱۷ ثانیه
    زمانِ کل، میانه
    ۸٫۶۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۴۴٫۶۷ ثانیه
    سرعتِ تولید
    ۶۰٫۹ توکن بر ثانیه

    پاسخِ یک‌جا۲۰۵ فراخوانی

    زمانِ کل، میانه
    ۸٫۶۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲۸٫۹۷ ثانیه
  • gemini-2.5-flash-lite Google

    پاسخِ استریم۳۳۰ فراخوانی

    نخستین بایت، میانه
    ۶۹۸ میلی‌ثانیه
    نخستین بایت، صدکِ ۹۵
    ۷٫۲۵ ثانیه
    زمانِ کل، میانه
    ۹۰۵ میلی‌ثانیه
    زمانِ کل، صدکِ ۹۵
    ۱۰٫۲۴ ثانیه
    سرعتِ تولید
    نمونهٔ کافی نیست

    پاسخِ یک‌جا۱۹۱ فراخوانی

    زمانِ کل، میانه
    ۶٫۰۹ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۶۸٫۸۹ ثانیه
  • deepseek-reasoner DeepSeek

    پاسخِ استریم۳۱۸ فراخوانی

    نخستین بایت، میانه
    ۲۴٫۳۶ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۸۱٫۹۲ ثانیه
    زمانِ کل، میانه
    ۳۱٫۵۹ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۸۹٫۳۴ ثانیه
    سرعتِ تولید
    ۲۰۴٫۳ توکن بر ثانیه

    پاسخِ یک‌جا۱۴۱ فراخوانی

    زمانِ کل، میانه
    ۲٫۳۵ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۱۲٫۱۸ ثانیه
  • qwen3.6-flash Alibaba Qwen

    پاسخِ یک‌جا۴۱۳ فراخوانی

    زمانِ کل، میانه
    ۱٫۱۸ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۲٫۸۰ ثانیه
  • gemini-3.8-flash Google

    پاسخِ یک‌جا۳۹۶ فراخوانی

    زمانِ کل، میانه
    ۵٫۱۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۴۴٫۶۷ ثانیه
  • gemini-2.5-flash Google

    پاسخِ یک‌جا۲۵۷ فراخوانی

    زمانِ کل، میانه
    ۵٫۱۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۱۵٫۸۰ ثانیه
  • qwen3.8-flash Alibaba Qwen

    پاسخِ استریم۱۲۱ فراخوانی

    نخستین بایت، میانه
    ۵٫۱۲ ثانیه
    نخستین بایت، صدکِ ۹۵
    ۲۸٫۹۷ ثانیه
    زمانِ کل، میانه
    ۸٫۶۲ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۳۷٫۵۶ ثانیه
    سرعتِ تولید
    ۶۵٫۵ توکن بر ثانیه

    پاسخِ یک‌جا۱۴۸ فراخوانی

    زمانِ کل، میانه
    ۱۸٫۷۸ ثانیه
    زمانِ کل، صدکِ ۹۵
    ۷۵٫۱۳ ثانیه

این زمان‌ها چطور سنجیده می‌شوند

  • اندازه‌گیری در درگاهِ 1xAi و روی ترافیکِ واقعیِ مشتریان انجام می‌شود. ساعت از لحظهٔ رسیدنِ درخواست به درگاه شروع می‌شود و وقتی می‌ایستد که درگاه پاسخِ کامل را در دست دارد و فراخوانی را ثبت می‌کند. پس هر عدد، زمانِ پردازشِ خودِ ما و کلِ زمانِ پاسخِ سرویس‌دهنده را در بر دارد و شبکهٔ مشتری را در بر ندارد: مسیرِ میانِ فراخواننده و ما در آن نیست.
  • زمانِ نخستین بایت فقط برای فراخوانی‌های استریم ثبت می‌شود: از همان آغاز تا نوشته‌شدنِ نخستین بایتِ استریم برای فراخواننده، یعنی نخستین رویدادِ استریمِ سرویس‌دهنده. در بعضی قالب‌ها این رویداد اندکی پیش از نخستین توکنِ متن می‌رسد؛ پس این «زمان تا نخستین بایت» است، نه سنجشِ دقیقِ نخستین توکن.
  • توکن بر ثانیه برای فراخوانی‌های استریم حساب می‌شود: توکن‌های خروجی تقسیم بر زمانِ تولید (زمانِ کل منهای زمانِ نخستین بایت)، که اول روی همهٔ فراخوانی‌ها جمع و بعد تقسیم می‌شود. فقط فراخوانی‌هایی شمرده می‌شوند که دست‌کم 16 توکنِ خروجی در دست‌کم 250 میلی‌ثانیه تولید کرده‌اند؛ پاسخِ سه‌توکنی یا استریمی که یک‌جا می‌رسد زمانِ تولیدی ندارد که بشود بر آن تقسیم کرد.
  • چه فراخوانی‌هایی شمرده می‌شوند: فراخوانی‌های موفق (HTTP 2xx، با همان دسته‌بندیِ نرخِ موفقیت) به مسیرهای تولیدِ متن (chat completions، Responses، Anthropic Messages و generateContent در Gemini) که مشتریان فرستاده‌اند و درگاه زمانشان را گرفته است. فراخوانی‌های محصولِ گفتگو هم از همین درگاه می‌گذرند و شمرده می‌شوند.
  • چه چیزهایی شمرده نمی‌شوند: فراخوانی‌های ناموفق و ردشده (آن‌ها در نرخِ موفقیت هستند)؛ ردیفِ حسابداریِ بازپرداخت؛ تلاش‌های پنهانِ دوبارهٔ خودِ درگاه؛ embedding، تصویر، صدا، ویدیو و کارهای دسته‌ای؛ فراخوانی‌های کارکنان و حساب‌های آزمایشیِ خودِ 1xAi؛ و هر چه پیش از latency.measured_since بوده، چون درگاه پیش از آن مدت‌زمان را ثبت نمی‌کرد.
  • هر روزِ تقویمیِ بسته‌شده به وقتِ تهران (UTC+03:30) یک بار، حدودِ یک ساعت پس از پایانش، در یک هیستوگرامِ ثابت برای هر سرویس‌دهنده، مدل و نوعِ پاسخ خلاصه می‌شود. بازه‌ها ۱، ۷ و ۳۰ روزِ بستهٔ آخرند که به latency.last_day ختم می‌شوند؛ روزِ در جریان هرگز در عددی نیست. days_folded می‌گوید چند روز از هر بازه واقعاً خلاصه دارد.
  • صدک‌ها به روشِ نزدیک‌ترین رتبه‌اند و به شکلِ لبهٔ بالاییِ خانهٔ هیستوگرامی که در آن افتاده‌اند منتشر می‌شوند (121 لبه از ۲۰ تا ۶۵۵٬۳۶۰ میلی‌ثانیه، ۸ لبه در هر دوبرابرشدن؛ فهرستش در latency.bucket_bounds_ms). پس عددِ منتشرشده هرگز کمتر از مقدارِ واقعی نیست و حداکثر 9.1٪ بیشتر از آن است. گردکردن همیشه به زیانِ ماست.
  • با کمتر از 100 فراخوانی هیچ عددی منتشر نمی‌شود: ردیفِ سرویس‌دهنده‌ای که کمتر دارد شمارش را نگه می‌دارد و عددی چاپ نمی‌کند، و مدلی که کمتر دارد فهرست نمی‌شود. هر عدد اندازهٔ نمونه‌اش را کنارِ خود دارد.
  • ردیفِ هر سرویس‌دهنده آمیزه‌ای است از هر مدل و هر اندازهٔ پرامپتی که مشتریان آن روز فراخوانده‌اند. مقایسهٔ همسان را روی ردیفِ مدل‌ها انجام دهید، و همه را با اسکریپتِ بنچمارک در https://1xai.ir/benchmark از شبکهٔ خودتان بازتولید کنید.

این عددها چه چیزی نیستند

  • تعهدِ سطحِ خدمت (SLA) و قول نیست: این‌ها اندازه‌گیریِ چیزی است که رخ داده، و ساعتِ بعد می‌تواند کندتر باشد.
  • آزمونِ ساختگی از داخلِ ایران نیست. هیچ درخواستِ آزمایشیِ زمان‌بندی‌شده‌ای از یک شبکهٔ مشخصِ ایرانی این عددها را نمی‌سازد؛ این‌ها مدت‌زمانِ فراخوانی‌های واقعی‌اند، از دیدِ درگاه. آنچه فراخواننده در ایران تجربه می‌کند مسیرِ شبکهٔ خودش تا ما را هم دارد، که در این عددها نیست.
  • ادعایی دربارهٔ سرعتِ خودِ سرویس‌دهنده نیست. هر عدد پردازشِ ما و مسیرِ ما تا سرویس‌دهنده را هم در بر دارد؛ عددِ کند می‌تواند از ما باشد.
  • مقایسه با هیچ درگاهِ دیگری نیست. برای مقایسه، اسکریپتِ بنچمارک را از شبکهٔ خودتان روی هر دو اجرا کنید.
  • ممیزیِ شخصِ ثالث نشده است. دادهٔ دستِ‌اول است که با روش و اندازهٔ نمونه‌اش منتشر می‌شود تا بشود بررسی‌اش کرد.

خودتان بسنجید

یک فایلِ پایتون، بدونِ هیچ بستهٔ اضافه. با کلیدِ خودتان، از شبکهٔ خودتان، روی هر نشانیِ سازگار با OpenAI.

  1. ۱. اسکریپت را بگیرید و بخوانید

    bench.py یک فایل است و فقط کتابخانهٔ استانداردِ پایتون (نسخهٔ ۳٫۸ به بالا) را می‌خواهد. پیش از آنکه کلیدتان را به آن بدهید بخوانیدش: جز نشانی‌هایی که خودتان می‌دهید با هیچ‌جا تماس نمی‌گیرد، نه آماری می‌فرستد و نه به‌روزرسانی می‌پرسد.

    curl -o bench.py https://1xai.ir/benchmark/bench.py.txt
    less bench.py        # one file, standard library only: read it first
  2. ۲. اجرا کنید

    ۲۰ فراخوانیِ استریم با یک پرامپتِ کوتاهِ ثابت می‌فرستد و برای هر کدام زمان تا نخستین بایت، زمان تا نخستین توکن، زمانِ کل و توکن بر ثانیه را می‌گیرد؛ در پایان میانه، صدکِ ۹۵، شمارِ خطاها و پارامترهای دقیقِ اجرا را گزارش می‌دهد.

    export BENCH_API_KEY="your key"     # read from the environment, never printed
    python3 bench.py --base-url https://1xai.ir/v1 --model gpt-4o-mini
  3. ۳. دو درگاه را منصفانه مقایسه کنید

    با --compare دو نشانی یک‌درمیان فراخوانده می‌شوند، هر کدام با کلیدِ خودش. خروجی یک جدولِ Markdown و یک فایلِ JSON با تک‌تکِ فراخوانی‌هاست که می‌توانید همان‌طور منتشر کنید. ما اینجا عددی دربارهٔ درگاهِ دیگری نمی‌نویسیم؛ این مقایسه را خودتان، از جایی که هستید، بگیرید.

    export BENCH_API_KEY="your 1xAi key"
    export BENCH_COMPARE_API_KEY="your key at the other gateway"
    python3 bench.py --base-url https://1xai.ir/v1 --model gpt-4o-mini \
        --compare https://other-gateway.example/v1 --compare-model gpt-4o-mini \
        --n 30 --json result.json --markdown result.md

این آزمون پول خرج می‌کند

هر فراخوانی یک فراخوانیِ عادی و پولیِ API روی حسابِ شماست. با تنظیمِ پیش‌فرض ۲۰ فراخوانی برای هر درگاه انجام می‌شود و هر کدام حداکثر ۲۵۶ توکنِ خروجی می‌سازد. اسکریپت پیش از شروع می‌گوید چند فراخوانی می‌کند و می‌پرسد؛ فقط با --yes بی‌پرسش اجرا می‌شود.

کلیدتان نزدِ خودتان می‌ماند

کلید از متغیرِ محیطی خوانده می‌شود، نه از خطِ فرمان. در خروجی، در فایلِ نتیجه و در پیامِ خطا چاپ نمی‌شود، و کلیدِ یک درگاه هرگز برای درگاهِ دیگر فرستاده نمی‌شود. اسکریپت متغیرهای پراکسیِ محیط را هم نمی‌خواند: مسیرِ مستقیمِ شما سنجیده می‌شود.

اسکریپت دقیقاً چه چیزهایی را می‌سنجد

connect_ms
از آغاز تا برقرار شدنِ اتصالِ TCP و دست‌دادنِ TLS. برای هر فراخوانی اتصالِ تازه باز می‌شود.
first_byte_ms
از آغاز تا نخستین بایتِ بدنهٔ پاسخ. این همان عددی است که باید کنارِ «نخستین بایت» در صفحهٔ وضعیت گذاشت، به‌علاوهٔ شبکهٔ خودتان.
first_token_ms
از آغاز تا نخستین رویدادِ استریم که متن دارد (پاسخ، استدلال یا فراخوانیِ ابزار). تکهٔ اولی که فقط نقش را می‌گوید شمرده نمی‌شود.
total_ms
از آغاز تا پایانِ استریم.
output_tokens
مقدارِ usage.completion_tokens، همان‌طور که درگاه گزارش می‌دهد.
tokens_per_second
output_tokens تقسیم بر (زمانِ کل منهای نخستین توکن). خلاصه، میانهٔ فراخوانی‌ها، دُمِ کُند (p05) و مجموعِ توکن‌ها بر مجموعِ زمانِ تولید (weighted) را می‌دهد.

صدک‌ها به روشِ نزدیک‌ترین رتبه‌اند و فقط روی فراخوانی‌های موفق حساب می‌شوند؛ فراخوانی‌های ناموفق جدا شمرده و با علتشان گزارش می‌شوند.

گزینه‌های خطِ فرمان

--base-url URL
نشانیِ پایهٔ سازگار با OpenAI. اسکریپت خودش ‎/chat/completions‎ را اضافه می‌کند.
--model ID
شناسهٔ مدل، همان‌طور که آن درگاه می‌نامد.
--n 20
شمارِ فراخوانی برای هر درگاه. هر کدام یک فراخوانیِ پولی است.
--max-tokens 256
سقفِ خروجیِ هر فراخوانی؛ هزینه را محدود می‌کند.
--max-tokens-param NAME
max_tokens (پیش‌فرض) یا max_completion_tokens، برای مدل‌هایی که فقط دومی را می‌پذیرند.
--compare URL
درگاهِ دوم که یک‌درمیان با اولی فراخوانده می‌شود (A B، B A، …) تا هیچ‌کدام دقیقه‌های بهتر را نگیرد.
--compare-model ID
شناسهٔ مدل در درگاهِ دوم، اگر آنجا نامِ دیگری دارد.
--key-env / --compare-key-env NAME
متغیرهای محیطی‌ای که کلیدها در آن‌هاست (BENCH_API_KEY و BENCH_COMPARE_API_KEY). کلیدِ یک درگاه هرگز به درگاهِ دیگر فرستاده نمی‌شود.
--json FILE / --markdown FILE
نتیجهٔ کامل (همهٔ فراخوانی‌ها) به‌صورتِ JSON و جدولِ خلاصه به‌صورتِ Markdown.
--yes
پیش از فراخوانی‌های پولی نپرس.

عددها را چطور بخوانیم

پنج نکته، پیش از آنکه عددی را نقل یا دو درگاه را مقایسه کنید.

  • عددِ ما و عددِ شما یک چیز را نمی‌سنجند

    عددهای صفحهٔ وضعیت در درگاه گرفته می‌شوند: از رسیدنِ درخواست به ما تا کامل شدنِ پاسخ. اسکریپت از دستگاهِ شما می‌سنجد و پیش از باز شدنِ اتصال شروع می‌کند؛ پس مسیرِ شبکهٔ شما تا درگاه و دست‌دادنِ TLS هم در عددِ شماست. عددِ شما باید بزرگ‌تر باشد، و فاصله‌اش همان چیزی است که شبکهٔ شما اضافه می‌کند. ستونِ connect_ms بخشی از این فاصله را جدا نشان می‌دهد.

  • نخستین بایت با نخستین توکن فرق دارد

    صفحهٔ وضعیت «نخستین بایت» را منتشر می‌کند: نخستین رویدادِ استریم که از سرویس‌دهنده می‌رسد، که در بعضی قالب‌ها اندکی پیش از نخستین توکنِ متن است. اسکریپت هر دو را می‌دهد: first_byte_ms را کنارِ عددِ ما بگذارید و first_token_ms را برای تجربهٔ کاربر بخوانید. در مدل‌های استدلالی، نخستین توکن می‌تواند توکنِ استدلال باشد.

  • میانه و صدکِ ۹۵ را با هم بخوانید

    میانه (p50) می‌گوید یک فراخوانیِ معمولی چقدر طول می‌کشد؛ صدکِ ۹۵ (p95) می‌گوید از هر صد فراخوانی، پنج‌تای کُندتر از چه زمانی کُندترند. برای کاری که کاربر منتظرش می‌ماند، دومی مهم‌تر است. با ۲۰ فراخوانی، صدکِ ۹۵ عملاً کندترین یا دومین کندترینِ آن‌هاست؛ برای دُمِ قابلِ‌اتکا --n را بزرگ‌تر بگیرید.

  • اندازهٔ نمونه را پیش از عدد ببینید

    کنارِ هر عددِ ما شمارِ فراخوانی‌هایی آمده که از آن‌ها حساب شده، و زیرِ حدِ نمونه عددی چاپ نمی‌شود. ردیفِ یک سرویس‌دهنده آمیزه‌ای از مدل‌ها و اندازهٔ پرامپت‌هایی است که مشتریان فرستاده‌اند؛ اسکریپت یک پرامپتِ کوتاهِ ثابت می‌فرستد. پس عددِ شما با ردیفِ «مدل» قابلِ‌مقایسه‌تر است تا با ردیفِ «سرویس‌دهنده»، و با هیچ‌کدام یکی نخواهد بود.

  • مقایسهٔ دو درگاه فقط یک‌درمیان منصفانه است

    سرعتِ یک مدل در طولِ روز عوض می‌شود. اگر اول صد بار درگاهِ الف و بعد صد بار درگاهِ ب را بسنجید، تفاوتِ ساعت را سنجیده‌اید. حالتِ --compare دو درگاه را یک‌درمیان و با جابه‌جا کردنِ نوبتِ اول فرامی‌خواند. همان مدل، همان پرامپت و همان سقفِ خروجی را برای هر دو نگه دارید و آزمون را در چند ساعتِ مختلف تکرار کنید.

کلید بگیرید و از شبکهٔ خودتان بسنجید

یک کلید برای همهٔ مدل‌ها، با صورت‌حسابِ تومانی.