
سرعتِ درگاه را خودتان بسنجید
زمانِ پاسخِ 1xAi را از ترافیکِ واقعی منتشر میکنیم، با اندازهٔ نمونه. این صفحه میگوید چه چیزی منتشر میشود، چطور با کلیدِ خودتان و از شبکهٔ خودتان همان را بسنجید، و عددها را چطور بخوانید.
آنچه منتشر میکنیم
همان عددهای صفحهٔ وضعیت، از همان فایلِ عمومی: زمان تا نخستین بایت، زمانِ کل و سرعتِ تولید، در ۳۰ روزِ بستهٔ اخیر.
در درگاه و روی فراخوانیهای واقعیِ مشتریان سنجیده شده است (اندازهگیری از ۲۰۲۶-۱۱-۱۹). با کمتر از ۱۰۰ فراخوانی عددی منتشر نمیشود، و هر صدکِ منتشرشده حداکثر ۹٫۱٪ بیشتر از مقدارِ واقعی است و هرگز کمتر از آن نیست.
۳۰ روزِ اخیر
از ۲۰۲۶-۱۰-۲۳ تا ۲۰۲۶-۱۱-۲۱ به وقتِ تهران · ۳ روز از ۳۰ روز خلاصه دارد
سرویسدهندهها
OpenAI
پاسخِ استریم۲٬۱۶۲ فراخوانی
- نخستین بایت، میانه
- ۷٫۲۵ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۴۴٫۶۷ ثانیه
- زمانِ کل، میانه
- ۱۳٫۲۸ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۶۸٫۸۹ ثانیه
- سرعتِ تولید
- ۵۸٫۷ توکن بر ثانیه
پاسخِ یکجا۸٬۶۳۴ فراخوانی
- زمانِ کل، میانه
- ۵٫۵۹ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۸٫۹۷ ثانیه
Anthropic
پاسخِ استریم۱٬۴۷۲ فراخوانی
- نخستین بایت، میانه
- ۹۸۷ میلیثانیه
- نخستین بایت، صدکِ ۹۵
- ۷٫۹۰ ثانیه
- زمانِ کل، میانه
- ۴٫۳۱ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۳۱٫۵۹ ثانیه
- سرعتِ تولید
- ۱۸۵٫۵ توکن بر ثانیه
پاسخِ یکجا۴۶۰ فراخوانی
- زمانِ کل، میانه
- ۴٫۷۰ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۳۴٫۴۵ ثانیه
Google
پاسخِ استریم۴۲۰ فراخوانی
- نخستین بایت، میانه
- ۹۸۷ میلیثانیه
- نخستین بایت، صدکِ ۹۵
- ۲۴٫۳۶ ثانیه
- زمانِ کل، میانه
- ۱٫۲۸ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۴۰٫۹۶ ثانیه
- سرعتِ تولید
- ۴۹۱٫۲ توکن بر ثانیه
پاسخِ یکجا۱٬۴۳۰ فراخوانی
- زمانِ کل، میانه
- ۵٫۵۹ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۷۵٫۱۳ ثانیه
DeepSeek
پاسخِ استریم۸۹۲ فراخوانی
- نخستین بایت، میانه
- ۸٫۶۲ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۶۸٫۸۹ ثانیه
- زمانِ کل، میانه
- ۱۵٫۸۰ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۸۱٫۹۲ ثانیه
- سرعتِ تولید
- ۱۶۶٫۵ توکن بر ثانیه
پاسخِ یکجا۱٬۰۸۱ فراخوانی
- زمانِ کل، میانه
- ۹۸۷ میلیثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۶٫۵۶ ثانیه
xAI
پاسخِ استریم۲ فراخوانی
دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.
پاسخِ یکجا۲ فراخوانی
دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.
Moonshot AI
پاسخِ استریم۱۲ فراخوانی
دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.
پاسخِ یکجا۱۰ فراخوانی
دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.
Z.ai
پاسخِ استریم۵۱۴ فراخوانی
- نخستین بایت، میانه
- ۴٫۷۰ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۱۱٫۱۷ ثانیه
- زمانِ کل، میانه
- ۸٫۶۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۴۴٫۶۷ ثانیه
- سرعتِ تولید
- ۶۰٫۹ توکن بر ثانیه
پاسخِ یکجا۲۰۵ فراخوانی
- زمانِ کل، میانه
- ۸٫۶۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۸٫۹۷ ثانیه
Alibaba Qwen
پاسخِ استریم۱۲۳ فراخوانی
- نخستین بایت، میانه
- ۴٫۷۰ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۲۸٫۹۷ ثانیه
- زمانِ کل، میانه
- ۸٫۶۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۳۷٫۵۶ ثانیه
- سرعتِ تولید
- ۶۵٫۴ توکن بر ثانیه
پاسخِ یکجا۵۸۳ فراخوانی
- زمانِ کل، میانه
- ۱٫۶۶ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۶٫۵۶ ثانیه
MiniMax
پاسخِ استریم۸ فراخوانی
دادهٔ کافی نیست: کمتر از ۱۰۰ فراخوانی در این بازه.
مدلهای پرمصرف
gpt-6-luna OpenAI
پاسخِ استریم۱۶۱ فراخوانی
- نخستین بایت، میانه
- ۱٫۹۸ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۴٫۷۰ ثانیه
- زمانِ کل، میانه
- ۳٫۹۵ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۹٫۳۹ ثانیه
- سرعتِ تولید
- ۶۹٫۲ توکن بر ثانیه
پاسخِ یکجا۶٬۲۹۷ فراخوانی
- زمانِ کل، میانه
- ۱۰٫۲۴ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۳۱٫۵۹ ثانیه
gpt-4o-mini OpenAI
پاسخِ استریم۳۸۳ فراخوانی
- نخستین بایت، میانه
- ۶۹۸ میلیثانیه
- نخستین بایت، صدکِ ۹۵
- ۲٫۳۵ ثانیه
- زمانِ کل، میانه
- ۲٫۸۰ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۱۲٫۱۸ ثانیه
- سرعتِ تولید
- ۷۵٫۲ توکن بر ثانیه
پاسخِ یکجا۱٬۸۷۴ فراخوانی
- زمانِ کل، میانه
- ۱٫۰۸ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۴٫۳۱ ثانیه
gpt-5.6-luna OpenAI
پاسخِ استریم۱٬۲۴۵ فراخوانی
- نخستین بایت، میانه
- ۱۳٫۲۸ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۴۸٫۷۱ ثانیه
- زمانِ کل، میانه
- ۱۸٫۷۸ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۶۳٫۱۷ ثانیه
- سرعتِ تولید
- ۶۲٫۹ توکن بر ثانیه
پاسخِ یکجا۲۵۷ فراخوانی
- زمانِ کل، میانه
- ۹٫۳۹ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۸٫۹۷ ثانیه
claude-haiku-5-5 Anthropic
پاسخِ استریم۱٬۱۵۴ فراخوانی
- نخستین بایت، میانه
- ۹۰۵ میلیثانیه
- نخستین بایت، صدکِ ۹۵
- ۴٫۳۱ ثانیه
- زمانِ کل، میانه
- ۳٫۳۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۱۷٫۲۳ ثانیه
- سرعتِ تولید
- ۲۴۴٫۹ توکن بر ثانیه
پاسخِ یکجا۲۶۹ فراخوانی
- زمانِ کل، میانه
- ۴٫۷۰ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۴٫۳۶ ثانیه
deepseek-v4-flash DeepSeek
پاسخِ استریم۳۴۹ فراخوانی
- نخستین بایت، میانه
- ۲٫۱۶ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۳۴٫۴۵ ثانیه
- زمانِ کل، میانه
- ۷٫۲۵ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۴۰٫۹۶ ثانیه
- سرعتِ تولید
- ۱۷۹٫۸ توکن بر ثانیه
پاسخِ یکجا۸۹۹ فراخوانی
- زمانِ کل، میانه
- ۹۰۵ میلیثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۶٫۵۶ ثانیه
glm-5.3-flash Z.ai
پاسخِ استریم۵۱۴ فراخوانی
- نخستین بایت، میانه
- ۴٫۷۰ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۱۱٫۱۷ ثانیه
- زمانِ کل، میانه
- ۸٫۶۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۴۴٫۶۷ ثانیه
- سرعتِ تولید
- ۶۰٫۹ توکن بر ثانیه
پاسخِ یکجا۲۰۵ فراخوانی
- زمانِ کل، میانه
- ۸٫۶۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲۸٫۹۷ ثانیه
gemini-2.5-flash-lite Google
پاسخِ استریم۳۳۰ فراخوانی
- نخستین بایت، میانه
- ۶۹۸ میلیثانیه
- نخستین بایت، صدکِ ۹۵
- ۷٫۲۵ ثانیه
- زمانِ کل، میانه
- ۹۰۵ میلیثانیه
- زمانِ کل، صدکِ ۹۵
- ۱۰٫۲۴ ثانیه
- سرعتِ تولید
- نمونهٔ کافی نیست
پاسخِ یکجا۱۹۱ فراخوانی
- زمانِ کل، میانه
- ۶٫۰۹ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۶۸٫۸۹ ثانیه
deepseek-reasoner DeepSeek
پاسخِ استریم۳۱۸ فراخوانی
- نخستین بایت، میانه
- ۲۴٫۳۶ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۸۱٫۹۲ ثانیه
- زمانِ کل، میانه
- ۳۱٫۵۹ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۸۹٫۳۴ ثانیه
- سرعتِ تولید
- ۲۰۴٫۳ توکن بر ثانیه
پاسخِ یکجا۱۴۱ فراخوانی
- زمانِ کل، میانه
- ۲٫۳۵ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۱۲٫۱۸ ثانیه
qwen3.6-flash Alibaba Qwen
پاسخِ یکجا۴۱۳ فراخوانی
- زمانِ کل، میانه
- ۱٫۱۸ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۲٫۸۰ ثانیه
gemini-3.8-flash Google
پاسخِ یکجا۳۹۶ فراخوانی
- زمانِ کل، میانه
- ۵٫۱۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۴۴٫۶۷ ثانیه
gemini-2.5-flash Google
پاسخِ یکجا۲۵۷ فراخوانی
- زمانِ کل، میانه
- ۵٫۱۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۱۵٫۸۰ ثانیه
qwen3.8-flash Alibaba Qwen
پاسخِ استریم۱۲۱ فراخوانی
- نخستین بایت، میانه
- ۵٫۱۲ ثانیه
- نخستین بایت، صدکِ ۹۵
- ۲۸٫۹۷ ثانیه
- زمانِ کل، میانه
- ۸٫۶۲ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۳۷٫۵۶ ثانیه
- سرعتِ تولید
- ۶۵٫۵ توکن بر ثانیه
پاسخِ یکجا۱۴۸ فراخوانی
- زمانِ کل، میانه
- ۱۸٫۷۸ ثانیه
- زمانِ کل، صدکِ ۹۵
- ۷۵٫۱۳ ثانیه
این زمانها چطور سنجیده میشوند
- اندازهگیری در درگاهِ 1xAi و روی ترافیکِ واقعیِ مشتریان انجام میشود. ساعت از لحظهٔ رسیدنِ درخواست به درگاه شروع میشود و وقتی میایستد که درگاه پاسخِ کامل را در دست دارد و فراخوانی را ثبت میکند. پس هر عدد، زمانِ پردازشِ خودِ ما و کلِ زمانِ پاسخِ سرویسدهنده را در بر دارد و شبکهٔ مشتری را در بر ندارد: مسیرِ میانِ فراخواننده و ما در آن نیست.
- زمانِ نخستین بایت فقط برای فراخوانیهای استریم ثبت میشود: از همان آغاز تا نوشتهشدنِ نخستین بایتِ استریم برای فراخواننده، یعنی نخستین رویدادِ استریمِ سرویسدهنده. در بعضی قالبها این رویداد اندکی پیش از نخستین توکنِ متن میرسد؛ پس این «زمان تا نخستین بایت» است، نه سنجشِ دقیقِ نخستین توکن.
- توکن بر ثانیه برای فراخوانیهای استریم حساب میشود: توکنهای خروجی تقسیم بر زمانِ تولید (زمانِ کل منهای زمانِ نخستین بایت)، که اول روی همهٔ فراخوانیها جمع و بعد تقسیم میشود. فقط فراخوانیهایی شمرده میشوند که دستکم 16 توکنِ خروجی در دستکم 250 میلیثانیه تولید کردهاند؛ پاسخِ سهتوکنی یا استریمی که یکجا میرسد زمانِ تولیدی ندارد که بشود بر آن تقسیم کرد.
- چه فراخوانیهایی شمرده میشوند: فراخوانیهای موفق (HTTP 2xx، با همان دستهبندیِ نرخِ موفقیت) به مسیرهای تولیدِ متن (chat completions، Responses، Anthropic Messages و generateContent در Gemini) که مشتریان فرستادهاند و درگاه زمانشان را گرفته است. فراخوانیهای محصولِ گفتگو هم از همین درگاه میگذرند و شمرده میشوند.
- چه چیزهایی شمرده نمیشوند: فراخوانیهای ناموفق و ردشده (آنها در نرخِ موفقیت هستند)؛ ردیفِ حسابداریِ بازپرداخت؛ تلاشهای پنهانِ دوبارهٔ خودِ درگاه؛ embedding، تصویر، صدا، ویدیو و کارهای دستهای؛ فراخوانیهای کارکنان و حسابهای آزمایشیِ خودِ 1xAi؛ و هر چه پیش از latency.measured_since بوده، چون درگاه پیش از آن مدتزمان را ثبت نمیکرد.
- هر روزِ تقویمیِ بستهشده به وقتِ تهران (UTC+03:30) یک بار، حدودِ یک ساعت پس از پایانش، در یک هیستوگرامِ ثابت برای هر سرویسدهنده، مدل و نوعِ پاسخ خلاصه میشود. بازهها ۱، ۷ و ۳۰ روزِ بستهٔ آخرند که به latency.last_day ختم میشوند؛ روزِ در جریان هرگز در عددی نیست. days_folded میگوید چند روز از هر بازه واقعاً خلاصه دارد.
- صدکها به روشِ نزدیکترین رتبهاند و به شکلِ لبهٔ بالاییِ خانهٔ هیستوگرامی که در آن افتادهاند منتشر میشوند (121 لبه از ۲۰ تا ۶۵۵٬۳۶۰ میلیثانیه، ۸ لبه در هر دوبرابرشدن؛ فهرستش در latency.bucket_bounds_ms). پس عددِ منتشرشده هرگز کمتر از مقدارِ واقعی نیست و حداکثر 9.1٪ بیشتر از آن است. گردکردن همیشه به زیانِ ماست.
- با کمتر از 100 فراخوانی هیچ عددی منتشر نمیشود: ردیفِ سرویسدهندهای که کمتر دارد شمارش را نگه میدارد و عددی چاپ نمیکند، و مدلی که کمتر دارد فهرست نمیشود. هر عدد اندازهٔ نمونهاش را کنارِ خود دارد.
- ردیفِ هر سرویسدهنده آمیزهای است از هر مدل و هر اندازهٔ پرامپتی که مشتریان آن روز فراخواندهاند. مقایسهٔ همسان را روی ردیفِ مدلها انجام دهید، و همه را با اسکریپتِ بنچمارک در https://1xai.ir/benchmark از شبکهٔ خودتان بازتولید کنید.
این عددها چه چیزی نیستند
- تعهدِ سطحِ خدمت (SLA) و قول نیست: اینها اندازهگیریِ چیزی است که رخ داده، و ساعتِ بعد میتواند کندتر باشد.
- آزمونِ ساختگی از داخلِ ایران نیست. هیچ درخواستِ آزمایشیِ زمانبندیشدهای از یک شبکهٔ مشخصِ ایرانی این عددها را نمیسازد؛ اینها مدتزمانِ فراخوانیهای واقعیاند، از دیدِ درگاه. آنچه فراخواننده در ایران تجربه میکند مسیرِ شبکهٔ خودش تا ما را هم دارد، که در این عددها نیست.
- ادعایی دربارهٔ سرعتِ خودِ سرویسدهنده نیست. هر عدد پردازشِ ما و مسیرِ ما تا سرویسدهنده را هم در بر دارد؛ عددِ کند میتواند از ما باشد.
- مقایسه با هیچ درگاهِ دیگری نیست. برای مقایسه، اسکریپتِ بنچمارک را از شبکهٔ خودتان روی هر دو اجرا کنید.
- ممیزیِ شخصِ ثالث نشده است. دادهٔ دستِاول است که با روش و اندازهٔ نمونهاش منتشر میشود تا بشود بررسیاش کرد.
خودتان بسنجید
یک فایلِ پایتون، بدونِ هیچ بستهٔ اضافه. با کلیدِ خودتان، از شبکهٔ خودتان، روی هر نشانیِ سازگار با OpenAI.
۱. اسکریپت را بگیرید و بخوانید
bench.py یک فایل است و فقط کتابخانهٔ استانداردِ پایتون (نسخهٔ ۳٫۸ به بالا) را میخواهد. پیش از آنکه کلیدتان را به آن بدهید بخوانیدش: جز نشانیهایی که خودتان میدهید با هیچجا تماس نمیگیرد، نه آماری میفرستد و نه بهروزرسانی میپرسد.
curl -o bench.py https://1xai.ir/benchmark/bench.py.txt less bench.py # one file, standard library only: read it first
۲. اجرا کنید
۲۰ فراخوانیِ استریم با یک پرامپتِ کوتاهِ ثابت میفرستد و برای هر کدام زمان تا نخستین بایت، زمان تا نخستین توکن، زمانِ کل و توکن بر ثانیه را میگیرد؛ در پایان میانه، صدکِ ۹۵، شمارِ خطاها و پارامترهای دقیقِ اجرا را گزارش میدهد.
export BENCH_API_KEY="your key" # read from the environment, never printed python3 bench.py --base-url https://1xai.ir/v1 --model gpt-4o-mini
۳. دو درگاه را منصفانه مقایسه کنید
با --compare دو نشانی یکدرمیان فراخوانده میشوند، هر کدام با کلیدِ خودش. خروجی یک جدولِ Markdown و یک فایلِ JSON با تکتکِ فراخوانیهاست که میتوانید همانطور منتشر کنید. ما اینجا عددی دربارهٔ درگاهِ دیگری نمینویسیم؛ این مقایسه را خودتان، از جایی که هستید، بگیرید.
export BENCH_API_KEY="your 1xAi key" export BENCH_COMPARE_API_KEY="your key at the other gateway" python3 bench.py --base-url https://1xai.ir/v1 --model gpt-4o-mini \ --compare https://other-gateway.example/v1 --compare-model gpt-4o-mini \ --n 30 --json result.json --markdown result.md
این آزمون پول خرج میکند
هر فراخوانی یک فراخوانیِ عادی و پولیِ API روی حسابِ شماست. با تنظیمِ پیشفرض ۲۰ فراخوانی برای هر درگاه انجام میشود و هر کدام حداکثر ۲۵۶ توکنِ خروجی میسازد. اسکریپت پیش از شروع میگوید چند فراخوانی میکند و میپرسد؛ فقط با --yes بیپرسش اجرا میشود.
کلیدتان نزدِ خودتان میماند
کلید از متغیرِ محیطی خوانده میشود، نه از خطِ فرمان. در خروجی، در فایلِ نتیجه و در پیامِ خطا چاپ نمیشود، و کلیدِ یک درگاه هرگز برای درگاهِ دیگر فرستاده نمیشود. اسکریپت متغیرهای پراکسیِ محیط را هم نمیخواند: مسیرِ مستقیمِ شما سنجیده میشود.
اسکریپت دقیقاً چه چیزهایی را میسنجد
- connect_ms
- از آغاز تا برقرار شدنِ اتصالِ TCP و دستدادنِ TLS. برای هر فراخوانی اتصالِ تازه باز میشود.
- first_byte_ms
- از آغاز تا نخستین بایتِ بدنهٔ پاسخ. این همان عددی است که باید کنارِ «نخستین بایت» در صفحهٔ وضعیت گذاشت، بهعلاوهٔ شبکهٔ خودتان.
- first_token_ms
- از آغاز تا نخستین رویدادِ استریم که متن دارد (پاسخ، استدلال یا فراخوانیِ ابزار). تکهٔ اولی که فقط نقش را میگوید شمرده نمیشود.
- total_ms
- از آغاز تا پایانِ استریم.
- output_tokens
- مقدارِ usage.completion_tokens، همانطور که درگاه گزارش میدهد.
- tokens_per_second
- output_tokens تقسیم بر (زمانِ کل منهای نخستین توکن). خلاصه، میانهٔ فراخوانیها، دُمِ کُند (p05) و مجموعِ توکنها بر مجموعِ زمانِ تولید (weighted) را میدهد.
صدکها به روشِ نزدیکترین رتبهاند و فقط روی فراخوانیهای موفق حساب میشوند؛ فراخوانیهای ناموفق جدا شمرده و با علتشان گزارش میشوند.
گزینههای خطِ فرمان
- --base-url URL
- نشانیِ پایهٔ سازگار با OpenAI. اسکریپت خودش /chat/completions را اضافه میکند.
- --model ID
- شناسهٔ مدل، همانطور که آن درگاه مینامد.
- --n 20
- شمارِ فراخوانی برای هر درگاه. هر کدام یک فراخوانیِ پولی است.
- --max-tokens 256
- سقفِ خروجیِ هر فراخوانی؛ هزینه را محدود میکند.
- --max-tokens-param NAME
- max_tokens (پیشفرض) یا max_completion_tokens، برای مدلهایی که فقط دومی را میپذیرند.
- --compare URL
- درگاهِ دوم که یکدرمیان با اولی فراخوانده میشود (A B، B A، …) تا هیچکدام دقیقههای بهتر را نگیرد.
- --compare-model ID
- شناسهٔ مدل در درگاهِ دوم، اگر آنجا نامِ دیگری دارد.
- --key-env / --compare-key-env NAME
- متغیرهای محیطیای که کلیدها در آنهاست (BENCH_API_KEY و BENCH_COMPARE_API_KEY). کلیدِ یک درگاه هرگز به درگاهِ دیگر فرستاده نمیشود.
- --json FILE / --markdown FILE
- نتیجهٔ کامل (همهٔ فراخوانیها) بهصورتِ JSON و جدولِ خلاصه بهصورتِ Markdown.
- --yes
- پیش از فراخوانیهای پولی نپرس.
عددها را چطور بخوانیم
پنج نکته، پیش از آنکه عددی را نقل یا دو درگاه را مقایسه کنید.
عددِ ما و عددِ شما یک چیز را نمیسنجند
عددهای صفحهٔ وضعیت در درگاه گرفته میشوند: از رسیدنِ درخواست به ما تا کامل شدنِ پاسخ. اسکریپت از دستگاهِ شما میسنجد و پیش از باز شدنِ اتصال شروع میکند؛ پس مسیرِ شبکهٔ شما تا درگاه و دستدادنِ TLS هم در عددِ شماست. عددِ شما باید بزرگتر باشد، و فاصلهاش همان چیزی است که شبکهٔ شما اضافه میکند. ستونِ connect_ms بخشی از این فاصله را جدا نشان میدهد.
نخستین بایت با نخستین توکن فرق دارد
صفحهٔ وضعیت «نخستین بایت» را منتشر میکند: نخستین رویدادِ استریم که از سرویسدهنده میرسد، که در بعضی قالبها اندکی پیش از نخستین توکنِ متن است. اسکریپت هر دو را میدهد: first_byte_ms را کنارِ عددِ ما بگذارید و first_token_ms را برای تجربهٔ کاربر بخوانید. در مدلهای استدلالی، نخستین توکن میتواند توکنِ استدلال باشد.
میانه و صدکِ ۹۵ را با هم بخوانید
میانه (p50) میگوید یک فراخوانیِ معمولی چقدر طول میکشد؛ صدکِ ۹۵ (p95) میگوید از هر صد فراخوانی، پنجتای کُندتر از چه زمانی کُندترند. برای کاری که کاربر منتظرش میماند، دومی مهمتر است. با ۲۰ فراخوانی، صدکِ ۹۵ عملاً کندترین یا دومین کندترینِ آنهاست؛ برای دُمِ قابلِاتکا --n را بزرگتر بگیرید.
اندازهٔ نمونه را پیش از عدد ببینید
کنارِ هر عددِ ما شمارِ فراخوانیهایی آمده که از آنها حساب شده، و زیرِ حدِ نمونه عددی چاپ نمیشود. ردیفِ یک سرویسدهنده آمیزهای از مدلها و اندازهٔ پرامپتهایی است که مشتریان فرستادهاند؛ اسکریپت یک پرامپتِ کوتاهِ ثابت میفرستد. پس عددِ شما با ردیفِ «مدل» قابلِمقایسهتر است تا با ردیفِ «سرویسدهنده»، و با هیچکدام یکی نخواهد بود.
مقایسهٔ دو درگاه فقط یکدرمیان منصفانه است
سرعتِ یک مدل در طولِ روز عوض میشود. اگر اول صد بار درگاهِ الف و بعد صد بار درگاهِ ب را بسنجید، تفاوتِ ساعت را سنجیدهاید. حالتِ --compare دو درگاه را یکدرمیان و با جابهجا کردنِ نوبتِ اول فرامیخواند. همان مدل، همان پرامپت و همان سقفِ خروجی را برای هر دو نگه دارید و آزمون را در چند ساعتِ مختلف تکرار کنید.
کلید بگیرید و از شبکهٔ خودتان بسنجید
یک کلید برای همهٔ مدلها، با صورتحسابِ تومانی.