توکن چیست؟ توضیح ساده و محاسبه هزینه API ۱۴۰۵
توکن تکهای از متن است (یک نویسه، بخشی از واژه، یک واژهٔ کامل یا یک علامت سجاوندی) که مدل هوش مصنوعی با آن کار میکند و طول ورودی، طول پاسخ و هزینهٔ API همه با شمارش آن سنجیده میشوند.
- تیم 1xAi
- منتشر: ۲۸ آبان ۱۴۰۵
- بروزرسانی: ۱ آذر ۱۴۰۵
- ۸ دقیقه مطالعه
- توکن
- چیست
تیمِ فنیِ 1xAi گیتوی را میسازد و میگرداند — همانهایی که هر روز با APIهای OpenAI، Anthropic، Google و DeepSeek از داخلِ ایران کار میکنند. آنچه اینجا میخوانی از همان کارِ روزمره درآمده، نه از بازنویسیِ مستنداتِ انگلیسی. پروفایلِ نویسنده

در این مقاله (۱۶)
- توکن چیست به زبان ساده؟
- توکن در فارسی و انگلیسی چطور شکسته میشود؟
- فارسی چه فرقی دارد؟
- نتیجهٔ عملی برای بودجه
- توکن ورودی، خروجی، کششده و استدلال چه فرقی دارند؟
- توکن چطور هزینه و محدودیت را تعیین میکند؟
- محدودیت هم با توکن سنجیده میشود
- برآورد هزینهٔ هر درخواست با نرخ عادی ورودی و خروجی
- چطور مصرف توکن را کم و دقیق بشماریم؟
- چرا شمارش دستی کافی نیست؟
- سوالات متداول
- توکن چیست به زبان ساده؟
- توکن چه کاربردی دارد و چه چیزی با آن سنجیده میشود؟
- توکن در انگلیسی چند نویسه است؟
- هزینهٔ توکن در API چقدر است؟
- توکن کششده چه فرقی با توکن ورودی عادی دارد؟
توکن تکهای از متن است (یک نویسه، بخشی از واژه، یک واژهٔ کامل یا یک علامت سجاوندی) که مدل هوش مصنوعی با آن کار میکند و طول ورودی، طول پاسخ و هزینهٔ API همه با شمارش آن سنجیده میشوند. ما در 1xAi یک گیتوی API را اداره میکنیم و اعداد قیمتی این صفحه از همان دادههای زندهاند. توکن در اینجا یعنی واحد متن در مدلهایی مثل OpenAI، Claude، Gemini و DeepSeek، و با کلید API یا توکن دسترسی فرق دارد. تعداد توکن یک متن فارسی معمولاً با متن انگلیسی هممعنا برابر نیست، و همین فرق میتواند صورتحساب شما را تغییر دهد.
توکن چیست به زبان ساده؟
توکن تکهای کوچک از متن است که مدل زبانی با آن کار میکند: یک نویسه، بخشی از واژه، یک واژهٔ کامل یا یک علامت سجاوندی. برای متن انگلیسی، راهنمای OpenAI هر توکن را تقریباً ۴ نویسه یا سهچهارم یک واژه برآورد میکند. برای مرور درس سوم دینی یازدهم انسانی: آخرین پیامبر همین الگو را ببینید.
مدل خودِ کلمه را نمیبیند. هر تکه یک شماره میگیرد و مدل فقط با همین شمارهها کار میکند (آموزش sefid.dev). تکهتکه کردن از حرفبهحرف خواندن بهتر است، چون دنباله کوتاهتر میماند. از واژهبهواژه هم بهتر است، چون واژهٔ تازه یا کمیاب را میشود به تکههای آشنا شکست.
سه چیز با توکن سنجیده میشود:
- حافظهٔ مدل: مقدار متنی که مدل در یک گفتگو همزمان نگه میدارد.
- بیشترین طول پاسخ: سقف توکنهایی که مدل میتواند در یک پاسخ بنویسد.
- قیمت: ورودی و خروجی در API جدا حساب میشوند، و معمولاً هر میلیون توکن خروجی گرانتر از ورودی است.
اگر در جستجوی «توکن ها چیست» یا «توکن ربات چیست» به نتیجهای دربارهٔ کلید ورود رسیدید، آنها رمز دسترسی به یک سرویساند و با واحد شمارش متن ربطی ندارند.
توکن در فارسی و انگلیسی چطور شکسته میشود؟
در انگلیسی، طبق راهنمای OpenAI، هر توکن تقریباً ۴ نویسه یا سهچهارم یک واژه است و ۱۰۰ توکن حدوداً ۷۵ واژه میشود؛ در فارسی این قاعده صدق نمیکند.
همان راهنما این ارقام را «تقریبی» میداند، نه شمارش دقیق. به نوشتهٔ آن، تعداد توکن به مدل، کدگذاری و زبان بستگی دارد. پس عدد ۷۵ واژه را فقط برای متن انگلیسی بهعنوان برآورد سریع بپذیرید.
فارسی چه فرقی دارد؟
به گفتهٔ امروزینو، هر واژهٔ فارسی بهطور میانگین ۲ تا ۳ توکن میشود. این منبع دلیلش را نیمفاصله، پسوندها و «می»ِ جدا میداند، چون توکنساز تکههای پرتکرار را یکجا نگه میدارد و بقیه را میشکند.
مثال همان منبع: جملهٔ «هوش مصنوعی دنیا را تغییر میدهد» حدود ۷ تا ۹ توکن فارسی است. این بازه را باید برآوردی از همان منبع دید و نه شمارش قطعی؛ مدلهای مختلف همین جمله را متفاوت میشکنند.
نتیجهٔ عملی برای بودجه
متن فارسی معمولاً برای رساندن همان معنا توکن بیشتری مصرف میکند. بنابراین هزینه یا سقف زمینه را با تعداد واژه حساب نکنید، چون هم ورودی و هم خروجی بر پایهٔ توکن شارژ میشوند. اگر بودجهای برای یک ابزار میبندید، بهجای ضربکردن در یک نسبت ثابت، نمونهٔ واقعی متن خودتان را بشمارید.
برای دیدن شکست دقیق یک جمله، همان جمله را روی مدل موردنظرتان اجرا کنید و تعداد توکنهایی را که API معمولاً در بخش مصرف (usage) پاسخ گزارش میکند بخوانید.
توکن ورودی، خروجی، کششده و استدلال چه فرقی دارند؟
این چهار نوع توکن در نقش و نرخ فرق دارند: ورودی همان پرامپت است، خروجی پاسخ مدل، کششده ورودی تکراری و استدلال توکنِ پنهانِ مدل.
- ورودی: پرامپت شما و تاریخچهٔ گفتگو. اگر برنامه در هر درخواست جدید تاریخچهٔ قبلی را دوباره بفرستد، همهٔ آن تاریخچه هم به توکنهای ورودی همان درخواست اضافه میشود.
- خروجی: متنی که مدل برمیگرداند. طبق توضیح Sinox دربارهٔ محاسبهٔ هزینهٔ API، ورودی و خروجی در قیمتگذاری جداگانه حساب میشوند و در صفحهٔ مدلها هم برای هر مدل دو نرخ جدا میبینید.
- کششده: بخشی از ورودی که با «کش پرامپت» دوباره استفاده میشود. در دادههای ما برای gpt-4.1 و gpt-4o-mini، نرخ ورودی کششده از ورودی عادی کمتر است. مبلغ هر مدل را از صفحهٔ مدلهای 1xAi بخوانید، چون با نرخ روز تغییر میکند.
- استدلال: در مدلهای استدلالی، مدل پیش از پاسخ توکنهای داخلی تولید میکند که در متن نهایی دیده نمیشوند. جزئیات شمارش توکنها را راهنمای OpenAI توضیح داده است.
نتیجهٔ عملی: مصرف واقعی یک مدل استدلالی ممکن است از طول پاسخِ دیدهشده بیشتر باشد.
توکن چطور هزینه و محدودیت را تعیین میکند؟
هزینه هر درخواست از جمع توکنهای ورودی و خروجی به دست میآید و هرکدام با نرخ جداگانهٔ هر یک میلیون توکن حساب میشود:
هزینه = (توکن ورودی ÷ ۱ میلیون × نرخ ورودی) + (توکن خروجی ÷ ۱ میلیون × نرخ خروجی)
نرخ خروجی معمولاً از نرخ ورودی بالاتر است. بنابراین پاسخ طولانی از پرامپت طولانی گرانتر درمیآید.
| مدل | ورودی (دلار، قیمت رسمی) | خروجی (دلار، قیمت رسمی) | ورودی (تومان) | خروجی (تومان) |
|---|---|---|---|---|
| gpt-4o-mini | $0.15 | $0.6 | ۵۳٬۰۹۸ | ۲۱۲٬۳۹۴ |
| gpt-4.1 | $2 | $8 | ۶۵۳٬۵۲۰ | ۲٬۶۱۴٬۰۸۰ |
| gpt-5-nano | $0.05 | $0.4 | ۱۷٬۷۰۰ | ۱۴۱٬۵۹۶ |
قیمتهای تومانی هر صبح با نرخ بازار همگام میشوند و کارمزد ما «۱۵ تا ۳۰٪ بسته به مدل» است. مرجع قیمت لحظهای صفحهٔ مدلها است.
محدودیت هم با توکن سنجیده میشود
هر مدل پنجرهٔ زمینهای دارد که پرامپت و پاسخ در آن جا میشوند. اگر برنامهٔ شما تاریخچهٔ گفتگوی قبلی را در درخواست جدید دوباره بفرستد، آن تاریخچه هم جزو همین پنجره و جزو توکنهای ورودی حساب میشود. پارامتر max_tokens سقف طول پاسخ را تعیین میکند.
برای متن انگلیسی، راهنمای OpenAI هر ۱۰۰ توکن را تقریباً ۷۵ واژه میداند. شمار توکن فارسی متفاوت است، پس برای کارهایی مثل ترجمه بهتر است مصرف واقعی را اندازه بگیرید.
برآورد هزینهٔ هر درخواست با نرخ عادی ورودی و خروجی
هر پاسخ، شمار توکنهای مصرفشده را در فیلد usage برمیگرداند. نرخها را از صفحهٔ مدلها بردارید و در متغیر محیطی بگذارید:
# pip install openai
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["ONEXAI_API_KEY"],
base_url="https://1xai.ir/v1",
)
# نرخ تومانی هر ۱ میلیون توکن، از https://1xai.ir/models
RATE_IN = float(os.environ["RATE_IN_1M"])
RATE_OUT = float(os.environ["RATE_OUT_1M"])
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "توکن چیست؟ در دو جمله توضیح بده."}],
max_tokens=200,
)
u = resp.usage
cost = (u.prompt_tokens / 1_000_000 * RATE_IN) + (
u.completion_tokens / 1_000_000 * RATE_OUT
)
print(resp.choices[0].message.content)
print(f"ورودی: {u.prompt_tokens} | خروجی: {u.completion_tokens} | برآورد هزینه: {cost:.2f} تومان")
خروجی، پاسخ مدل و سپس یک خط با شمار توکنهای ورودی و خروجی و برآورد هزینهٔ همان درخواست به تومان است.
این کد همهٔ توکنهای ورودی را با نرخ عادی حساب میکند. در مدلهایی مثل gpt-4.1 و gpt-4o-mini نرخ ورودی کششده جداگانه و پایینتر است. اگر بخشی از ورودی شما کششده باشد، عدد چاپشده یک برآورد است، نه هزینهٔ دقیق.
چطور مصرف توکن را کم و دقیق بشماریم؟
برای کمکردن مصرف توکن، پرامپت و تاریخچهٔ گفتگو را کوتاه کنید، برای خروجی سقف بگذارید و متن واقعیتان را پیش از ارسال بشمارید.
اینها توصیههای عمومیاند و درصد مشخصی صرفهجویی تضمین نمیکنند:
- پرامپت و تاریخچه: اگر برنامهتان تاریخچهٔ قبلی را در هر درخواست جدید دوباره بفرستد، مدل همان را هم میخواند و توکنهایش حساب میشود. پیامهای قدیمی و بیربط را حذف یا خلاصه کنید.
- سقف خروجی: پارامتر حداکثر توکن خروجی را تنظیم کنید. قیمت رسمی خروجی معمولاً از ورودی بیشتر است؛ مثلاً برای gpt-4o-mini، ۰٫۶ دلار در برابر ۰٫۱۵ دلار به ازای هر یک میلیون توکن.
- مدل کوچکتر: برای کارهای ساده مثل دستهبندی یا بازنویسی کوتاه، مدل سبکتر کافی است. قیمت رسمی ورودی gpt-4o-mini ۰٫۱۵ دلار و gpt-4o ۲٫۵ دلار برای هر یک میلیون توکن است.
چرا شمارش دستی کافی نیست؟
قاعدهٔ «هر توکن حدود چهار نویسه یا سهچهارم یک واژه» فقط برای متن انگلیسی است. راهنمای OpenAI تأکید میکند این ارقام تقریبیاند و در زبانهای دیگر فرق میکنند.
نسبت واژه به توکن در فارسی ثابت نیست و به توکنسازِ هر مدل بستگی دارد. نیمفاصله، پسوندها و «می» جداشده روی شمار نهایی اثر میگذارند. پس حدسزدن از روی تعداد کلمات کافی نیست.
راه مطمئن این است که متن واقعی را با توکنسازِ همان مدل بشمارید. پس از هر درخواست هم میتوانید شمار توکنهای ورودی و خروجی را از بخش مصرف (usage) پاسخ API بخوانید.
پژوهش و نگارش: CodeNest's AI SEO content engine
سوالات متداول
توکن چیست به زبان ساده؟
توکن تکهای از متن است که مدل هوش مصنوعی با آن کار میکند: یک نویسه، بخشی از واژه، یک واژهٔ کامل یا یک علامت سجاوندی. مدل به هر تکه یک شماره میدهد و فقط با این شمارهها کار میکند، نه با کلمهها (راهنمای OpenAI).
توکن چه کاربردی دارد و چه چیزی با آن سنجیده میشود؟
توکن واحد سنجش سه چیز است: حافظهٔ مدل (طول ورودی)، بیشترین طول پاسخ و قیمت. به همین دلیل پرسشها و پاسخهای بلندتر، توکن بیشتری مصرف میکنند و هزینهٔ بیشتری دارند. توکن متنی با کلید API یکی نیست؛ کلید فقط برای دسترسی به سرویس است.
توکن در انگلیسی چند نویسه است؟
در انگلیسی، هر توکن بهطور تقریبی حدود ۴ نویسه یا سهچهارم یک واژه است (راهنمای OpenAI). این عدد فقط تخمین است. برای فارسی نباید همین نسبت را فرض کرد، چون شکستهشدن متن به مدل و توکنایزر بستگی دارد. دقیقترین راه، شمردن همان متن با توکنایزر خود مدل است.
هزینهٔ توکن در API چقدر است؟
هزینه به مدل بستگی دارد و ورودی و خروجی قیمت جدا دارند. برای نمونه در gpt-4.1، هر یک میلیون توکن ورودی ۶۵۳٬۵۲۰ تومان و هر یک میلیون توکن خروجی ۲٬۶۱۴٬۰۸۰ تومان است. کارمزد ۱۵ تا ۳۰٪ بسته به مدل است و قیمتهای تومانی با نرخ روزانهٔ بازار بهروز میشوند؛ قیمت جاری هر مدل در صفحهٔ مدلهای 1xAi آمده است.
توکن کششده چه فرقی با توکن ورودی عادی دارد؟
توکن ورودی کششده ارزانتر از ورودی عادی حساب میشود. برای gpt-4.1، قیمت رسمی ورودی کششده ۰٫۵ دلار برای هر یک میلیون توکن و ورودی عادی ۲ دلار است. قیمت تومانی جاری هر دو نرخ را در صفحهٔ مدلها ببینید.


