از متن تا توکن

توکن واحدی است که مدل می‌بیند. گاهی یک کلمه است، گاهی نصف یک کلمه، و گاهی یک علامت.

هر توکن یک شماره در واژگان است. لایه جاسازی آن شماره را به یک بردار تبدیل می‌کند. از اینجا به بعد همه‌چیز ضرب ماتریس است.

اگر توکن‌سازی را نفهمی، رفتار مدل روی فارسی و انگلیسی برایت جادو می‌ماند. فارسی معمولاً به تکه‌های کوچک‌تر شکسته می‌شود و همین روی هزینه و کیفیت اثر دارد.