خواندن ۱ دقیقه
توجه را از صفر بساز
هر توکن چطور به بقیه متن نگاه می‌کند، با یک پیاده‌سازی کوتاه.
توجه مکانیزمی است که به هر توکن اجازه می‌دهد از بقیه جمله اطلاعات بگیرد، به‌جای اینکه فقط به همسایه قبلی تکیه کند.
مدل برای هر توکن سه بردار می‌سازد: پرسش، کلید، و مقدار. وزن توجه از مقایسه پرسش و کلید به دست می‌آید.
scores = Q @ K.T / math.sqrt(d)
weights = softmax(scores)
out = weights @ Vتقسیم بر sqrt(d) جلوی بزرگ شدن ضرب داخلی را می‌گیرد. بدون آن، softmax تقریباً به یک توکن می‌چسبد و بقیه متن نادیده گرفته می‌شود.
در رودمپ
مطالب بعدی
از متن تا توکن
مدل حرف نمی‌خواند. متن را به عدد تبدیل می‌کند و بعد حساب می‌کند.
فاین‌تیون عملی
به‌جای آموزش یک مدل از صفر، مدل آماده را برای کار خودت تنظیم می‌کنی.
سنجش پاسخ مدل
بدون ارزیابی، نمی‌فهمی مدل بهتر شده یا فقط جوابش بلندتر شده.