Transformer چیست و از کجا آمد؟

AUتحریریه

۱۴۰۴/۰۷/۱۲

6 دقیقه مطالعه

Transformer در سال ۲۰۱۷ معرفی شد و به‌جای استفاده از RNN، از مکانیزم توجه برای پردازش داده‌های ترتیبی بهره می‌برد. این مدل می‌تواند وابستگی‌های بلندمدت را بدون نیاز به توالی زمانی حفظ کند و موازی‌سازی را ممکن سازد.

برای مشاهدهٔ ادامه، خرید کنید

دسترسی سریع و فوری

راهنمای معماری Transformer و BERT

مقدمه

مدل‌های Transformer پایه‌گذار نسل جدید هوش مصنوعی هستند. از ترجمه ماشینی تا ChatGPT، همه بر اساس همین معماری ساخته شده‌اند. در این کتابچه یاد می‌گیری سازوکار Transformer، مکانیزم Attention و مدل معروف BERT چگونه کار می‌کنند.

فهرست