جمع آوری داده‌های آموزشی عظیم: میلیاردها جمله از وب، کتاب‌ها، و مقالات علمی.

 پیش‌پردازش داده ها : پاک‌سازی داده، توکنیزه‌کردن (Tokenization  ) و فشرده‌سازی

پیش‌آموزش (Pre-training  ) مدل با میلیاردها جمله آموزش می‌بیند تا پیش‌بینی کند واژه‌ی بعدی در جمله چیست. این مرحله یادگیری نمایش معنایی (Semantic Representation  ) از زبان است.

تنظیم دقیق (Fine-tuning  ) : در این مرحله، مدل برای کاربردهای خاص مانند ترجمه، خلاصه‌سازی یا چت تنظیم می‌شود. در مدل‌های امروزی مثل GPT-4 یا Gemini از RLHF استفاده می‌شود تا خروجی مدل طبیعی‌تر و منطبق‌تر با ارزش‌های انسانی باشد.