مؤخرًا أفكّر أن وتيرة تقدّم النماذج الكبيرة الآن أصبحت تشبه أكثر فأكثر ما كان يفعله مصنعو الشرائح قديمًا بأسلوب Tick Tock
منطق Intel وقتها الجميع يعرفه
سنة تغيّر عملية التصنيع، Tick، وسنة تغيّر المعمارية Tock
ليس لأنهم لا يريدون ثورة كل سنة، بل لأنك فعليًا لا تستطيع تحمّل ثورة سنوية
النماذج الكبيرة الآن فيها هذا الطابع أيضًا
ستلاحظ
كل فترة قصيرة يطلقون نسخة صغيرة: النتائج أَثبت قليلًا، الاستدلال أسرع قليلًا، والسياق أطول قليلًا
وبعد مدة تأتي نسخة كبيرة، فتشعر فجأة أن الشيء كله صار مختلفًا نوعًا ما
النسخ الصغيرة في الأساس هي Tick
البارادايم لا يتغيّر، تحسينات هندسية، بيانات أفضل، مواءمة أنضج، وتكلفة أقل
تستخدمه فتشعر بأنه أسلس بوضوح، لكنك لا تستطيع أن تحدّد بالضبط أين الاختلاف
الذي يعطي إحساس “جيل جديد” فعليًا ليس كثيرًا
لكن عندما يأتي يكون واضحًا جدًا
مثل قدرات الاستدلال، وAgent (الوكيل)، وtest-time compute (الحوسبة وقت الاختبار)؛ هذه الأشياء بدأت تتشكّل كنظام متكامل
إلى حدّ ما، هذا أيضًا يعني أن “وجبة Transformer + scaling المجانية” قد وصلنا إلى النصف الثاني منها
ما زال يمكن الأكل، لكن الطعم لم يعد بتلك الروعة
لذا لا يبقى إلا أن تلعق الطبق حتى آخره من جهة، وتفكّر من جهة أخرى: متى يجب أن نغيّر المطعم
وتغيّر آخر هو
أن الترقية الآن لم تعد تخصّ النموذج نفسه فقط، بل منظومة كاملة
النموذج + استراتيجية الاستدلال + الأدوات + الجدولة
يبدو كأنه تحديث صغير، لكن تحت السطح هم يبدّلون الهيكل بهدوء
لذلك إحساسي الآن هو
أن الـTick سيصبح أكثر كثافة، والـTock سيصبح أثقل
الاختراقات لن تحدث كل يوم، لكن عندما تأتي ستغيّر الإيقاع كله
والقصة بصراحة فيها طابع هندسي جدًا
وهذا يعني أن مجال النماذج الكبيرة ينتقل من “مرحلة أوراق بحث جنونية”، إلى “عصر صناعي حقيقي” تدريجيًا
مملّ قليلًا، وطبيعيّ أيضًا