הווידאו המקורי：The End of Coding: Andrej Karpathy on Agents, AutoResearch, and the Loopy Era of AI
קישור לווידאו：https://www.youtube.com/watch?v=kwSVtQ7dziU
הסבר：להלן גרסה מתורגמת לעברית (מהתרגום הסיני) שסודרה מחדש לפי דובר. כדי להבטיח קריאות, הוסרו רק מעט מילות מילוי חסרות משמעות, והערות ביניים קצרות מאוד שולבו בדברים הסמוכים; התוכן המרכזי נשמר במלואו, עם דגש על הפרדה ברורה בין דברי המנחה לבין דברי Andrej Karpathy.
ציטוטים מהפתיח
Andrej Karpathy：
“להגיד היום ‘לכתוב קוד’ כבר לא כל כך מדויק. ניסוח מדויק יותר הוא: אני מבלה 16 שעות ביום בלבטא כוונה לסוכנים (agents) שלי, כדי שדברים יקרו.”
Andrej Karpathy：
“איך אני יכול לא רק לפתוח סשן אחד של Claude Code, Codex, או איזו מסגרת agent אחרת, אלא לפתוח עוד כמה במקביל? איך אני עושה את זה נכון? כרגע, עצם קיומו של agent כבר כמעט נהיה הנחת ברירת מחדל, וישויות כמו Claude גם נהיות יותר ויותר כמו ברירת מחדל. אתה יכול להחזיק כמה במקביל, לתת להם הוראות, ואז להמשיך לאופטם את ההוראות האלה. אז זה נעשה מאוד ממכר: זה כמעט כמו משהו שנפתח לאינסוף, ובו בזמן הכל נראה כמו ‘בעיית מיומנות’ (skill issue).”
##正文
המנחה：
ברוכים השבים ל‑No Priors. היום איתנו Andrej Karpathy, כדי לדבר על agents לקוד, על הנדסה ועל עתיד המחקר ב‑AI, על איך יותר אנשים יוכלו להשתתף במחקר, על מה קורה ברובוטיקה, על איך agents ימשיכו להימתח אל העולם האמיתי, ועל איך ייראה החינוך בעידן הבא.
בחודשים האחרונים תחום ה‑AI באמת מטורף. אני זוכר פעם שנכנסתי למשרד, ואתה היית לגמרי בתוך זה. שאלתי אותך מה אתה עושה, ואמרת שאתה “מקודד” 16 שעות ביום—אבל אפילו המילה “לקודד” כבר לא מדויקת, וזה יותר כמו להמשיך להורות לסוכנים. מה בעצם קרה? איך זה מרגיש לך?
Andrej Karpathy：
אני הרבה פעמים נמצא במצב של “באטרף על AI”, וזה נמשך כבר זמן רב. כי עבור אדם יחיד, תקרת היכולת נפתחה פתאום בצורה משמעותית. בעבר צוואר הבקבוק שלך היה מהירות ההקלדה, מהירות היישום, וכמה דברים אתה יכול לעשות בו־זמנית; אבל בערך בדצמבר האחרון זה הרגיש כאילו משהו התהפך.
בעבר זה היה בערך 80% אני כותב ו‑20% אני מאציל ל‑agent; ואז לאט זה נהיה 20/80; ועד היום זה אפילו יותר קיצוני. מאז דצמבר, כנראה שכמעט לא הקלדתי בעצמי אפילו כמה שורות קוד. זה שינוי עצום.
וגם נדמה לי שאנשים רגילים עדיין לא מבינים עד כמה השינוי הזה דרמטי. היום, תבחר סתם מהנדס תוכנה שיושב בעמדת העבודה שלו—ברירת המחדל של ה‑workflow שלו, לעומת השנה שעברה, כבר לא אותו דבר. אז אני כל הזמן מנסה: האם אני יכול לא לפתוח רק Claude Code אחד או Codex אחד? האם אני יכול לפתוח הרבה במקביל? איך אני מנהל אותם? איך אני עושה את זה יותר שיטתי?
אני רואה ב‑Twitter שהרבה אנשים עושים כל מיני דברים חדשים, וזה נשמע הגיוני. יש לי תחושת חרדה חזקה: אם אני לא בחזית, אני נהיה מאוד לא שקט. כי כל הדבר הזה, במהותו, עדיין רחוק מלהיות נחקר עד הסוף.
המנחה：
אם אפילו אתה לחוץ, אז כולנו צריכים להיות עוד יותר לחוצים. צוות שעבדנו איתו כבר לא כותב קוד ביד. לכל אחד יש מיקרופון, והוא לוחש לסוכנים שלו כל הזמן. פעם חשבתי שהם השתגעו; עכשיו אני דווקא חושב: אה, פשוט נכנסתם למצב הזה מוקדם יותר.
אז מה לדעתך היום באמת מגביל את יכולת החקירה או יכולת הביצוע של פרויקטים?
Andrej Karpathy：
הרבה פעמים, המגבלה היא לא “אין יכולת”, אלא יותר “אתה עדיין לא מספיק יודע להשתמש בזה”. אם משהו לא רץ, התגובה הראשונה שלי לרוב אינה “המודל לא טוב”, אלא: האם ההנחיות שנתתי לא מספיק טובות? האם לא חיברתי נכון מערכת זיכרון? האם לא פירקתי את המשימה מספיק ברור? האם לא הקבלתי את התהליך מספיק טוב?
במילים אחרות, הרבה בעיות הן יותר “בעיית מיומנות” (skill issue) מאשר “בעיית יכולת” (capability issue).
אתה מתחיל לחשוב על ריפוזיטורי (repository) תוכנה בצורה הרבה יותר מקרו. בעבר חשבת “לכתוב שורת קוד”, “לממש פונקציה”; עכשיו אתה חושב: “את הפיצ’ר החדש הזה אני נותן ל‑agent A”, “פיצ’ר אחר שלא מתנגש אני נותן ל‑agent B”, “נותן ל‑agent שלישי לעשות מחקר או קודם להוציא תוכנית יישום”. ואז, כמו מנהל תזמון של פרויקט, אתה נע בין ריפוזיטוריז, branches ומשימות—בודק, ממזג (merge), וממשיך לחלק עבודה.
Peter Steinberger לוקח את זה לקצה. יש לו תמונה מפורסמת: שורה של מסכים, ועליהם תלויים המון מופעי Codex. כל agent אולי רץ 20 דקות, אבל הוא פותח הרבה במקביל, עובר בין ריפוזיטוריז שונים, ומשגר להם משימות ללא הפסקה.
וכך אתה מפתח “זיכרון שרירי” חדש: כש‑agent אחד רץ, התגובה הראשונה שלך כבר לא “לחכות שיסיים”, אלא “למה שלא אפתח עוד כמה?” אם עדיין לא מילאת את מכסת הטוקנים (token), לא מיצית את המנוי, ולא מיצית את כוח החישוב—זה אומר שאתה עצמך הוא צוואר הבקבוק במערכת.
המנחה：
כלומר, בעבר צוואר הבקבוק של הרבה משימות הנדסיות היה “אין מספיק כוח חישוב”; ועכשיו זה פתאום נהיה “אני עצמי צוואר הבקבוק”.
Andrej Karpathy：
כן, וזו גם הסיבה שזה כל כך ממכר.
בדוקטורט שלי, כל עוד ה‑GPU לא היה במאה אחוז, הייתה לך תחושת חרדה: יש שם כוח חישוב, ואתה לא מנצל אותו. היום התחושה הזאת הועתקה לתפוקת טוקנים (token throughput). אם מכסת Codex מלאה, אתה תחשוב האם כדאי לעבור ל‑Claude או לכלי אחר. השאלה המרכזית נהיית: כמה תפוקת טוקנים אני יכול להמיר לתוצאה אפקטיבית אמיתית?
זו מיומנות חדשה מאוד, והיא באמת ממשיכה לפתוח תקרות חדשות.
המנחה：
אז אם נסתכל שנה־שנתיים קדימה, לאן השליטה (mastery) הזאת תתפתח?
Andrej Karpathy：
אני חושב שכולם כבר מניחים כמובן מאליו ש‑“agent יחיד” קיים; הצעד הבא באופן טבעי הוא “סטאק שיתוף־פעולה רב‑סוכנים (multi‑agent)”. כולם מנסים להבין: איך כמה agents מרכיבים צוות? איך מחלקים עבודה נכון? איך מנהלים מצב וזיכרון?
כיוון נוסף שמאוד מעניין אותי הוא מערכת סוכן רקע קבועה, מתמשכת יותר. בעבר השתמשתי במונח claw כדי לתאר את זה. הכוונה היא לא שאתה פותח איתו שיחה חד‑פעמית, אלא שהוא ממשיך לרוץ בסנדבוקס קטן משלו, עובד בשבילך, עם התמדה חזקה יותר וזיכרון מורכב יותר—לא רק “זיכרון דחוס” אחרי שכמעט נגמר חלון ההקשר.
ברגע שמערכות כאלה עובדות, הן מעלות את ההתמדה של agent לרמה אחרת.
המנחה：
אז מה יותר חשוב לדעתך—אינטגרציה לכלים, או זיכרון חזק יותר וארוכות־טווח?
Andrej Karpathy：
אני חושב ששניהם חשובים, והם מחזקים זה את זה.
מה ש‑Peter עשה ממש טוב הוא: הוא לא אופטם רק דבר אחד, אלא חידש בו־זמנית בהרבה שכבות—אישיות, זיכרון, תזמור (orchestration), אינטגרציה לכלים, workflow—הכל יחד.
למשל, אני יותר ויותר מרגיש שאישיות היא ממש חשובה. האישיות של Claude טובה—זה מרגיש כמו חבר צוות שבאמת רוצה לשתף פעולה; סוכן הקוד של Codex יבש וקר יותר, יותר בסגנון “כבר עשיתי בשבילך, אבל לא ממש אכפת לי מה אתה בונה”; ו‑ChatGPT לרוב יותר אופטימי, ויותר “זורם” איתך.
ההבדל הזה הוא לא קישוט—הוא משפיע ישירות על חוויית השיתוף. אפילו יש לי תחושה מוזרה: אם Claude מחמיא לי, אני מרגיש שבא לי “להרוויח” את המחמאה הזאת. אם אני נותן לו רעיון חצי־אפוי, התגובה לא תהיה גדולה; אבל אם גם אני חושב שהרעיון באמת טוב, הפידבק שלו כאילו מתחזק. אתה רוצה לזכות באישור שלו—זה נשמע קצת מגוחך, אבל זה מראה ששכבת האישיות היא לא שולית, אלא חלק מחוויית המוצר.
המנחה：
מעבר להנדסת תוכנה, השתמשת בדברים האלה לעשות עוד משהו מעניין?
Andrej Karpathy：
כן. בינואר השנה בניתי סוכן רקע לבית, שקראתי לו “שדון המטלות” Dobby. הוא בעצם משגיח בשבילי על כל הבית.
הדבר הראשון שעשיתי היה לבקש ממנו למצוא ברשת המקומית (LAN) את כל תתי־המערכות של הבית החכם שלי. והוא באמת סרק IP, מצא את Sonos, ואז גילה שכמה ממשקים כמעט לא מוגנים—הלך לחפש חומר, להנדס לאחור את ה‑API, וחזר לשאול אותי אם לנסות. אמרתי לו: אז תנגן שיר בחדר העבודה. והוא באמת התחיל לנגן מוזיקה. זה לקח שלושה פרומפטים (prompt).
אחר כך הוא השתלט גם על התאורה, HVAC, התריסים, הבריכה, הספא ומערכת האבטחה. יש לי גם מצלמה שמכוונת החוצה לדלת; מקדימה יש זיהוי שינוי, ואז התמונה עוברת למודל ראייה, ואז הוא שולח לי הודעה ב‑WhatsApp עם תמונה מהכניסה, ואומר לי: עכשיו עצרה בחוץ משאית FedEx, כנראה יש לך חבילה.
זה מרגיש מאוד מופרך וגם מאוד חדש: Dobby באמת כאילו שומר על הבית בשבילי.
בעבר הייתי צריך להשתמש בשישה אפליקציות שונות לגמרי כדי לשלוט במערכות האלה; עכשיו כמעט אני לא משתמש בהן. Dobby שולט בהכל בשפה טבעית. גם אם עדיין לא דחפתי את הפרדיגמה הזאת לקצה, היא כבר מאוד מועילה ומאוד מעודדת.
המנחה：
האם זה אומר שמה שאנשים באמת רוצים לא בהכרח הוא התוכנות כמו שהן היום, אלא ישות שיכולה להפעיל בשבילם את התוכנות? כי ללמוד UI (ממשק משתמש) חדש זה עלות.
Andrej Karpathy：
אני חושב שבמידה מסוימת כן.
ה‑AI שאנשים רגילים מדמיינים הוא לא “מחולל טוקנים של LLM”. עבור רוב האנשים, ה‑AI שהם מדמיינים הוא יותר כמו ישות עם זהות, עם זיכרון, שאתה יכול להגיד לה דברים והיא תזכור, ותמשיך לטפל בבעיות בשבילך—כמו ישות שמסתתרת מאחורי WhatsApp.
מהזווית הזאת, שכבת חוויית המשתמש של הרבה תוכנות היום אולי בכלל לא צריכה להתקיים. הרבה App בסוף אולי צריך להידרדר למערכת של נקודות קצה API, שה‑agent יקרא להן—וה‑agent יהיה שכבת “דבק חכם” שמדביקה אותן יחד.
למשל, להליכון שלי כמובן יש App נלווה. אבל אני לא רוצה לפתוח אתר או App וללחוץ על המון כפתורים; מה שאני באמת רוצה להגיד הוא: “תעזור לי לרשום כמה פעמים עשיתי אירובי השבוע”.
אז אני חושב שבהרבה תעשיות יהיה צריך תצורה מחדש: הלקוחות כבר לא יהיו רק בני אדם, אלא גם agents שפועלים בשם בני אדם. בעתיד הרבה כלים יהיו יותר agent-first ופחות UI-first.
המנחה：
אז למה לא לקחת את זה עוד צעד ולחבר את זה למייל, ליומן ולמערכות יותר מרכזיות?
Andrej Karpathy：
חלק מזה כי אני עצמי מוסח בקלות, וחלק כי אני עדיין מאוד זהיר עם זה.
כמו מייל, יומן, וההרשאות של כל החיים הדיגיטליים—ברגע שאתה מוסר הכל, נושאי אבטחה ופרטיות נהיים באמת רציניים. המערכות האלה חזקות, אבל הקצוות עדיין די מחוספסים, אז אני עדיין לא רוצה למסור להן בלי הסתייגות את כל החיים הדיגיטליים שלי.
המנחה：
אז בוא נדבר על AutoResearch. כשאתה משתמש במונח הזה, מה המוטיבציה האמיתית מאחוריו?
Andrej Karpathy：
המוטיבציה הכי מרכזית היא: להוציא את עצמי מצוואר הבקבוק.
אם אתה עדיין יושב בתוך לולאה (loop), בוהה בתוצאות ואז מחליט על הצעד הבא—המערכת נתקעת עליך. בשלב הזה, שם המשחק הוא בעצם מינוף (leverage)—להגדיל את המנוף שלך. אני רוצה להשקיע רק מעט טוקנים מדי פעם, ובכל זאת שתהיה הרבה עבודה שממשיכה להתרחש בשמי.
אז AutoResearch בשבילי הוא לא מילת באזז, אלא מבחן גבול: איך אני יכול לגרום ליותר agents לרוץ יותר זמן, לעשות יותר דברים, בלי שאני אהיה חייב להשתתף כל הזמן?
לא הייתה לי ציפייה חזקה שזה יהיה אפקטיבי מיד. אבל הרצתי ניסוי על ה‑playground הקטן והסופר‑מוכר לי של GPT-2, והוא באמת חפר לי דברים שלא ראיתי קודם—למשל קשרים בין דעיכת משקלים (weight decay) להיפרפרמטרים. חשבתי שכבר כיוונתי את הריפוזיטורי הזה עד הסוף, ובכל זאת הוא מצא עוד שיפורים.
זה גרם לי להבין: “שיפור עצמי רקורסיבי” הוא לא צעצוע. מעבדות חזית כמובן גם הולכות לכיוון הזה. אפשר קודם לעשות הרבה חיפוש על מודלים קטנים, ואז להשליך (אקסטרפולציה) את המסקנות למודלים גדולים יותר.
המנחה：
כלומר, אפילו תהליך המחקר עצמו צריך להיכתב מחדש. חוקרים לא אמורים להמשיך לעשות כל כך הרבה דברים ביד.
Andrej Karpathy：
אני חושב שכן. בני אדם כמובן עדיין יכולים לתרום רעיונות, אבל הרבה מהיישום, החיפוש, ניסוי‑וטעייה והערכה—מלכתחילה צריך להיות אוטומטי.
אתה אפילו יכול להבין ארגון מחקר כקבוצה של קבצי Markdown: שם מוגדרים כל התפקידים, התהליכים, הממשקים, איך משתפים פעולה, איך עושים פגישות, איך בוחרים נושאים, איך ממזגים תוצאות. ברגע ש"דרך הארגון" הזאת כתובה כקוד, אפשר לאופטם אותה, להשוות אותה, ולהאבולוציונר אותה.
אני מאוד אוהב רעיון: לתת להרבה אנשים לכתוב גרסאות שונות של program MD, ואז תחת אותו תקציב חומרה לראות מי מביא שיפור גדול יותר. ואז אתה מזין את התוצאות חזרה למודל, ונותן למודל לכתוב גרסה הבאה טובה יותר.
אז עכשיו כל התהליך הוא כמו שכבה על שכבה שמרימים למעלה: קודם יש LLM, ואז agent, ואז multi‑agent, ואז אופטימיזציית הוראות, ואז מטא‑אופטימיזציה על “הארגון עצמו” ועל “program MD עצמו”. ובגלל שזה עולה כך שכבה על שכבה, זה גורם לזה להרגיש כמעט אינסופי.
המנחה：
אבל זה כנראה לא מתאים באותה מידה לכל משימה. איזה סוגים הכי מתאימים ל‑AutoResearch?
Andrej Karpathy：
התנאי הכי חשוב הוא: חייבים מדדים אובייקטיביים שאפשר להעריך בבירור.
למשל, אם אתה רוצה לשפר קטע CUDA kernel או קטע קוד בתוך מודל כדי שיהיה יותר יעיל—זה מצוין. כי המטרה מאוד ברורה: התנהגות זהה, אבל יותר מהר, יותר חסכוני, יותר טוב.
אבל ברגע שלמשימה אין סטנדרט הערכה ברור, אוטומטי וחד‑משמעי מספיק—קשה להפוך אותה לאוטומטית לחלוטין. הרבה דברים זה לא ש‑agent לא יכול, אלא שאתה לא יכול לאמת האם הוא באמת עשה “יותר טוב”.
בנוסף, המודלים של היום אמנם חזקים מאוד, אבל הקצוות עדיין די מחוספסים. לעיתים קרובות אני מרגיש שאני מדבר מצד אחד עם דוקטורנט מאוד חזק, ומצד שני כמו עם ילד בן עשר. אתה מרגיש שהוא חזק, וגם לעיתים קרובות מרגיש את הפער המוזר הזה.
לפעמים הוא יבזבז המון חישוב על בעיה שאתה מרגיש שהיא מובנת מאליה בצורה בלתי רגילה. המשוננות (jaggedness) הזאת באמת מאוד מוזרה. גם לבני אדם יש חולשות, אבל ה"חסרונות המשוננים" של מודלים הם יותר קיצוניים ויותר קופצניים.
המנחה：
האם זה אומר שיכולת קוד ו" אינטליגנציה" במובן רחב יותר לא בהכרח מתכללות יחד בצורה חזקה כמו שאנשים מדמיינים?
Andrej Karpathy：
אני חושב שבהחלט יש איזשהו ניתוק.
דוגמה מאוד טיפוסית היא בדיחות. היום אם תבקש מהמודל הכי מתקדם לספר בדיחה, בסבירות גבוהה הוא עדיין ייתן לך בדיחות ישנות שמסתובבות כבר שנים. למשל: “למה מדענים לא מאמינים באטומים? כי אטומים ממציאים הכל (make everything up).”
זה מראה דבר אחד: בתחומים ש‑RL והתגמולים (reward) מכסים, שאפשר לאמת ושאפשר לאופטם—ההתקדמות תהיה מאוד מהירה; אבל באזורים שלא עברו אופטימיזציה ייעודית, שאין בהם אות תגמול ברור—הוא לא בהכרח יתחזק אוטומטית במקביל.
לכן אני לא מאמין ש"ברגע שהקוד חזק יותר, כל שאר היכולות יתחזקו בחינם". יכול להיות קצת הכללה, אבל זה לא כזה לינארי ולא כזה חלק.
המנחה：
אז האם זה אומר שבעתיד לא יהיה רק מודל אחד גדול ואוניברסלי, אלא נראה יותר “התפצלות למינים”?
Andrej Karpathy：
אני חושב שזה מאוד ייתכן.
היום המעבדות יותר כמו שעושות מודל “תרבות יחידה”: דוחסים כל יכולת לתוך מוח אחד גדול. אבל בטבע, אינטליגנציה אף פעם לא הייתה צורה אחת. נישות אקולוגיות שונות מגדלות מבני מוח שונים לגמרי.
אז בעתיד כנראה נראה: מודלים קטנים יותר אבל מומחים יותר, סביב משימות ספציפיות, עם אופטימיזציה מותאמת אישית על השהיה, תפוקה, והתפלגות היכולות.
רק שהיום ההנדסה של “איך לשנות משקלים בצורה יציבה, לעשות fine-tuning עמוק, לעשות למידה מתמשכת” עדיין לא בשלה. הכי בשל כרגע הוא לשחק בתוך חלון ההקשר (context window); ללכת באמת ולגעת במשקלי המודל עצמם—זה עדיין יקר מדי ומחוספס מדי.
המנחה：
הזכרת גם כיוון נוסף: אם דוחפים את AutoResearch החוצה, זה יכול להפוך למשטח שיתוף־פעולה אינטרנטי פתוח יותר. איך זה נראה?
Andrej Karpathy：
אני מדמיין מערכת שבה יצירת פתרונות מועמדים היא יקרה מאוד, אבל לאמת אם פתרון מועמד נכון היא יחסית זולה.
למשל ב‑AutoResearch, מישהו נותן לך candidate commit ואומר שזה ישפר את אימון המודל. לאמת אם זה באמת “יותר טוב” אפשר להפוך למשהו די ברור; הקושי הוא למצוא את זה מלכתחילה.
זה מזכיר באופי Folding@home, SETI@home, ואפילו במידה מסוימת בלוקצ’יין (blockchain). רק שכאן זה לא בלוקים אלא commits; לא כרייה אלא חיפוש ניסויי. מה שקשה באמת הוא למצוא תוכנית אפקטיבית; האימות יותר זול.
אז תיאורטית, אפשר לתת לקבוצה של תורמים לא‑מהימנים באינטרנט, ולסט של צמתים מהימנים שאחראים לאימות, לעבוד יחד. כל עוד הסנדבוקס, הבידוד והליך האימות מתוכננים מספיק טוב—המערכת הזאת בהחלט יכולה לארגן כוח חישוב מפוזר מכל העולם.
וזה גם מאוד מפתה, כי זה אפילו יכול להפוך “לתרום כוח חישוב לפי עניין” למשהו משמעותי. אכפת לך מסרטן—תשים כוח חישוב על מסלול AutoResearch למחקר סרטן; אכפת לך מחומרים, פיזיקה, או בעיות ספציפיות אחרות—גם אפשר להקצות כוח חישוב לכיוונים הללו.
המנחה：
פרסמת פעם גם סט נתוני תעסוקה. מה בעצם רצית לראות שם?
Andrej Karpathy：
ניסיתי לבנות לעצמי שרשרת חשיבה: איך AI באמת ישפיע על שוק העבודה? אילו מקצועות רק יחליפו כלי, אילו ייבנו מחדש, ואילו אולי דווקא יגדלו?
אם אתה מבין את ה‑AI של היום כ"עובד בעולם הדיגיטלי", אז מה שהוא הכי טוב בו הוא לתפעל מידע דיגיטלי, לא לתפעל ישירות את עולם האטומים. להעתיק, לשנות ולהעביר bit/ביטים הרבה יותר מהר מלשנות את העולם הפיזי.
אז האינטואיציה שלי תמיד הייתה: במרחב הדיגיטלי קודם יקרה שכתוב בקנה מידה גדול—רתיחה ושיחזור; העולם הפיזי יהיה איטי יותר. זה לא אומר שמקצועות דיגיטליים בהכרח ייעלמו, אלא שדרך העבודה שלהם בהחלט תעוצב מחדש. תפקידים שרובם בבית, שרובם עוסקים במידע דיגיטלי—יושפעו במיוחד.
המנחה：
אז אם מישהו מחפש עבודה, או חושב “מה אני בכלל צריך ללמוד עכשיו”, מה היית אומר?
Andrej Karpathy：
הדבר הראשון הוא: אל תתעלם מזה, ואל תבחר להימנע מזה מתוך פחד.
הכלים האלה כרגע קודם כל כלי העצמה. רוב העבודות הן מלכתחילה שרשרת של משימות; וחלק מהמשימות כבר ברור שניתן להאיץ משמעותית עם המערכות האלה. אז בשלב הנוכחי, להשיג פער כמה שיותר מהר, ללמוד לשתף פעולה איתן—זה משהו שכמעט כל עובד ידע צריך לעשות.
מה יהיה לטווח ארוך, אני לא רוצה להעמיד פנים שאני יכול לנבא במדויק; אבל בטווח הקצר זה יותר כמו מנוף עצום.
בתוכנה אני דווקא יחסית אופטימי. הביקוש לתוכנה הוא כמעט אינסופי; בעבר מה שהגביל לא היה מחסור בביקוש, אלא שזה היה יקר מדי, איטי מדי, וקשה מדי. ברגע שהסף יורד, Jevons Paradox כנראה יופיע: כשהדבר נהיה זול יותר, הביקוש דווקא גדל.
כמו ש‑ATM לא העלים מיד את פקידי הבנק; להפך, כי סניפים נעשו זולים יותר, בנקים יכלו לפתוח יותר סניפים, ולכן גם הביקוש הכולל הוגדל מחדש. ל‑AI בענף התוכנה יכול להיות אפקט דומה: תוכנה תהיה זולה יותר, חזקה יותר, קצרת‑חיים יותר, וקלה יותר להתאמה אישית—ואז הביקוש הכולל של החברה לתוכנה ימשיך לעלות.
המנחה：
הרבה אנשים גם שואלים: אם אתה רואה את זה כך, האם המקום הכי שווה עדיין הוא מעבדות חזית?
Andrej Karpathy：
אני לא חושב שהתשובה כל כך פשוטה.
מעבדות חזית כמובן מאוד חשובות, אבל גם מחוץ למעבדות—לעשות דברים ברמת האקוסיסטם—יכול להיות מאוד משפיע. הבעיה היא: ברגע שאתה נכנס לארגון, אתה כבר לא agent חופשי לחלוטין. אתה סופג הרבה לחצים גלויים וסמויים—יש דברים שמותר להגיד, דברים שלא נוח להגיד, נושאים שאתה יכול להשתתף בהם, ונושאים שלא.
ומחוץ למעבדות, דווקא יש לך יותר הזדמנויות להשפיע ברמת האקוסיסטם: לכתוב כלים, לעצב workflows, לקדם תשתיות פתוחות, לעשות חינוך, ליצור פרדיגמות שיתוף־פעולה חדשות, ולהיות משתתף עצמאי באמת.
אז אני לא הייתי משווה בפשטות “המקום בעל הערך הגבוה ביותר” ל‑“להיכנס לחברה הכי בחזית”.
המנחה：
אז איך אתה רואה את המערך לטווח ארוך של קוד פתוח מול קוד סגור?
Andrej Karpathy：
באינסטינקט אני עדיין נוטה לקוד פתוח.
מצד אחד, ריכוז גבוה של אינטליגנציה סגורה הוא סיכון מבני. אם מסתכלים אחורה בהיסטוריה, גם בפוליטיקה וגם בכלכלה, לריכוז יתר של כוח בדרך כלל אין רקורד כל כך טוב.
מצד שני, בהיסטוריה של תוכנה, Windows ו‑macOS כמובן חזקים מאוד, אבל מערכת פתוחה כמו Linux בסוף החזיקה חלק עצום מהמחשוב בעולם האמיתי. גם ב‑AI בהחלט יכול להיווצר מערך דומה: היכולות הכי חזיתיות אולי זמנית יהיו בידיים של מעט מערכות סגורות, אבל אני מקווה שבעתיד יופיעו חלופות חזקות מספיק, פתוחות מספיק, שאפשר להבין ולעצב אותן כחברה בצורה רחבה יותר.
אני לא חושב ש‑“לרכז את מערכות האינטליגנציה הכי חשובות עד כמה שאפשר, בידיים של כמה שפחות אנשים” הוא מצב סופי בריא.
המנחה：
הזכרת עוד נקודה מעניינת: הממשק בין העולם הדיגיטלי לעולם הפיזי אולי יהיה מקום שמאוד שווה לעקוב אחריו.
Andrej Karpathy：
נכון. כי bit כל כך קל להעתיק ולתפעל, אז השינוי במרחב הדיגיטלי יתפוצץ קודם; אבל אם agents יתחילו לדבר זה עם זה, לבצע משימות, וליצור agent economy, בסוף הם יפגשו את העולם האמיתי.
בסופו של דבר צריך לגעת בחיישנים, לגעת במכשירים, ליזום ניסויים, לקרוא למערכות חיצוניות, ולאסוף נתונים חדשים. הממשק הזה מאוד מעניין, כי הוא לא חייב להתחיל מ"רובוטים יקרים". הרבה יכולות להיכנס לעולם הפיזי כבר קיימות בצורת מצלמות, חיישנים, חומרה קיימת וממשקי תוכנה. אם agent מספיק חכם, הוא יכול לנצל את הדברים האלה כדי לקבל נתונים, לשלוט במערכות, ולהשלים משימות.
לכן אני חושב ש‑agentic web באמת עשוי להופיע: האינטרנט כבר לא יהיה רק אתרים שבני אדם גולשים בהם, אלא יהפוך למשטח עבודה שבו agents צורכים, מייצרים, מאמתים ומחליפים מידע זה עם זה.
המנחה：
וזה גם אומר שתהליכי איסוף הנתונים והאימון עצמם ילכו וייבנו מחדש.
Andrej Karpathy：
כן. הרבה תהליכי אימון, איסוף והערכה יהפכו ליותר מכניים ויותר פרוגרמטיים. יש משימות שממש מתאימות להפוך למדדים נקיים וללולאה סגורה אוטומטית—אימון LLM הוא דוגמה קלאסית.
אז תראה יותר ויותר מערכות שמארגנות את עצמן מחדש כדי “להזין agent” וכדי “להזין את תהליך האימון”. חלק מהעבודה בחברה, בסוף, אפילו יפנה לשרת את הצרכים של מערכות המכונה עצמן.
המנחה：
לבסוף אני רוצה לדבר על חינוך. עשית MicroGPT. בעידן כזה, למה “הוראה” תהפוך?
Andrej Karpathy：
MicroGPT הוא מלכתחילה פלייגראונד לימודי קטן מאוד, שמטרתו לגרום לאנשים לראות באמת מה קורה בתהליך אימון של LLM. אם לא רודפים אחרי מהירות אלא רק אחרי בהירות, זה בעצם קטע קטן של Python שקל מאוד לקרוא: דאטאסט טקסט, רשת עצבית קטנה, forward pass, backward pass, autograd מינימלי, ועוד אופטימייזר. זה דוחס את כל התהליך לסקאלה שאדם רגיל עדיין יכול באמת להבין.
אבל היום אני יותר ויותר חושב שגם החינוך עצמו ישתנה. בעבר חינוך היה קורסים, הרצאות, דוקומנטציה; בעתיד זה יהיה יותר כמו “אני כותב את מסלול ההסבר הכי טוב בעיניי, כמיומנויות ופרומפטים ש‑agent יכול לבצע”.
כלומר, לא בהכרח שאני אלמד ישירות כל אדם, אלא שאקודד פנימה את “איך צריך להסביר משהו”. כך, כשמישהו לא מבין נקודה מסוימת, ה‑agent יכול להסביר בשלוש דרכים, לקחת אותו לאורך בסיס הקוד, ולהתאים את הסדר לרקע שלו.
מה שחשוב באמת, הוא האם אתה יכול להזריק ל‑agent בצורה מדויקת את התובנות, השיפוט ומבנה ההסבר שלך. מה שסוכן לא יכול לעשות—זה העבודה שלך; מה שסוכן כבר יכול לעשות היטב—הוא בקרוב רק יעשה טוב ממך.
המנחה：
אז התרומה האמיתית שלך תהיה יותר ויותר כמו: להחליט מה שווה להסביר, ואיך צריך להסביר.
Andrej Karpathy：
נכון. הרבה דברים agent כבר “מבין”, רק שהוא לא בהכרח יכול להמציא לבד את דרך ההסבר הטובה ביותר. החלק הזה הוא עדיין הערך של האדם כרגע. אבל גם הגבול הזה זז כל הזמן.
אז אתה חייב להחליט מאוד אסטרטגית: על מה, בעצם, הזמן שלך צריך ללכת.
המנחה：
תודה רבה לך, Andrej.
Andrej Karpathy：
תודה על ההזמנה.
אם אתה רוצה לראות את הווידאו האנגלי המקורי：
