קל מאוד לבנות את ה-80% הראשונים באפליקציות מבוססות LLM, אבל ה-20% האחרונים ממש לא פשוטים.
בפרק הזה, אני, עמית בן דור, מארח את אלמוג באקו – יזם בינה מלאכותית בעל ניסיון עשיר בהקמת סטארטאפים ובבניית אפליקציות מבוססות מודלי שפה גדולים. יחד ננסה להבין למה כל כך קשה להפוך תוצאה ראשונית ומרשימה לאפליקציה יציבה שמגיעה לפרודקשן, ולמה עבודה עם LLM היא לא רק הנדסה, אלא דורשת גם חשיבה מחקרית.


במהלך הפרק נדבר על האתגרים, הפרקטיקות, והפרדיגמות שמובילות להצלחה, כולל עקרונות משולש ה-LLM ותובנות מעשיות מאלמוג עצמו. ניגע גם בסיפורים מהשטח ונציע דרכים להתמודדות עם המורכבויות שבשילוב המודלים הללו במערכות אמיתיות. פרק חובה לכל מי שמתעניין ב-AI Engineering ובפיתוח אפליקציות מתקדמות.

האזנה נעימה,
עמית.

בירת ההייטק המקורית של ישראל היא לא הרצליה פיתוח או רמת החייל. זוהי פתח תקווה! איך קרה שכל ספקיות האינטרנט של שנות התשעים ישבו דווקא שם? למה כבל האינטרנט התת ימי MED-1 הגיע דווקא אליה? מדוע היא מחזיקת שיא העולם בתקיפות סייבר לראש? ואיך ייתכן שפסטיבל האוכל הכשר של פתח תקווה, לא קיבל תעודת כשרות?


בפרק המיוחד הזה, שבו אני נפרד מן הפודקאסט "עושים תוכנה" כמגיש, אחרי שלוש שנים, ומעביר את שרביט ההגשה הלאה, אירחתי את הכוכב הבלתי מעורער של כס האורחים – רן בר-זיק – לשיחה פרועה על ההקשרים הטכנולוגיים המפתיעים של פתח תקווה, ועל שלל עובדות מדהימות וסיפורי אימה, שנולדו בעיר הזו. בר-זיק הוא פתח-תקוואי מסור, ויש לו ידע בלתי נדלה, על פיתוח תוכנה, על האינטרנט, וגם על פתח-תקווה. האם ידעתם, למשל, שבר-זיק הוא אביר מפתחות של איגוד האינטרנט הישראלי? שמשרדיו נמצאים כמובן… בפתח-תקווה?


האזנה נעימה,
בועז לביא

איך מלמדים מודל שפה להבין מה חשוב בשיחת מכירות? מדוע מודלי שפה מתבססים על סיינפלד כשמבקשים מהם דאטה על שיחות עסקיות? איך נעזרים במומחי תוכן כדי לייצר פרומפטים מדויקים? ולמה לא פשוט למדוד פרודוקטיביות של מתכנתים?

יעקב אקל הוא מנהל חטיבת AI Platform בחברת גונג – המפתחת כלי AI שמסייעים לארגונים לעבוד בצורה טובה יותר עם לקוחותיהם. דיברנו איתו על האתגרים שבבניית מודלי שפה לצרכים ספציפיים, על הרגעים שבהם הוא מבין שמשהו סוף סוף עובד, או לפעמים, נכשל, על המיזוג ההולך ונשלם בין בני אדם למכונה, וגם על המחקר האנתרופולוגי האישי שלו ברשת החברתית טוויטר, כלומר - X.

פרק בשיתוף גונג.

האזנה נעימה,
בועז לביא

מודלי השפה הגדולים כובשים את עולם הפיתוח – אבל עם הכוח הרב שלהם מגיעים גם סיכונים. בדאטה שעליו הם אומנו יש לפעמים תוכן בעייתי; משתמש יצירתי עלול לחלץ מתוכם מידע רגיש; ובכלל –  ניתן לעשות איתם שימוש שעומד בניגוד למטרות המוצר או החברה. איך מתגוננים מפני כל זה? 

ניב רבין, Principal Software Architect בסייברארק, הגיע לאולפן יחד עם עמיתו לחברה, רן בר-זיק (שאותו אין צורך להציג) ויחד דיברנו על טכניקות הגנתיות בעבודה עם מודלי שפה גדולים. מה עושים Guardrails ואיך עובדים איתם? איך מונעים ממשתמשים להכניס פרטים שלא כדאי שיכניסו, כמו מספרי תעודת זהות? כיצד נעזרים במודל שפה נוסף, לצד המודל הבסיסי, כדי לשמור ולפקח על מה שנכנס ויוצא? ואיך כל זה קשור לקומיקס של xkcd?

האזנה נעימה,
בועז לביא

עליית הבינה המלאכותית מעוררת שאלות עצומות, מלהיבות וגם מפחידות: על עתיד העבודה, האנושות וכדור הארץ. אבל למה שלא פשוט נשכח מכל זה, ניקח מודל שפה גדול (או קטן) ונחבר אותו איכשהו לעציץ? או לכיור? או לפח זבל? או לאסלה? 

בפרק הזה מתארח שוב רן בר-זיק, האיש שממוטט את כל החומות שבין האדם למכונה. המתקנים המופרכים שהוא בונה בבית שלו, להנאת (או לאימת) בני משפחתו, כבר הפכו לשם דבר ברשתות החברתיות, אך אלו לא רק אנקדוטות. בר זיק משתמש ב-רספברי פיי ובמיקרו-בקרים, מתנסה עם סנסורים ומאמן רשתות נוירונים, ומפיח חיים בבאזזוורד החדשה: AIoT. הבינה המלאכותית של הדברים. לטענתו – כל אחד ואחת יכולים גם הם לעשות את זה. אם אתם מפתחים בעיסוקכם, הערך המוסף יהיה גדול במיוחד. ואולי גם תוכלו לשוחח סוף סוף עם סל הכביסה.

האזנה נעימה,
בועז לביא

לינקים:
לפרק הקודם עם בר-זיק בנושא - מכונת המשאלות הקטנה:https://www.osimhistoria.com/software/ep97-raspberry-pie

להרחבה עדכנית של בר-זיק על התחום, באתר שלו:https://internet-israel.com/?p=11323

הפרק המיוחד הזה של עושים תוכנה כנראה לא יעזור לכם או לכן לעשות ריפרקטורינג לקוד, או לנהל את הענן שלכם בצורה חסכונית יותר. אבל הוא מעניק הצצה אל אחד המאמרים המוזרים ביותר בהיסטוריה של הבינה המלאכותית, ואולי יצליח לפתוח לכם כיוונים חדשים בחשיבה על קוד ופיתוח תוכנה. הוא עוסק בשפה הודית עתיקה בשם סנסקריט ובעובד נאסא אמריקאי, שספק אם היה קיים. האזנה נעימה!

מודלי השפה הגדולים (LLMs) הם ההבטחה הגדולה של תקופתנו, וייתכן שמהם יגיח ה-AGI, אותו קונספט בדבר בינה כמו-אנושית. אבל עד כמה הם באמת משנים את עולם הפיתוח, כבר היום? ואיך אפשר לדעת אם השימוש בהם יוביל לגילוי שדה נפט עסקי-פיתוחי, או לחלופין – רק לאדמה חרבה?

עמית בן-דור הגיע לשיחה מיוחדת על ההייפ, ההבטחות והמציאות, שמציבים מודלי השפה הגדולים בפני ארגוני הפיתוח. למה צ'ט בוטים הם לאו דווקא השימוש הכי רלבנטי עבורם? כיצד CoPilot כן משנה את חוקי המשחק? ומדוע אוטומציה של תהליכים – לאו דווקא התחום הסקסי ביותר – הוא המקום שבו מתגלה ההשפעה הדרמטית באמת של LLMs? 

האזנה נעימה,
בועז לביא

גילדה היא מושג שנמצא איתנו לפחות מאז ימי הביניים: גוף של בעלי מקצוע כמו צורפים, או נפחים, שאחראי על ההון ההדרכתי, ועוסק בין השאר בהכשרה של אנשי מקצוע חדשים. בעידן הנוכחי נולדה הגילדה מחדש, במקצוע המשמעותי ביותר אולי של זמננו – פיתוח תוכנה. 
 
איך מקימים גילדת מפתחים בתוך ארגון? מה הקשר בין Hyper Growth לבין הצורך בגילדה? איך בוחרים מי יוביל את הגילדה? כיצד מגדירים עבורה יעדים? כמה זמן לוקח לחברה לראות את הערך שבגילדה? והאם מתישהו יתחילו חברות לחפש בשוק ראשי גילדות, באופן יזום? 

על השאלות הללו, ורבות אחרות, שוחחתי עם לירון שטרייכמן, VP Core ב-Global-e, בעל ניסיון של כ-20 שנה בתעשייה, בחברות קטנות וגדולות, בין השאר בתפקידי VP R&D, ועם נתנאל אברג'יל R&D Director ב-Global-e, מוביל את צוותי האינפרא ואת הגילדה למפתחים.

פרק בשיתוף Global-e.

האזנה נעימה,
בועז לביא

גיבוי הוא מסוג הדברים שאף פעם לא עומדים בראש סדר העדיפויות. אבל כמו בסרטי אימה, מה שהתעלמנו ממנו עלול לצוץ ולרדוף אותנו, בדיוק ברגע הכי לא מתאים. איך מונעים מראש את הקטסטרופה שכולנו חוששים ממנה? איך מוודאים שכל מה ששמרנו דיגיטלית, לא יעלם?

לרן בר-זיק יש הרבה מה לומר על גיבויים, גם ברמה המקצועית, כמפתח וארכיטקט, וגם ברמה האישית, כעיתונאי, כאדם פרטי וכאיש משפחה. שוחחנו על סיפורי אסונות בז'אנר הגיבויים, על האחריות של בוני אתרים ביחס לגיבוי, על מה זה Disaster Recovery, על גיבוי קר ועל גיבוי חם, על פרוטוקול הגיבוי האישי אצל בר-זיק בבית, על מה לא לגבות ואפילו לבער ולהשמיד, ועל למה כדאי לכתוב דוקומנטציה רק אחרי שאוכלים ארוחת צהריים.

האזנה נעימה,
בועז לביא

לספר The Phoenix Project:https://www.amazon.com/Phoenix-Project-DevOps-Helping-Business/dp/0988262592

פוסט של ערן שפירא על חיסכון בגיבוי:https://medium.com/@lxeran/how-we-decreased-our-monthly-aws-costs-from-10-000-to-1-500-f926f1fd4eef

איך משפיעה הבחירה בשפת תכנות על העולם שלנו? מתי קוד מתומצת מדי הופך לבלתי מובן? ומהו הקשר העמוק בין כתיבת שירה לכתיבת תוכנה?

לרגל שבוע הספר, התארח ב"עושים תוכנה" ערן הדס –  תוכניתן, משורר ואמן מדיה. ערן עבר בתעשייה דרך של תוכניתן, ראש צוות, מנהל פיתוח ולתקופה קצרה גם היה מנכ"ל. הוא מלמד במסלול מדיה דיגיטלית באוניברסיטת תל-אביב ובביה"ס למדעי המילה בירושלים, וחוקר יצירתיות בתחום החינוך. הוא פרסם תשעה ספרי שירה, השתתף בפרויקטים כמו מערכת שכותבת שירה על סמך גלי המוח, רובוטית שמראיינת אנשים לסרט תיעודי, ואוצר דיגיטלי של יצירות אמנות. 

שוחחנו על שפות תכנות ועל שפות טבעיות, על קרבות היסטוריים בין פרדיגמות בכתיבת קוד, על תכנות בתור כישוף ועל ריבונותן של המכונות, ועל למה הוספה של הערות בתוך הקוד, היא לאו דווקא עניין מומלץ.

האזנה נעימה,
בועז לביא 

איך בונים מודלי שפה בעברית? למה זה כל כך מורכב, יקר, ודורש כל כך הרבה מתנדבים? והאם מודלים מקומיים בקוד פתוח יכולים באמת להתחרות במפלצות הבינה המלאכותית של OpenAI וגוגל?

בפרק הזה של "עושים תוכנה" מתארח, שוב, ים פלג. לים יש רקורד עשיר מאוד בפיתוח ומחקר סביב AI. הוא מדורג בין המובילים בעולם במדע נתונים תחרותי והחזיק לאורך השנים בכמה שיאי עולם בקטגוריות השונות בתחום. הוא אחד ממפתחיה הראשונים של ספריית הבינה המלאכותית הפופולרית: Keras, ומשמש כמנכ"ל חברת סטארט-אפ שאותה הקים, Deep Trading Ltd, חברת מסחר פיננסי גלובלית, שנשענת על ניסיונו במדעי הנתונים, תכנות ואלגוריתמים. 

אבל ל-"עושים תוכנה" הוא הגיע הפעם בעיקר כדי לדבר על פרויקט מיוחד, מקומי, שבו הוא מעורב: Ivrit.AI. מיזם ללא מטרות רווח שמטרתו לאפשר תמיכה איכותית בעברית בכלי בינה מלאכותית. אלפי מתנדבים בפרויקט אוספים ומתייגים מאגרי מידע בעברית שלבסוף משוחררים לקהל הרחב ברישיון נוח לשימוש המאפשר לפתח מודלים ושירותי בינה מלאכותית בעברית. המיזם הושק לפני כשנה ואחד היישומים הראשונים שלו הוא מודל תמלול ראשון בעברית, שלפי הדיווחים מתעלה על ביצועי כל המודלים האחרים הקיימים כיום.
תפקידו של ים הוא אימון המודל, ויש לו המון דברים מרתקים לספר עליו, על עתיד מודלי השפה, ועל הדרך קדימה עבור הבינה המלאכותית בכלל.

האזנה נעימה,
בועז לביא

לפרק הקודם עם ים:https://www.osimhistoria.com/software/ep123-machine-language

לאתר הפרויקט של Ivrit.AIhttps://www.ivrit.ai/en/ivrit-ai-2/