339 JAMStack

May 31, 2018, 11:55 am

≫ Next: 341 Bumpers 48

≪ Previous: 338 Reversim and Cloudtalk

פרק 339, רן מארח את אוהדלשיחה על קונספט בשם JAMStack

1:15 - אוהד מספר על עצמו, בן 38, מתכנת מגיל 13, עבד ב Chegg אשר קנתה חברה שאוהד הקים
2:27 - אוהד מספר על Chegg, חברה שהלקוחות שלה הם סטודנטים אמריקאים, יש להם שירות השכרת ספרי לימוד הגדול בארה״ב ועוד מספר שירותים דיגיטלים העוזרים לסטודנטים להצליח
3:32 - לפני מספר שנים אוהד הקים חברה בשם App Sharp, המספקת שירות לעסקים קטנים.
4:58 - אוהד מספר שהוא עושה השקעות בתור Angel
5:20 - רן מסביר את הנושא הכללי עליו ידברו בפרק ומתחיל בפתרונות אירוח של אתרים סטטים כמו S3 או Github pages המאפשר לעשות hosting לאתרים סטטיים
7:30 - אוהד מסביר את המסלול שהוביל לשימוש בJAMStack(קיצורשל Javascript API ו Marakup)
8:25 - ההבנה שרוב האתרים היום הם סטטיים התחילה להתפתח יחד עם המעבר מפיתוח מונוליטי לMicroservices ו Serverless
9:00 - קטליזטור נוסף ל JAMStack הוא הנושא של Single page apps, בהם טוענים קובץ Html ו פשוט ו JS הפונים לAPI, הטעינה הראשנית היא פשוטה אבל זה לא אומר שהאפליקציה סטטית
10:20 - לאחרונה הרבה מהלוגיקה עברה ל frontend ונוצר צורך בכלים התומכים ב deployment של ה frontend
11:58 - אוהד משקיע בחברה בשם Netlify, שזיהתה את הטרנד הזה ומספקת כלים שנועדו להקל על מפתחי frontend בנושאים כמו buid, CI\CD
13:00 - אוהד מספר איך הוא הגיע ל Netlify בעקבות תחזוק אתר וורדפרס שלו, שנפרץ לעיתים תכופות ודרש תחזוקה רבה, בשלב מסויים אוהד החליט לעשות snapshot של האתר ושם את הקבצים הסטטיים על S3 וחשב שיהיה מעניין לפתח CMS שיתמוך באתר הסטטי, בלי לתחזק שרת, לאחר מכן נתקל בכתבה על אתרים סטטיים התמכה שנכתבה ע״י Netlify, יצר איתם קשר והשקיע בהם.
17:30 - אוהד מספר על הפתרון של Netlify, המאפשרים לחבר Github repository ומנהלים את כל תהליך ה build וה deployment של ה frontend כולל קימפול webpack ודומיו בשלב ה build, בנוסף טיפול ב ssl certificate, CDN ועוד בשלב ה deployment.
19:40 - אוהד מסביר על JAMStack בתור מתודולוגיית פיתוח של מפתחי frontend, והחתיכה החסרה היא ה backend וה API
21:15 - הסבר על תמיכה של Netlify ב FAAS עד רמת ה Deployment של פונקציות ל AWS, המשלים את החתיכה החסרה, ומנגיש את עולם ה backend למפתחי frontend בדומה למה ש firebase ודומיו עושים
23:00 - הסבר על השוני בין Netlify ל firebase, הפיטצ׳רים הבולטים ב firebase הם data, synchronization, pub\sub וכו׳ אבל הם לא יעזרו לכם לבנות את אפליקציית ה frontend שלכם
25:10 - מתי כדאי להתשמש ב Netlify לעומת פתרונות אחרים כמו wix code או firebase
27:05 - הסיבות העיקריות שאוהד בוחר ב Netlify לאתרים האישיים שלו, הם הנוחות של ה deployment, ה free plan שלהם לא מגביל ומאפשר לחבר כל דומיין ולחבר כל certificate שרוצים
30:35 - רן מסביר שההבדל המשמעותי בין wix code או firebase ל Netlify היא שאם אתה מחליט לעבוד ב JAMStack יש לך יותר מפתרון אחד ואפשר להחליף ביניהם בקלות יחסית וזהו פתרון מינימלסטי יחסית, ובפתרונות כמו wix code ו firebase אתה כבול אליהם
34:20 - אוהד מספר ש Github pages היה השראה לפיתוח המוצרים שלהם, ו Chris Wanstrath המנכ״ל של Github משקיע ב Netlify
35:00 - אוהד מספר על איך עושים מוניטיזציה לכלים למפתחים
38:10 - ישנה אקסיומה שקשה למכור כלים למפתחים ממספר סיבות, אבל היום הרבה יותר קל למכור כלים למפתחים ולראיה יש הרבי כספי VC המושקעים בתחום הזה
39:00 - אוהד מסביר קצת יותר על השוק העסקי של הכלים למפתחים
41:17 אוהד מספר על קרנות המשקיעות ב B2D

Links:

Netlify - https://www.netlify.com/

JAMStack - https://jamstack.org/

JAMStack Radio Podcast - https://www.heavybit.com/library/podcasts/jamstack-radio/

Ohad’s personal website - https://www.ohadpr.com/

Shameless plug - Chegg Israel job openings - http://che.gg/joinisrael

Netlify broader overview on TechCrunch - https://techcrunch.com/2018/03/20/netlify-wants-to-make-it-easier-for-web-developers-to-use-aws-lambda-event-triggers/

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

341 Bumpers 48

June 7, 2018, 2:17 pm

≫ Next: 342 Optibus

≪ Previous: 339 JAMStack

במפרס מספר 148 עם רן , דותן ואלון

רן - איך זה להיות מפתח ב… - רשימה של נתונים על מספר חברות, הכלים בהם מפתחים, תהליך הפיתוח, הצוותים וכו׳
רן - עליית המכונות, פוסט פוליטי חברתי של יאיר לפיד, המתאר את הדעות שלו על העתיד
רן - FlatBuffersפרויקט סריאליזציה מגוגל עם כמה הבדלים מ ProtoBuffers, מהיר כי לא חייב לקרוא את כל הדאטה אם לא משתמש בהכל, פייסבוק משתמשיםבו באפליקצית אנדרואיד
רן - כלי המדגיםויזואלית את דרך הפעולה של רשתות ניורונים
רן - מחברת Jupyter עבור Go
דותן - מאמרשל Paul Grahm כל לוחות זמנים של מנהלים מול מהנדסים (מייקרים) ואיך הוא ממליץ לנהל את הלו״ז המשותף
דותן - רעידת אדמה קטנה ב React, יכולות חדשות מאפשרות Suspense and Async rendering, הכרזה, דיון, דיון נוסף, renderprops / function components
דותן - Apolo, גרסא 2.1 לספריית ה GraphQL לJS, סיכום לכל מה שצריך לדעתלמי שרוצה לעדכן, יש ספריות lightweight מתחרות, urql, micro-graphql, בנוסף ישנם כלי ניתוח עלויות
דותן - TC39, ועידת העתיד של JS, כמה דברים שיצאו לאחרונה: async iteration, התקדמות ב pattern matching, ו pipeline operator
דותן - עוד מאמרשל עזיבה של Scala, ע״י אחד מה Commiters
דותן - Hypothesis, ספריית Python המאפשרת כניסה קלה ל Property testing
דותן - pyjest, מאפשר להריץ ספריית test של Python על גבי Jest
דותן - deep painting, פרויקט deep learning הלוקח ציור ומשלב בו פריטים חיצוניים וגורם להם להשתלב בסגנון הציור
דותן - מאמרעל FP ב JS, הנותן נגיעה טובה מאוד לתכנות פונקציונאלי
דותן - מצגתעל איך לכתוב קוד כמו הצוות של Go
דותן - Go proverbs, מסמך העובר על העקרונות של Go בדומה למנטרה של Python
דותן - subredditשל סטאפים מטורפים לעמדת מחשב, ויחידת ריהוט באיקאה להגבהת מסכים
אלון - Greensockהיא animation library ל JS, עובד גם ב React
אלון - Oracle ניצחואת Google בתביעה המפורסמת שמנהלת כבר 8 שנים
אלון - תוסף לכרוםהמראה feature queries ב dev tools
אלון - פורסם באג ב API של גוגל המשפיע על תוצאות חיפוש
אלון - RealWorld, דוגמאות מימושים של clone של Medium.com בעזרת פריימוורקים שונים
אלון - Jeff Bezos הסביראת דרך התנהלות הפגישות באמזון, ועל הסיבות בגללן אין מצגות באמזון אלא דפי ממו המקבלים לפני ישיבה

מצחיקים

רן - vim-clutchפדאל למעבר בין insert mode ל normal mode
אלון - vim ransomware, דיון ב reddit על מישהו שנכנס ל vim, לא הצליח לצאת וחשב שמדובר בתכנת כופר
רן - מספר על פרק האחד באפריל
תזכורת ל Reversim Summit

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

342 Optibus

June 20, 2018, 11:42 am

≫ Next: 343 Bumpers 49

≪ Previous: 341 Bumpers 48

פרק 342 רן ואורי מארחים את איתןיזם ו CTO ב Optibus

1:05 איתן מספר על עצמו ועל הרקע המקצועי שלו
2:18 איתן מספר על Optibus, מתמקדים בתחום הסעת ההמונים, לוקחים דאטה מעיר שלמה ומוציאים תכנית פעולה לרכבים ונהגים כדי לעמוד בביקוש התחבורה בעיר תחת אילוצים וחוקים רבים למשל טעינת רכב חשמלי או מנוחת נהג
6:20 נקודת ההתחלה למערכת שלהם היא כאשר הנסיעות כבר תוכננו אבל לא יודע איך הולכים לבצע את הנסיעות בהינתן המשאבים הקיימים, שיבוץ רכבים, נהגים ומשאבים נוספים למסימות הקיימות, זוהי בעיה NP קשה, ובצורה נאיבית מחשב לא יצליח לשבץ בזמן סביר
8:05 הפרויקט התחיל כאשר איתן ועמוס השותף שלו היו במהלך תואר במתמטיקה ומדעי המחשב, ונחשפו לעולם הבעיה הזה, ובהתחלה התמקדו בבעיה מצומצמת יותר בה יש רק רכבים ומתעלמים מהנהגים והשתמשו בפתרונות מעולם הגרפים בה כל נסיעה היא קודקוד בגרף, וקשת בין 2 נסיעות מסמנת רכב היכול לבצע נסיעה אחת ואחריה את הנסיעה השניה
9:50 כאשר רוצים לכסות את כל הנסיעות בגרף כזה בעל עשרות אלפי קודקודים ומליוני קשתות, אפשר לתאר את זה על ידי כיסוי הגרף במסילות כאשר מסילה היא רצף קודקודים מחובר ורוצים כמה שפחות מסילות המכסות כמה שיותר קודקודים, זוהי הפשטה של הבעיה בה הם התחילו
11:05 בעולם האמיתי הבעיה מסובכת יותר למשל לא דובר על חניונים ואיפה הרכב חונה, רכבים צריכים להיטען ונכנסים למורכבות של שיטות חיפוש בשילוב המון משתנים
12:55 הכניסה של נהגים הופכת את הבעיה למורכבת בהרבה כי החוקים והאילוצים על נהגים הם רבים בדומה לבעיות של תכנון לינארי רק בסקייל גדול מאוד, נהג יכול לבצע חתיכת עבודה מרכב מסוים לרדת מהרכב להפסקה ולעבור רכב, אז צריך לחלק את המסילות לתתי-מסילות ולייצר סידור עבודה לרכבים, פה נכנסים לתכנון לינארי עם מיליארדי משתנים, החוכמה היא לצמצם את עולם החיפוש בצורה חכמה ולבזר את פתרון הבעיה להרבה מחשבים
14:35 אחד הדברים המייחדים את Optibus היא היכולת לתת תכנית לעיר שלמה בסידרי גודל של שניות עד דקות בשונה מימים בפתרונות אחרים
16:30 איתן ועמוס הקימו את החברה ב2014 ממרתף בנתניה, כאשר די בהתחלה כבר הייתה להם עיסקה עם אגד והתחילו בגיוס כספים, כיום הם מונים מעל 50 איש ויושבים בתל אביב ועובדים בארה״ב אנגליה אוסטרליה וסינגפור
19:45 מעבר לתכנון בהנתן דאטה ידוע, הם מקבלים דאטה מסיגנלים של GPS ומזה מקבלים תובנות על איך התנהלה התכנית בשטח ומה הקורלציה בין התכנית לבין הביצוע בפועל, על המידע הזה מריצים אלגוריתמים של למידת מכונה ומקבלים פרדיקציה על איך התכנית הולכת להתנהג בפועל
24:20 יש דמיון רב לתכנון טיסות, ההבדלים העיקריים הם שתכנון טיסות זה סקייל הרבה יותר קטן, ובאוטובוס נסיעה ריקה למשך כמה תחנות היא יותר נסבלת מלהוציא טיסה ריקה
28:30 רן מסכם שיש פה בעיה אלגוריתמית קשה הדורשת הרבה כח חישוב, חלק מהבעיות הן NP קשות, ושואל איך ניתן לפתור את הבעיות האלה בזמנים של שניות
29:20 יש הרבה דברים בהם השתמשו כדי לבצע את זה, דבר ראשון עובדים בפייתון, וכאשר עשו בנצ׳מארק מול שפות אחרות פייתון יצא איטי בסדר גודל, אבל כאשר השתמשו ב pypy שהוא אינטרפטר לפייתון העושה JIT compilation הגיעו לביצועים בסדר גודל של Node
31:45 בנוסף כאשר רצו לעשות רדוקציה לבעיה בגרף או למדל בעיה מתמטית כתבו בעצמם ב CPP
32:20 את הדאטה טרום חישוב שומרים בMongoDB, את הדאטה שמייצרים תוך כדי אופטימיזציה מתחלק לחלק בזיכרון וחלק בדיסק כתלות בביזור
33:30 ניצלו את היכול של Linux לעשות fork ל process ולהצביע על אותו מקום בזכרון כאשר לא כותבים אליו וכך חסכו סריאליזציה ודי-סריאליזציה של דאטה , זה מאפשר לנצל הרבה cores במחשב אחד
35:50 כשרצו למקבל על כמה מכונות היה שלב בו השתמשו הרבה ב EFS כי היה נח שמי שמתחיל את העבודה כותב קובץ של כמה מאות מגה ושאר התהליכים קוראים אותו
36:35 כעת חשבו על מיקבול גדול יותר, פה נכנס הקונספט של serverless, מכיוון שאופי העבודה הוא ספורדי ואפשר לקבל מספר אדיר של cores ברגע ולשלם רק על זמן העבודה
37:55 אמזון מגבילים את מספר הקורים והמכונות ועכשיו הם נמצאים בשלב של poc עם בינאריס שנותנים latency נמוך ואפשרות להבנה של הסטייט
39:45 על מנת לחסוך זמן החימום של ה process שיכול להגיע לעשר שניות ובסקייל של Optibus זה סדר גודל של יום בגלל מספר התהליכים, משתמשים ב snapshot של ה process לאחר חימום
42:20 רן שואל האם השימוש ב copy-on-write ישים גם ב lambda, איתן מסביר שה serverless infra לא נותן מספיק cores ל process על מנת לנצל את זה
45:05 איתן מציין שסוג החברות שעודות איתם הם לא רק חברות תחבורה, אלא כל חברה שצריכה הסעות המונים, למשל Facebook שצריכים להסיע את העובדים שלהם, ולדעתו התחום לקראת פריחה רצינית
50:30 יש הטוענים שרכבים אוטונומיים יורידו את מספר המכוניות על הכביש כי נחלוק רכבים, מצד שני יש הטוענים כי מספר הנסיעות יעלה, איתן חושב שרק רכבים קטנים אוטונומיים לא יפתרו את הבעיה לבד אלא שילוב של נסיעות המונים עם רכבים אוטונומיים

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

343 Bumpers 49

July 4, 2018, 10:39 pm

≫ Next: 344 Power in Diversity with Galit Desheh

≪ Previous: 342 Optibus

רן, אלון, ודותן בפרק מספר 49 של באמפרס

רן - קורס Machine learningשל גוגל המהווה בסיס טוב לחדשים בתחום
באותו נושא, גוגל פיתחו אמצעי לימודי, מערכת בשם Colab, מחברת online בסגנון Jupyter המריצה Tensorflow ורץ מעל Tesla K80 GPU, תומך ב KerasTensorflowPyTorch
יש dependency manager חדש לGO בשם vgo, סיפור מעניין כי רק לפני זמן לא רב הכריזו על godep וכעת הוא deprecated והכריזו על vgo, פוסט על הסאגה
פריימוורק חדש מבית גוגל בשם Istioזהו בעצם service mesh המשתמש מאחורי הקלעים בפרקוסי בשם envoyשבכתב בlyft, כאשר envoy הוא רכיב אחד Istio מוסיף מעליו authorization, metrics, rate limit וכו׳ נראה כיוון מבטיח, כרגע נמצא באלפא
אלון - Microsoft קונים את Github
אלון - stackoverflow for teamsמיועד לניהול ידע פנים ארגוני, wiki מבוסס שאלות ותשובות
אפשר להעביר לסירי ואלקסה פקודות בתדרים שאוזן אנושית לא שומעת
בינה מלאכותית המנהלת שיחה מבית גוגל Google Duplex
גוגל הציגו בכנס את AutoMLשירות למידת מכונה אשר חוסך בניית מסווג ומאפשר למידת מכונה ללא ידע מוקדם ולאנשים פחות טכניים
הרצאה מ Google IOעל Javascript מודרני
מצאו malwareבחנות של אובונטו
יצא React 16.4ונוספו Pointer events
ספריה פתוחהלרקעים לאתרים
דותן - לאוהבי LaTeX ו React יצא ReLaXed, זהו כלי המאפשר להשתמש בטכנולוגיות מודרניות ליצור pdf או מסמכים אחרים
פרויקט ל console logs צבעוני בשם Signale
מעקבאחרי הסטאטוס של Go 2
באותו נושא, פוסטישן המתאר את Go בדומה לכלי שנגרים בונים עבור עצמם
צ׳קליסט ל GDPR Complaiency, דותן ממליץ תמיד לבדוק את הדרישות המקוריות ולא להסתמך רק על צ׳קליסט
אתרהמרכז ״גליצ׳ים״ בניהול פרטיות של חברות בהקשר של GDPR
מי שרוצה לעמוד ב GDPR אבל עצלן, מאמרגימיקי המציע לחסום את כל המשתמשים מאירופה(כמובןשזה לא מספיק כי משתמש אירופי מוגן גם אם גולש מיבשת אחרת)
מאמר דעהבהקשר של ad-tech ו GDPR
כלי בשם Blackמעין gofmt עבור python
כלישרוצה להיות ה metalinter הבא של Go
ספריה מבית OpenAI בשם GYMהמשמשת פלטפורמה ל reinforcement learning לניצחון במשחקי מחשב
בנצ׳מארקלמנגון ה FFI בין הרבה שפות
דותן הוציא ספריהלחיבור בין Jest ל Pytest
דרמה בקהילת פייתוןהקשורה לעולם ה Package management
הצעה לשיפורה Package management ב Python
פייסבוק מוציאים כלי בשם pyreל type checking ל Python
רפוזיטורי ב Github בשם if ms buys github I’m out

מצחיקים:

רן - כלי בשם git vanity shaשיוצר prefix ל sha של ה commit שלכם בגיט
מאמרהומוריסטי על היסטוריית שפות התכנות
אלון - צילום מסךשל גיטהאב שנראה כמו מוצר מייקרוסופטי ישן

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

344 Power in Diversity with Galit Desheh

July 30, 2018, 12:17 pm

≫ Next: 345 carburetor 25

≪ Previous: 343 Bumpers 49

פודקאסט מספר 344, אורי ורן מארחים את גלית דשאלשיחה על יוזמת PowerInDiversity

גלית בת 48 דוקטור למדעי המדינה, עבדה במרכז לנפגעות תקיפה מינית, היתה מנכלית שדולת הנשים, בשנים האחרונות מנהלת את מיזם PowerInDiversity, מייעצת לגופי ממשלה, מלווה ארגונים חברתיים, מרצה ועוד
בישראל כשמדברים על גיוון והכללה מונים 6 אוכלוסיות: ערבים ישראלים, חרדים, נשים, יוצאי אתיופיה, בעלי מוגבלויות, אנשים מעל גיל 45.
עולם ההייטק הוא מאוד קיצוני בהומוגניות שלו, הוא עולם מיוחד בחדשניות, בקצב ובשיווק לעולם.
אחת הכוונות של PowerInDiversityהיא להשאר יוזמה ולא להפוך לארגון, היא הוקמה לפני שנה על ידי אלן פלד, איש ותיק בתעשיית ההון סיכון, הקים את קרן vintage שיושבת בישראל ומונה 30 עובדים, היוזמה הוקמה כאשר אלן פלד פגש את קייט מיטצ׳ל ששמה לה למטרה לקדם את נוכחות הנשים בתעשיית ההייטק וקרנות הון הסיכון
התפיסה הישראלית של PowerInDiversityיושבת על 3 רגליים:

1. ישנו מחסור בכח אדם, חסרים כ14,000 מהנדסים בישראל ויש למעסיקים נטייה להעסיק מהנדסים הדומים להם, שירתו באותם מקומות ולמדו באותם מקומות

2. יצירתיות, התעשיה מתגאה בקידום חשיבה יצירתית עצמאית, אם נפגיש אנשים נרקע שונה יש פוטנציאל גדול ליצירתיות וחדשנות, אבל זה מצריך עבודה בגיוס האנשים המתאימים, אורי מביא דוגמה שכאשר Outbrain היתה חברה צעירה היה קושי לגייס ג׳וניורים כי לא הייתה יכולת לעשות מנטורינג, וכאשר גדלו היו להם המשאבים לגייס אותם, וקיבלו כתוצאה מכך הרבה מוטיבציה אצל העובדים

3. רצון לתיקון עולם והפיכת ישראל למקום טוב יותר

הדבר המרכזי שעושים ב PowerInDiversity, זה לפתח מטולוגיות עבור סטארטאפים
רן שואל מה מנהלים או עובדים בחברה יכולים לעשות, גלית עונה שניתן לחתום על היוזמה ומקבלים מספר שירותים: שיתוף ידע מסיפורי הצלחה כמו איך לראיין, סיוע בגיוס עובדים ע״י קשר לארגונים הכי טובים בגיוס עובדים מגוונים
דברים נוספים שעושים ב PowerInDiversityזה לעבוד עם המדינה להבנת הצרכים של סטארטאפים, ונותנים לסטארטאפים כלים החל מאבחון הצרכים של הסטארטאפ ועד סדנאות בנושאים ספציפיים
נתונים על המצב כיום: נשים מהוות עד 22% מהתעשייה, וכ- 14% במקצעות ההנדסה, ממוצע ההישרדות של מתכנת צעיר הוא עד שנה וחצי, גיוון יכול להביא עובדים יותר יציבים ויותר עובדים באופן כללי
מי שרוצה ליצור קשר יכול דרך האתר, לשלוח מייל, או לטלפן
באתר יש טיפים מרוכזים ועוד מקורות מידע
אורי שואל האם מנהל מאוכלסיה מגוונת צריך לדאוג להעסיק עובדים מהאוכלוסיה שלו, גלית מסבירה שצריך לדאוג שהמראיינים יהיו בעד גיוס האוכלוסיה שלהם כי לרוב המצב הוא הפוך
צריכה להיות הצהרה מאוד ברורה שהשאיפה היא להעסקת אוכלוסיות מגוונות אך לא על חשבון מצוינות

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

345 carburetor 25

August 20, 2018, 10:55 am

≫ Next: 346 Transparency @ Monday.com

≪ Previous: 344 Power in Diversity with Galit Desheh

פרק מספר 345 של הפודקאסט, קרבורטור מספר 25 עם נתי שלום, רן, ואורי

הפעם נדבר על מעבר לטכנולוגיות חדשות digital transformation ואיך עושים את זה נכון

3:45 רן מציג את הבעיות עליהן ידברו בהמשך
5:05 כשאומרים ענן מתכוונים לדברים שונים ויש המון אופציות
5:35 מדברים על האבולוציה של מעברים טכנולוגים והאג׳יליות שהם מצריכים
7:15 יש תעשיות שנמחקו כי לא הצליחו להתאים את עצמן לשינויים
8:10 יש הרבה טכנולוגיות והשאלה הכי קשה היא איך לבחור ולהמליץ על גישה נכונה, יש מעט מאוד אנשים שיודעים להמליץ מה נכון לעשות
10:25 ארגונים המסתכלים על הטרנספורמציה כמעבר מנק׳ אחת לנק׳ שניה יגיעו לתהום, קשה לחשוב על זה כרכבת ולתכנן את המעבר כ״כורי עכביש״
11:15 האתגר הוא לבנות את ה״רכבת״ ולייצר תשתית ארגונית המאפשרת לאמץ טכנולוגיות חדשות
12:55 אג׳ייל היא דוגמא מצויינת לצורת פתרון לבעיה מורכבת
13:50 לא הכלנו את האג׳יליות לפרוייקטי טרנספורמציה, איך נוכל להביא את הטכנולוגיות החדשות ללא דיסרפשן, ובאינקרמנטים קטנים
15:00 אורי נותן דוגמא למעבר שנעשה באאוטבריין בצורה אינקרמנטלית
17:05 אמזון היא דוגמא מצוינת לאיך באינקרמנטים קטנים אימצו גישה פרגמטית ובנו סט של טכנולוגיות המאפשר לעשות את המעבר הזה
19:00 נתי נותן דוגמא מפרויקט שעשו עם פרטנר
23:21 השינוי בסדר הטרנספורמציה גרם לפרטנר להצליח בטרנספורמציה
24:05 עוד דוגמא אג׳ילית מצוינת היא RDS שהתחיל ללא autoscaling כי הערך של השירות היה מספיק גבוהה כדי לצאת
25:25 בהכללה ניתן להתייחס לתשתית כ feature ולא מטרה ויכול להיות שהיא לא מביאה מספיק ערך כדי להיות חלק מה mvp
26:00 יש גישה שנקראת Lift&Shift שאומרת אל תשנה כלום ופשוט תעביר את האפליקציה לדאטה סנטר משותף וקיבלת ניהול אחיד לכל התשתיות
26:25 גישה נוספת דורשת יותר שינויים והיא הוספת שכבת אוטומציה שתהווה הכנה ל devops
26:50 מעבר לזה מדברים על microservices ו serverless
28:40 כעת ניתן להבין פר אפליקציה איפה היא נמצאת בציר האג׳יליות הנ״ל ולקבל החלטות נכונות על הטרנספורמציה
30:15 הרחבה על שיטת Lift&Shift
32:20 בשיטת ה mvp ניתן להוציא תוצאות יותר מהר ולקבל פידבק מהלקוח
32:50 נתי מתאר את הכלים הניתנים ע״י ספקי הענן המאפשרים טרנספורמציה אג׳ילית
33:40 יש פתרונות אוטומציה לסביבה ההיברידית המאפשרים לעשות אינטגרציה, ןלאפשר לא להזיז אפליקציות אלא לתת להם לדבר אחת עם השניה וזו בעיה יותר ריאלית
35:00 עם כלים כמו Kubernetes ניתן להגיע לפורטביליות בצורה יחסית פשוטה
35:55 אוטומציה נועדה לחבר את הדברים ברמת תשתית וברמת workflow כלומר עבור שירות המורכב מסט של פתרונות
36:45 מסכמים את הגישה שנתי הציג
39:00 נתי מציג שירותי אוטומציה
39:45 נתי מדבר על פלאגינים לKubernetes המאפשרים להרחיב את הפלטפורמה כדי שתוכל להתאים לפלטפורמות שאינן Kubernetes

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

346 Transparency @ Monday.com

August 21, 2018, 11:56 am

≫ Next: 347 Bumpers 50

≪ Previous: 345 carburetor 25

פודקאסט מספר 346 - אורי ורן מארחים את רן דוידוביץ’לשיחה על שקיפות בימי שני(Transparency @ Monday.com). וגם בשאר הימים.

רגע לפני - כנס רברסים 2018מתקרב: 8-9 באוקטובר, אוניברסיטת תל אביב. בואו.
רן - בן 38, אב לחמישה - ומנהל קבוצת BigBrain ב-Mondayמאז מרץ 2018.
מונדיי(Monday)נבנתה סביב הרעיון של מתן פתרון לקבוצה של אנשים עם מטרה משותפת שרוצים לעבוד יחד באופן שקוף.

ייחודיות - פתרון מאוד גמיש, כש-70% מהקבוצות אינן בהכרח באורייטזציה טכנולוגיות. יש גם כאלה(כוללOutbrain), אבל גם סתם קבוצות, כנסיות, וה- To Do list של אורי).

קבוצת BigBrain בתוך Monday - לקחת כל מחלקה בארגון ולהריץ אותה ב x10 - בעזרת נתונים. הכל אינטגרטיבי ונעשה באמצעות כלים פנימיים, הכל חשוף למשתמשים.

10 אנשים - $4M בחודש על שיווק.
למה פתרונות דומים ל Salesforce או Analytics בכלים פנימיים? כשרן הגיע זה היה הפוך, אבל הסיבוכיות של האיטגרציות והסנכרון עבור כלים חיצוניים הופכת את זה להגיוני.

אורי - לפעמים זה גם עולה יותר מהרשיון עצמו.

המוצר כולל המון חלקים, כולל למשל ניהול של כל גוף המכירות(ניהולהלידים ותחזיות המרה - Conversion).

המון רמזים לד.נ.א. של Wix(שמונדייהתחילה כפרויקט בתוכה, ואז כ-daPulse).

דוגמאות - מספרי Sign-Ups ונתוני המרה(Conversion),כולל גרף תחזית עבור 35 ימים קדימה על סמך נתונים יומיים.

מדהים לראות מה זה עושה לחברה כשמידע כזה הופך זמין - ההשפעה של מה שעשיתי היום על חודש קדימה, וכמות השאלות החדשות שזה מעורר.

שינוי תרבותי - אנחנו רוצים שכולם יהיו(וירצולהיות) חשופים לנתונים האלה, וזה חלק מהד.נ.א. של החברה. הכל שקוף לכולם, כולל בורדים מאוד בכירים(בורד - Board - לוח עם משימות, לא Board of Directors של מונדיי…).
אורי - דמוקרטיזציה של דאטה ב-Airbnb, מצביעים של שיפור ביצועים משמעותי.

ב-Outbrain הגישה מעט שונה - כיוון שגוף Engineering לא בונה דברים סתם אלא במטרה לייצר אימפקט על המצב העסקי, זה כולל KPI ו-Dashboards עבורם. אם זה ימתין לצוות BI שיבנה את זה - זה לא יקרה בזמן סביר. מהנדסים צריכים לדעת SQL, אז פתחנו להם גישה למידע והם יכולים(ומצופהמהם) לבנות Dashboard בעצמם.

בסופו של דבר, BigBrain זה רעיון, ואוסף של כלים לדמוקרטיזציה של מידע שפתוחים לכולם, וכולם רואים את ההשפעה של מה שהם עושים. צוות BigBrain מאפשר את זה ואחראי למהימנות המידע.

אורי - זה בעצם Data-driven efficiency team. על צוותים שאחראים ל-Single Source of Truth יש המון אחריות.

הקבלה ל-Outbrain - גופי ה-BI וה-BA הולכים ומשתלבים עם גופי ה-Operations לגוף אחד שמטרתו יעילות מבוססת נתונים(Data driven).

רן - מה לגבי מידע על תהליכי גיוס? המודל על פניו נראה מאוד דומה. עוד לא קורה ב-Monday אבל בהחלט כיוון אפשרי, לפחות על השלבים הראשונים של ה-Funnel.

אורי - ב-Outbrain נוסף מודול עבור מערכת ה-HR, עוד אין מספיק מידע; כן יודעים ש-71% ממקור של חבר-מביא-חבר; ב-Monday זה סביב ה-60%. מעניין לחשוב מה הם ה-30-40%אחרים(?Diversity)

אני רוצה להתחיל Data Democratization אצלי בחברה - מהם הצעדים הראשונים? רן מציע לדלג על שלב ה”גישה למפתחים ל-SQL”, ולנסות כלי כמו MetaBase - התקנה של 5 דקות וקוניגורציה של יומיים, והכל הופך נגיש לכולם, וזה ויראלי. מאפשר גם לבחון עד כמה שארגון בשל למהלך כזה. מוצר מאוד מומלץ.

בשלב הבא(כשהדרישהעוברת את מה ש MetaBaseיכול לתת מבחינת עומסים ויכולות ניתוח), צריך Dashboard מרכזי שמאפשר ניתוח על כלל המידע בארגון. אנחנו עדיין בתהליך(המלצהעל Looker).
אורי ממליץ על Redash - מאוד אינטואיטיבי, פותח את העיניים.“למההקמפיין שלי לא עובד?” עכשיו יש נתונים ב-95% מהמקרים. מקרה דומה ב-Monday.
שווה למדוד retention פנימי(כמהמהפניות אפשר לפתור עצמאית וכמה אכן לא חוזרות).
כלים פנימיים משנים חברה - צריך להקדיש לזה משאבים, אחרת הכל הולך על כלים חיצוניים והכלי הפנימי נותר ללא שינוי במשך שנים.
עוד חברות בכיוון הזה? המון סטארטאפים, כולם רוצים. דוגמא גדולה אחרת היא Netflix.

למה פותחים את המידע? בחברות גדולות השאלה עולה יותר, והשאלה המקבילה צריכה להיות“למהלא?” האם הסיכון(רגולטוריאו אחר) הוא אמיתי? זה חוזר למקום של האם אתה סומך על העובדים שלך? אתה סומך עליהם בדברים הרבה יותר גדולים, וכאן זה עוזר להם לעבוד. צריך להגדיר היטב מה צריך להיות סגור, וכל השאר צריך להיות פתוח.

אפשר להעביר נתונים תהליך של Anonymizationואז ניתן להשתמש יותר בקלות. מי אמר GDPR?

בנושא אחר - יוזמת Startup for Startup: יוזמה של Monday לתת טיפים על בעיות שאנחנו רואים שחוזרות מסביב, מזמינים חברות ונותנים פידבק.

השיחה בעברית, הבלוג באנגלית- שימושי גם לחברות לא ישראליות / עובדים לא דוברי עברית.

מילות סיכום - יש הרבה חשש משקיפות של מידע, ולפעמים מצאנו את עצמו צריכים להסביר למה לא. לדעתנו אי אפשר בלי זה.

“למה לא” עושה פלאים, כמו ילד.

וגם רגע אחרי - כנס רברסים 2018מתקרב: 8-9 באוקטובר, אוניברסיטת תל אביב. האג’נדה כבר ידועה. בואו. זה אפילו יוצא על יום שני(ושלישי).

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

↧

347 Bumpers 50

August 23, 2018, 12:26 pm

≫ Next: 348 ZipRecruiter with Yaniv Shalev

≪ Previous: 346 Transparency @ Monday.com

רן, אלון, ודותן בפרק מספר 50(!)של באמפרס.

רגע לפני - כנס רברסים 2018מתקרב: 8-9 באוקטובר, אוניברסיטת תל אביב. האג’נדה כבר ידועה. בואו.

פרויקט של המאזין דב אמיר - Awesome Design Patterns. מימוש של Design Patterns בשפות שונות ועוד כל מיני מסביב, כבר עם מעל 7600 כוכבים ב GitHub.
השפה Fo - כמו Go רק עם עוד כמה פיצ’רים פונקציונליים כמו Generics - מבני נתונים ופונקציות גנריים. ולא - זו לא פארודיה, זה ניסוי שאפילו נראה די עובד.
ג’ון רסיג(John Resig) - היוצר של jQuery(עכשיוב Khan Academy) תומך ב-GraphQL(כמחליףשל REST) ועתיד לפרסם ספר בנושא, שהפרקים הראשונים ממנו כבר זמינים. אפשר לקרוא גם בבלוג שלו.
תמיכה ב-SQS ב AWS Lmdba - עד עכשיו הייתה תמיכה באיוונטים מהמון מקורות, עכשיו גם SQS. אחד משדרי הפודקאסט(“א”)כבר משתמש ב-Production - עובד, אבל עדיין אין תמיכה ב- FIFO(פיצ’רחדש יחסית).

אם זה חשוב לכם אז אפשר לנסות את Kinesis, אם כי זה לא בדיוק אותו הדבר.

שמעתם על DevOps? או על הקונספט של Cloud Native? תהיתם מה ההבדל? הנה מצגת שמציגה את ההבדל(לדעתכותב המצגת)

בגדול DevOps עוסק ב- CALMSבעוד Cloud Native מתרכז סביב תת-קבוצה של זה - Automation-Lean-Measurements(מאפשרל- DevOps).

החדשות המרעישות של השבוע - פייתון! גוידו ואן-רוסום(Guido van Rossum), מייסד השפה, הודיע שהוא מפסיק(אייטםאחד פחות לפרק 1 באפריל הבא).

“I'll still be here, but I'm trying to let you all figure something out foryourselves. I'm tired, and need a very long break.”
אובדן אמון? מאבקי ירושה? משחקי הכס? שובו של פייתון 2? יהיה מעניין - פייתון 3 כיום בפריסה, פייתון 2 עם EOL ב-2019.

פרויקט Chromeless - להריץ Headless Chrome על AWS Lambda. אפשר להפעיל מכל מקום בלי להתעסק עם כלום - יש דמו(עלNetlify).
פונקציית Sort שעובדת רק כשתמסתכלים עליה. זה עדיין לא החלק של הבדיחות - השתמשו כאן בספרייה מאוד נחמדה שנקראת Tracking.js, שמאפשרת המון דברים שקשורים לזיהוי תמונות ועוד.
פוסט מעניין שמרכז את 11 ספריות ה-JavaScript שאתם צריכים להכיר ב-2018 - שווה לעבור.
דוח מצב - קצת סדר ב-React Native.בעיקר ענייני ביצועים(Performance).כל העניין מרגיש קצת תקוע, אולי מעט לחץ.
שפת תכנות בשם Crystal - ביצועים מאוד גבוהים, תחביר כיפי, שווה לנסות(הנהמישהו שמסביר למה זו השפה הבאה שלו). שווה לשים לב ל-Command Line Apps, מרגיש כמו שילוב בין Go לבין Ruby, הבנצ’מרקים נראים מאוד מעניינים.
יצא Node.js v10.5.0 - תמיכה ב-Multi-threading. עדיין ניסיוני(--experimental-worker flag)
סלאק היה למטה לכמה שעות טובות, ללא Post-Mortem עדיין(לאמתאים לכזה סדר גודל). משהו כמו 3-4 שעות, כולל כמה הודעות שווא על חזל”ש עד שחזר באמת. אנשים ניסו להיזכר איך לכתוב מייל.
רוצים להיזכר במבני נתונים? סוג של קורס 101 ב Data Structure Zoo - זמני חיפוש, מיון וכל מה שרציתם לדעת ו(נגיד ש)שכחתם.
פרויקט MicroPython - מצלמה עם בקר וכל מיני התקנים שמחוברים אליו. אפשר להריץ כל פעם פקודה ולראות מה קורה. מוזמנים לשחק - משעשע ומלמד.
קצת שינויים ב VS Code - יש תמיכה ב - Grid layout. אפשר לפצל את המסך בכמה אופנים.

וגם gitlens - מאפשר לראות בכל שורה הרבה פרטים על ההערות, מי ולמה - מומלץ בחום.

פריצה ל - eslint, פרויקט שמורץ ע”י הרבה ספריות.

אמ;לק -

גנבו סיסמא ממקור אחר, שהייתה זהה לסיסמא ל-GitHub, ללא Two-Factor-Authentication, ומכאן הדרך ל-Commit לא מזוהים קצרה. היה בחוץ משהו כמו 40 דקות עד שמישהו שם לב.
עוד פרטים כאן, NPM ביטלו(invalidated)את הסיסמאות שנגנבו.
רן בר זיק מסביר בבלוג שלו מה קרה(בעברית)
תיהיו בני אדם, השתמשו באימות-דו-שלבי(Two-Factor-Authentication)על כל מה שאפשר. צריכים תזכורת?

תוסף חדש ל-GraphQL, עבור VSCode, של Prisma.io.

קבוצה שנקראה בעבר GraphCool - עשו שינוי כיוון לכלים למפתחים תחת GraphQL.

פרויקט GraphQL stack - מאפשר לבחון את כל הרבדים של המשמעות של“לאמץGraphQL”, לתכנן מראש ולהבין את האפשרויות.
לועדה(TC39)שמתכננת את עתיד של Javascriptנוספה הצעה לשיפור בשם Slice notion - בדומה לפייתון ול-Go. כולל נקודת התחלה, גודל הקפיצה ועוד.

אפשר לעקוב אחרי תהליך האישור, ואם וכאשר - להשתמש ב-Reference ולהתחיל לשחק עם זה(איןקומפיילר שצריך לשנות).
אם יאושר, סביר שמתישהו יופיע גם ב-TypeScript.

תיאור של מעבר מ-Node.js ל-Go, בהתייחסות ל-GraphQL.

אמ;לק -

מצאו את עצמם עם קוד שאינו Type-safe, לא מצאו את הידיים ואת הרגליים.
ברגע שעברו, ראו שיפור משמעותי בביצועים וצריכת זכרון(x8)

באופן כללי - יש קושי בספריות של Go ל-GraphQL

אחד הכלים היצירתיים של הזמן האחרון - MDX: בעצם JSX עם Markdown.

כעקרון Markdown כבר תומך ב-HTML, אבל אף אחד לא חיבר את זה קודם.
ההבדל מ-React Markdown - אפשר להשתמש ברכיבים שלך מתוך הקוד(בתיעודלמשל)
בין הכותבים יש שני נציגים מ-ZEIT - נראה כמו צוות מאוד מרשים של מפתחים, ומוצר מאוד מעניין.

בהמשך ל- React 16.4 - יש כאן פוסט על פרופיילר(Unstableעדיין) נסתריחסית.

בשורה התחתונה - זה כנראה מיועד עבור React א-סינכרוני. כרגע לא דחוף, אבל שווה לדעת שזה קיים.

טרנד חדש - React Headless Components(בוניםחלק של React ועוצרים ב-UI).

דוגמא לספרייה של Paypal בשם DownShift.
מאפשר גמישות שימוש ברכיבים השונים בפונקציה בהתאם לצורך בפועל.
שווה לשים לב האם תוספת הסיבוכיות בפיתוח שווה את זה(עלפני ליצור פשוט שני מצבים).

ספרייה חדשה בשם Requests-htmlשל Kenneth Reitz - המשך ל-Requests(גםשלו).

אם השתמשתם קודם ב-BeautifulSoup - כנראה שגם הוא, אבל שווה לעקוב.

אייטם יותר מרעיש -פייסבוק הכריזו על עוד פרויקט שהם פותחים כקוד פתוח - XAR

המטרה היא ליצור יחידות הרצאה עצמאיות(self-contained exes)
מהיר יותר מ-PEX, ואפילו מ-Shiv(שללינקדאין).
שטח הבעיה - למשל אם רוצים לפרוס ללא שימוש ב-Docker(לדוגמא - במקרה ויש בעיה עם גודל של Image שלא לצורך).

פרויקט 1-liners - מעבר ליכולת לעשות משהו מגניב בשורה אחת, זה גורם לחשוב. מפורק יפה(כוללקוד בצורה נוחה), שימושי לכל מי שמתעניין בתכנות פונקציונאלי(functional programming).
תחת פרויקט Compositor יש כמה תתי-פרויקטים, ואחד מהם הוא kit - כלי שמאפשר ליצור ויזואליזציה של React(ולהציגאת מה שבנית) -

אם נכנסים לעומק, רואים שמאחורי זה יש כלי בשם styleguidist - כמו Storybook, מוכוון UI.
בשני המקרים רוצים לתאר מעיין ספרייה סטנדרטית(“רשמית”)של רכיבי ה-UI, על פניו Storybookמוכוון מפתחים ו-styleguidistמוכוון אנשי Product ומעצבים.

ספרייה חדשה בשם React native reanimated - יש כבר כמה כאלה, זו יותר אמביציוזית, ללא תחרות מבחינת ביצועים. מבחינת API די דומה לקיים.

מסוג הדברים שנוטים לעבוד טוב ב-iOS ופחות באנדרואיד, שווה לשים לב.

וידאו - בניית Containers from scratch. שיחה חיה, ובנייה תוך כדי.
חזרה לבייסיק - בסיס הפילוסופיה של Unix. שווה ומאפשר הבנה יותר עמוקה של מה שנבנה על זה.
אתר שנקרא[docopt] - חיבור בין מסכי העזרה ל-CLI. שנוי במחלוקת אבל מאוד אפקטיבי.
פרויקט בית חכם - home-assistant.io. הכל על בסיס קוד פתוח. בישראל אין(זמין)את כל מה שיש בארה”ב, ועדיין הפעם זה נראה כמו ניסיון טוב - כתוב בפייתון, יש אפליציית מובייל, שווה לנסות אם יש לכם את הזמן. יש מצב שיהפוך למסחרי באיזשהו שלב.
בלומברג(פיננסים,מדיה, תוכנה, הכל) פותחים בחינם את קורסי ההכשרה שלהם ל-Machine Learning. המון חומר, נראה מדהים.
פרויקט GitHub בשם machine-learning-template - מגיע מתוך ספר(מומלץ)בשם Hands-On Machine Learning with Scikit-Learn and TensorFlow. מאוד פרגמטי, לא רק תיאוריה ומתימטיקה.

בדיחות למתכנתים -

בלוג נחמד בשם AIweirdness.comשל Janelle Shane - אלגוריתמים של AI ושל Machine Learning טועים בצורה מצחיקה(“ממהמורכב הפוני? - 90% מתכת”, וכאלה). או נכשלים בכוונה במבחן טיורינג, תלוי איך מסתכלים על זה.
בלוג - The Saddest Moment, על סבילות לנפילות(fault tolerance) של אלגוריתמים מבוזרים. כתוב באופן הומוריסטי ומתאר דוגמאות נאיביות שלא מחזיקות במבחן המציאות.
ועוד שטויות של AI - תמונה של שני אנשים עם חליפות סקי על רקע עצים. מה יכול להשתבש?יצא מאוד יפה. יש עוד כאלה בבלוג שמוזכר באייטם הקודם.

וגם לסיום - כנס רברסים 2018מתקרב: 8-9 באוקטובר, אוניברסיטת תל אביב. האג’נדה כבר ידועה. בואו.

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר שלו על התמלול

↧

348 ZipRecruiter with Yaniv Shalev

August 26, 2018, 11:35 am

≫ Next: 349 WhiteSource

≪ Previous: 347 Bumpers 50

פרק 348 מארחים את יניב שליו ונדבר על חברת ZipRecruiterבה יניב עובד

1:06 יניב מציג את עצמו
2:18 יניב מספר על ZipRecruiter
4:08 מדברים על פתיחת הסניף של ZipRecruiterבישראל
5:40 רן שואל על סוג הדאטה, ואיך ZipRecruiterעושים התאמות אינטיליגנטיות, יניב מספר על פיתוח המודלים שלהם וטיוב המידע
8:25 אורי מדבר על סיגנלים בשלבי הראיונות עבודה ומדגיש שאת הסיגנל החיובי מקבלים בשלב מאוד מאוחר, יניב מספר איך זה משפיע על המודל שלהם ושהם מתרכזים כרגע בהתאמה הראשונית
12:15 רן שואל האם זה מוצר שניתן להשתמש בו כרגע בישראל, יניב מסביר שמבחינה עסקית הם מתרכזים כרגע באמריקה הצפונית
12:38 אורי שואל האם ZipRecruiterמתבססים על מידע טקסטואלי בלבד או שיש עוד מקורות מידע, יניב עונה ומסביר איך הם מתמודדים עם ל cold start, בעיה מוכרת ב AI
14:45 יניב מספר על תרבות הפיתוח ושיטת ניהול הפרויקטים היחודית ב ZipRecruiter
17:42 יניב מספר על מערכת A\B Test פנימית שהם בנו
20:22 דוגמא לאיך ZipRecruiterמכניסים שירותים חדשים בצורה אינקרמנטלית
22:44 מדברים על ההשפעה של שיטת ניהול הפרוייקטים על המבנה הניהולי של ZipRecruiter
25:12 רן שואל האם הגישה עובדת גם בצוותי תשתיות
28:30 איך מעבירים ארגון לעבוד עם כלים חדשים וסביבה סקיילבילית
32:25 היה חשש ב ZipRecruiterשבגלל שהצוותים אוטונומים, במעבר יווצרו פערי מידע בין הצוותים והתוצאה הסופית תהיה פחות טובה מהמצב הקיים
34:00 יניב מספר על הגישה בה נקטו להפרדת האפליקציה מהתשתית עליה היא רצה
37:00 רן שואל האם הצוותים ביצעו את המעבר בעצמם
38:35 מדברים על מבנה הצוותים ב ZipRecruiterוהיתרונות בצוותים בין יבשתיים

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

349 WhiteSource

September 1, 2018, 4:19 am

≫ Next: 350 Bumpers 51 for kids

≪ Previous: 348 ZipRecruiter with Yaniv Shalev

פודקאסט מספר 349 - אורי ורן מארחיםבשלהי החופש הגדולאת אסף סביץ’לשיחה על WhiteSourceוניהול השימוש בקוד פתוח.

רגע לפני - כנס רברסים 2018מעבר לפינה(בימיעבודה בארץ זה קרוב לחד-ספרתי) - 8-9 באוקטובר, אוניברסיטת תל אביב. בואו.
אסף - בן 28, עובד ב WhiteSourceכשנתיים וחצי(לפניכן שני סטארטאפים, אלביט).
ב - WhiteSourceמתעסקים בכמה תחומים -

ראשית - One Stop Shop לעינייני קוד פתוח(Open Source) - על מנת לפשט עבור הלקוחות את השימוש בקוד פתוח.

70-80% מהקוד שחברות מוציאות היום מבוסס על קוד פתוח, וכל תהליכי הבדיקות והאוטומציה מתבצעים על ה 20-30% הנותרים. זה עלול להיות בעייתי.

רן - המודלים המוכרים הם לדוגמא של RedHat, שמספקים שירותי תמיכה וערך מוסף לבסיס הקוד הפתוח(מודוליםנוספים למשל); לרוב מדובר במוצר אחד ספציפי(אוכמה), עבור ארגונים מאוד גדולים.
ב WhiteSourceאולי לא יפתרו באגים ספציפיים בקוד הפתוח, אבל כן יכולים להתריע על סיכונים, על אי-הלימה עם מדיניות החברה, להנגיש מידע רלוונטי על הסכמי השימוש וגם על באגים ידועים בקוד הרלוונטי.

הקהילה משתפת המון מידע מהמון מקורות, ויש צורך לעשות סדר ולהתאים את מה שרלוונטי - לאפשר מיקוד ביתרונות השימוש בקוד פתוח, ולהתעסק פחות בחסרונות.

זו יכולה להיות התרעה על פרצות אבטחה ידועות, אבל לפעמים גם פשוט לדעת שיצאה גרסה חדשה שיכולה להיות רלוונטית זה לא משהו שפשוט לשים לב אליו לב עבור הרבה מוצרים.

מאיפה הכל התחיל?

שלושת היזמים של החברה התחילו בחברה שנקראת Eurekify(שנרכשהע”י CA), וכחלק מתהליכי הרכישה ובדיקת הנאותות(Due Diligence) היו צריכים להסביר מאיפה הגיע כל דבר, כולל הקוד הפתוח.
הם גילו שזה לא כל כך פשוט, ושאין פתרון קיים מספיק טוב(Black Duckהייתה קיימת, לא הרבה מעבר), והחליטו לפתוח חברה שתיתן מענה. שנה לאחר מכן הוקמה WhiteSource.
החברה גדלה, אסף הגיע לפני שנתיים כעובד ה-13,היום סדר גודל של כ-100 עובדים.
מתחרים - השימוש בקוד פתוח הולך וצובר תאוצה, עם בערך 7 חברות עיקריות בשוק - WhiteSourceו - Black Duckמובילות.

רן - כשהחברה קטנה, לא מאוד מסובך(יחסית)להבין באילו ספריות קוד פתוח נעשה שימוש. העניין מסתבך כשהחברה גדלה והמעקב הופך למורכב יותר - גם חלקים שנמצאים בקוד אבל לא משתמשים בהם בפועל, וגם חלקים שלא בההכרח שייכים לקוד הראשי(אנליסטים,תמיכה וכו’).
החשיפה לקוד פתוח(והסיכוןהנלווה אליה) הולכים וגדלים, ולרוב שמים לב לזה בכמהמקרים - הצעת רכישה, השקעה(וה - Due Diligence הנלווה אליה), או התקפהשמנצלת חולשה של אחר מרכיבי הקוד הפתוח.
בהרבה מקרים, חבילה אחת מביאה איתה הרבה דברים“בבטן” - לדוגמא: NPM(שהזכרנוב Bumpers האחרון), כשאפשר להתקין חבילה אחת ולקבל איתה עוד מאות חבילות נלוות.

עוד מאות אלפי שורות קוד שהחברה לא באמת צריכה(לעיתיםלא מודעת לקיומן) והגיעו“בחינם” - אבל מביאות איתן עוד“משקל”מסויים שצריך לדעת להעריך ולתכנן(ולהיערךמבחינת אבטחת מידע).

אז איך המוצר עובד?

ה - Use Case המרכזי הוא של כניסה בשלב ה - Build(אםכי אפשר בכל שלב): ל - WhiteSource יש עשרות Plug-Ins לכל שפה ו-Build Servers עיקריים. מוסיפים עוד שלב.
האם ה-Build של היום עומד בהגדרת החברה? האם נוסף סיכון כלשהו? זו עוד סיבה אפשרית לנפילה(WhiteSource Fail).

אם מצאנו נפילה ב-Build זה טוב(לאהגיע ללקוח), אבל עדיף למצוא קודם ולחסוך את העבודה שהושקעה-->כל מפתחת יכולה לסרוק ברגע שהיא הכניסה את הספריה, עוד טרם השימוש.

יש לחברה תוסף לכרום(Chrome)שמנגיש מידע על כל ספריה באופן כללי, כבר בשלב החיפוש והסריקה.

הבדיקה מתבצעת גם ברמת הרישיון עצמו(MITאולי בסדר, GPL כבר עשוי להיות בעייתי להרבה לקוחות, וכו’)
עניין מדיניות הרשיון היא לא רק ברמה החוקית - יש אספקט של חשיפה(Vulnerability),התראות על גרסאות חדשות(לדוגמא:לא חייב להכשיל את ה-Build, אבל אני כן רוצה לדעת שיש גרסא חדשה) ועוד.

אז זה מה שהמוצר עושה - איך המוצר עובד?

יש צוות שעוסק ב - Research, ובודק מספר מאגרים ומעדכן כל הזמן. מעבר למידע עצמו, יש גם מנגנון של מתן פתרונות אפשריים למקרה הספציפי.
כיום בשלבי פיתוח מתקדמים של מוצר בשם Effective Usage Analysis(שםזמני) - מוצר שסורק את הקוד ברמת המפתח, ויודע להתריע במקרה שיש קשר ישר(עקבה, trace) לרגישות(Vulnerability)הספציפית.

יכול להיות שהקוד כולל ספרייה בעייתית, אבל בקוד עצמו אין קריאה בפועל לספרייה.

בשפות סטטיות די מובן איך זה עובד. בשפות דינאמיות(Ruby, JavaScript, Python) זה נראה כמו אתגר יותר משמעותי.

עבור Java כבר יש פתרון, ב - JavaScript כבר קרובים מאוד. כמות השפות הנתמכות הולכת וגדלה, וזה אכן אתגר.
מעבר לכך, העובדה שניתן להצביע על הקישור ישיר למקום ספציפי בקוד שעלול להיות בעייתי מאפשרת להפעיל שיקול דעת(בהינתןשיודעים איפה המקור).
רעיון לפיצ’ר נוסף - Run-time Analysis, שבודק האם יש קריאה בפועל(בזמןריצה). סביר שתיהיה לזה עלות(ביצועים).

מי הם הלקוחות הטיפוסיים?

לרוב חברות בינוניות-גדולות(לחברותקטנות כנראה יש עדיין צרות גדולות יותר)
חברה שיש לה הרבה מוצרים, הרבה מפתחים, הרבה פרוייקטים - והניהול הופך מאוד מורכב
קשר מול CTO או CISO שאחראים על הטמעת המוצר, ואז הוא נגיש לכל אחד בחברה.

האם יש יחסים כלשהם עם“יצרני”הקוד הפתוח?

כיום פחות, אולי בעתיד.
חשוב לשים לב שזה שקוד עולה ל-GitHub לא הופך אותו ל-Open Source - צריך שיהיה

זמין לכולם(Publicly available)
חינם
תנאי שימוש מוגדרים

ברגע שהוגדרו התנאים, כולם חייבים לעמוד בהם - ראינו מקרים שזה לא קורה.

אמנם נדיר שמגיעים לבית משפט על תנאי שימוש, אבל כיוון שהקהילה מאוד חזקה נוצרת אכיפה בפועל.

דוגמא מ 2016 - Wix השתמשה בקוד פתוח של WordPress, שאמנם פתוח אבל מגדיר שגם המשתמש צריך להיות כזה. הסתיים בהתנצלות(לאחרמלחמת טוויטר קלה).

נראה ששני הצדדים קצת אשמים, אבל בכל מקרה - נראה שעדיף לא להיכנס לכזו פינה מלכתחילה.
עוד בנושא - מפתח-לשעבר ב-Wix שמצא את עצמו מואשם בגניבת קוד . . .

נניח שאני היום מפתח בחברה קטנה, שעדיין לא הגיעה לשלב שמצדיק השקעה במוצר כמו של WhiteSource - מה כן כדאי לי כבר לעשות?

אם אני כותב קוד ומשתמש בקוד פתוח(שכנראהטוב ממה שאני כותב בעצמי, ולו מכיוון שעבר הרבה יותר ידיים ועיניים) - חשוב לעקוב אחרי מה שאני משתמש בו, אילו ספריות באות יחד עם הספרייה הספציפית, מה הן התלויות, וכו’.

יש כלים חינמיים(דוגמא - NPM) שמאפשרים לייצר עץ-תלויות(Dependencies Tree) כולל רישיונות. זה אמנם לא מחקר מעמיק, אבל עדיין מאפשר את ההבנה הראשונית, ולפעמים(כמועם NPM) כולל גם חשיפות(vulnerabilities)ידועות.

חזרה ל-WhiteSource

החברה מונה כ - 100 עובדים
הוקמה וגדלה בישראל, כיום ~70% בישראל ויש עוד סניפים, בעיקר במזרח ארה”ב - בוסטון וניו-יורק - אבל גם בחוף המערבי, באנגליה ועוד.
הפיתוח נעשה ברובו בישראל(כיוםמשרדים במגדלי בסר בגבול רמת-גן / בני ברק, מעבר קרוב למגדל השחר בתל אביב / גבעתיים).
האתגרים רק הולכים וגדלים.

מגייסים עובדים, כמובן - הנה, כאן.

החברה היום אחרי סבב השקעות שני(גיוסאחרון לפני כשנה)

10~ מיליון דולר, 80% מקרן השקעות, 20% ממיקרוסופט

יש הרבה שיתופי פעולה עם מיקרוסופט, שמשקיעה הרבה בשנים האחרונות בקוד פתוח(ורכשהאת GitHub)
הרבה חלקים מהמוצר הם קוד פתוח בפני עצמם.

עוד דבר לפני סיום - כיום ~7% מהספריות בעולם מוגדרות כרגישות(vulnerable)

כשמסתכלים רק על ה-100 המובילות, זה כבר עולה ל ~32%.
זה לא בהכרח מצביע על ספריות יותר פגיעות, אלא(גם)על זה שמחפשים בהן יותר.
צריך להיזהר :-)

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

↧

350 Bumpers 51 for kids

September 16, 2018, 5:40 am

≫ Next: Thank you our sponsors for Reversim Summit 2018

≪ Previous: 349 WhiteSource

באמפרס מספר 51 עם רן אלון ודותן, הפעם הפרק מוקדש לילדים

סטארטאפ ישראלי המלמד ילדים לתכנת Code Monkey
סט מחברות Jupyterכדרך לימוד אינטארקטיבית עבור ילדים בגיל מבוגר יותר 12+
אפל העשירו את swift playgroundניתן להוריד אפליקציה ולכתוב קוד עבור מספר אמצעי חומרה
מנוע משחק רטרו בשם pico8המאפשר לעצב ולבנות משחקים, והגרסא החינמית https://tic.computer/
דותן מציג מספר פרוייקטים הקשורים לסאונד:

מקלדת שליטהלחיבור בין סאונד ומחשב, ניתן לחבר לתוכנת סאונד ולייצר חוויות
בניית קונטרולר סאונד עם Raspberry PI
בניית מידי קונטרולרעם מדפסת תלת מימד
דיבור לטקסטעם nodeJS בשם Sonus
פרוייקט בשם toneJSמעין סינטיסייזר ב JavaScript
פרוייקט בשם sonic-piהמאפשר להפוך Raspberry PI לתחנת ייצור מוסיקה

ערכה לבנייתמעגלים חשמליים מורכבת בקלות כמו לגו לגילאים צעירים
קיט בניית רובוטעם Arduino לאחר הבנייה ניתן לתכנת את הרובוט לכל מיני משימות
אלון מציג מספר משחקי אייפד המלמדים ילדים לתכנת

משחק קל בשם Robotizenמשחק מסוג הזז את הצב לגילאי 4-5
משחק הזז את הצב יותר מתקדם בשם Move The Turtle לגילאי 8+
משחק למתכנתים בשם Cargo-Bot

משחק מחשבבו המטרה להזיז דמות ממקום למקום ע״י הזזת בלוקים או ע״י Java Script
בכנס רברסים הקרוב תהיה הרצאהשל אורי נתיב יחד עם הבת שלו בה הם יציגו פרוייקטים שהם עשו יחד בעזרת Arduino

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

Thank you our sponsors for Reversim Summit 2018

October 14, 2018, 6:21 am

≫ Next: 351 Bumpers 52

≪ Previous: 350 Bumpers 51 for kids

כנס רברסים סאמיט (Reversim Summit) התקיים בשבוע שעבר והיה נפלא.

בכנס נכחו כ 1600 אורחים מיותר מ 400 מעסיקים שהאזינו וצפו בכ 60 הרצאות.

כנס זה לא היה מתאפשר ללא עזרתם של הספונסורים הנהדרים שלנו אז רצינו לקחת את ההזדמנות לומר לכולכם תודה!

גילי, רן, אורי והצוות

Microsoft
Dropbox
eBay
LivePerson
Wix
My Heritage
Kenshoo
Outbrain
AppsFlyer
Cloudinary
Iguazio
Singular
Gett
Soluto
WeWork
Sears Israel
WIBBITZ
Applied Materials
JoyTunes
CyberArk
Here Mobility
Fiverr
Bubblesort
monday.com
Moovit
ForeScout

↧

351 Bumpers 52

October 23, 2018, 1:50 am

≫ Next: 352 Momento with Genady Okrain

≪ Previous: Thank you our sponsors for Reversim Summit 2018

רן, אלון, ודותן בפרק מספר 52 של באמפרס(351למניין רברס עם פלטפורמה).

כנס רברסים 2018עבר בהצלחה גדולה(1600משתתפים, ~1,100 בכל אחד מהימים!) המצגות(וגםהתמונות) כבר פורסמו, כל ההקלטות יועלו בקרוב(אודיולפודקאסט ווידאו ל-YouTube).

רן -

עורך Vim Editorעבר פורט ל - WebAssembly, מאפשר להרץ Vim בתוך הדפדפן עם WebAssembly.
זוכרים שפעם הייתה שפה בשם QBasic? אז עכשיו אפשר להריץ Serverless QBasic! צעצוע נחמד שמאפשר לכתוב פונקציות ב QBasic ולהריץ על AWS.
ספריה חדשה מבית היוצר של Go בשם Go Cloud - אבסטרקציה להרבה מה-API של ספקי תשתיות הענן השונים. זו ספרייה משותפת שהיא“Go Native”, שמקשרת בין העננים השונים עם ממשק שנראה אותו הדבר. לא קונספט חדש(ונסיונותקודמים לא ממש הצליחו באופן יוצא דופן), אבל שווה לבדוק.
קצת על kubernetes- פלטפורמת KNativeיוצרת ממשק שהוא מעיין PaaS(אוליקצת כמו Heroku) מעל K8s: לוקח את קוד המקור ועושה את מה שצריך(Build, Events, Serving). נראה מעניין.
חדשות מחיפה! Istioהוא מעיין Service Meshשמפותח ע”י כמה חברות(גוגל, IBM ועוד), ועכשיו יוצאת גרסא 1.0 שלו(ספוילר!מתוכנן פרק עם אחד מהמשתמשים של Istioבקרוב), כשחלק ניכר ממנו פותח במעבדות IBM בחיפה - Kudus :-)
עוד ביקור ב ZEIT, שהפעם הוציאו פלטפורמה שנקראת Serverless Docker Beta, שמאפשרת להריץ Dockers כ-Serverless(לפחותרעיונית).

לכל Container לוקח זמן לעלות(כמהשניות ולפעמים גם יותר), כשמצד שני Serverless אמור להבטיח Deployment on Demand ברגע שצריך.
הרעיון כאן הוא שלא צריך להכיר AWS Lambdaאו Google Cloud Functions - מובטח שה-Container יעלה תוך מקסימום שנייה אחת, ואז ניתן לגדול(Scale)“מיידית”(תוךזמן מאוד קצר).
נשארים עם Dockers כשכבת אבסטרקציה, ומתמודדים עם בעיית ה-Setup time.

בלרינה(Ballerina)- שפה שהיא“Cloud Native Programming Language”

מאפשרת לתכנת API ו-microServices בענן במבנים שהם Native לשפה.

לשפות הגנריות(Go, Java, …) אין נגיעה ספציפית ל-Deployment או ל-Build למשל - וכאן יש. ברמת העיקרון זה אמור להקל מאוד על הפיתוח.

לפי ה-Commits(שלהםטובים), מדובר בצוות פיתוח שעובד ב-WSO2(שעושה Service PaaS), כך שיכול להיות שההקשר כאן הוא של שירותים ל-Enterprise וכו’.

עוד חברה עם מקורות(יזם)ישראליים - Elastic יצאו להנפקה ראשונית(IPO)בשבועות האחרונים, כרגע זה נראה כמו הצלחה יפה. כל הכבוד!
לפני כמה שנים התפרסם לוח עם Latency Numbers שכל מפתח צריך לדעת(כמהזמן לוקח לגשת ל-RAM, לדיסק, וכו’); כאן ישפרויקט שמראה פרספקטיבה לאורך זמן של המספרים האלה ,ואת השינויים לאורך השנים(מאז 1990).

סביר להניח ש-Best Practices שהיו נכונים עד לפני כמה שנים כבר לא רלוונטיים(שלאלומר הפוכים) היום לתעדוף נכון של ארכיטקטורה. נכון להרבה דברים.

קצת מתכתב עם האייטם על QBsic - פרוייקט בשם WWWBasicמהווה מימוש של שפת Basic בתוך הדפדפן(!).

יצא כפרויקט רשמי תחת ה-GitHub של Google.
מראה איך אפשר לתכנת יחסית בקלות, והכל רץ בתוך הדפדפן, גם ככלי לימודי וגם כנוסטלגיה.
ספוילר! - אין מספרי שורות(ישמצב שיש אפשרות להוסיף אם אתם ממש חייבים“GoTo 20” וכו’).
השלב הבא - להפוך את זה ל-Serverless עם ה-QBasic מהאייטם מתחילת הפרק. שם העתיד. אולי.

חדשות טריות יחסית - Microsoft מצטרפת ל- Open Invention Network, שבו חברים(ביןהשאר) Google, IBM וה-Linux Foundation, ובכך חושפת מעל ל-60K פטנטים שעד עכשיו היו פרטיים שלה.

אפשר להיות סקפטיים, אבל זה נראה כמו צעד משמעותי ומחוייבות לכיוון קוד פתוח(מעברלמשמעות הכספית הרבה).

אלון -

ממשיכים עם Microsoft, והפעם - MS DOS כ-Open Source. באמת.

כל הקוד המקורי(גרסאות 1.25 ו-2.0), כולל ביטול בפועל של פטנטים שכלולים בו(והפכועכשיו לקוד פתוח).
מי שממש רוצה DOS יכול עכשיו להתקין בלי חשש. ולהריץ עליו Basic.
יוצא תחת רשיון MIT.

אתר שכתבה אופיר הרפז מלמד הנדסה-לאחור(Reverse Engineering) למתחילים - נראה ממש נחמד.
חיכינו המון זמן, ועכשיו Google Cloud Auto MLיצא מאלפא ועבר לגרסת בטא

אפשרי לתמונות ומסמכים ועוד(Vision, NLP, Translation).

עוד מ-Google Cloud עכשיו יש תמיכה ב- Headless Chrome עבור Cloud Functions, ואפשר להריץ מה- App Engine.

יש אפשרות דומה ב-AWS.

בלוג מעניין על בניית האתר כך שיתפש(יחווה)כמהיר יותר ע”י המשתמש(User Perception).

כיוון ה- Loaders, ה- Spinners והאנימציה, שבא לידי ביטוי בנתוני Conversion.
ספינרים מהירים גורמים למשתמש להרגיש שעבודה מתבצעת, וכו’.

אתר נחמד שממפה את ה-Dark Web(לאבטוח שכדאי לנסות עם הדפדפן הרגיל שלכם).

ל-Dark Web עצמה אין גישה ישירה עם דפדפן רגיל(חיפוש Google לא יעבוד), והרבה מהתוכן לא ממש חוקי, אבל מיפוי הקשרים והנתונים מעניין מחקרית.

מנוע משחקים רטרו לPython שנקרא pyxel- משעשע, מאפשר ליצור משחקי רטרו.
ספרייה נחמדה לNode.js בשם Dumper - צבעוני, נחמד ועם הרבה משתנים.
קצת בלגאן בעולם ה-Redis - שינוי של הרשיון(כברלא GPL) שעורר הרבה רעש(זהלא Open Core)

מאחורי זה עומד ככל הנראה ניסיון ליצור יתרון תחרותי ולהקשות על המתחרים. אם אתם סתם משתמשים אז כנראה שעסקים כרגיל.

עדכונים ל-Java SE 8כבר לא בחינם לשימוש מסחרי(החלמינואר 2019)

החל מ-Java 11 המנגנון עבר לרישיון כפול(Dual licencing), ותמיכה לאחור זמינה רק בגרסת ה-Enterprise.
סביר שייצור אפשרויות תמיכה אלטרטיביות ל-Java(דוגמתAzul). מזל שאפשר לכתוב שוב ב-Basic.

הכרזה של TypeScript ו-Babel 7 - אפשר עכשיו לקמפל ל-TypeScriptעם Babel

לשינויים עדיין לוקח לא מעט זמן להופיע ב-TypeScript, אבל הנעילה(Lock-in)לשפה ספציפית פחתה.

אוסף של כלים נחמדים שמשפרים את ה-CLI בשם CLI improved - החלפה של Cat ב-Bat, הוספה של Pretty ping וכו’

עושים Alias ואפשר להמשיך לעבוד כרגיל. נחמד, נסו.

רפוזיטורי ב-GitHub בשם Sixty Days RL Challenge - אמור ללמד Deep Learning תוך 60 ימים

מחולק לקורס מסודר לפי שבועות וכו’, ובסופו של דבר יוצאים מומחים, לפחות בתיאוריה. 60 ימים זה לא מעט.

מי שמכיר את Beacon API - מאפשר בקשות מהדפדפן לשרת בלי מענה(Response)

יעיל ללוגים, אנליטיקס וכו’ - הבקשה תבוצע אעפ”י שמשתמש כבר עזב

בהמשך לפרק של 1 באפריל(WTF D4???) - אז יצא באמת d3-dag

יש כיווניות ב-d3, ומעט שונה ממה שתואר בפרק המקורי, לא ברור מה ההשלכות לגבי שאר האייטמים בפרק 1 באפריל(Werner Vogelsעולה לארץ?)

עוד לגבי Serverless - השוואות בין AWS לבין Google ו-Azure בהקשר של Cold Start

מאוד מעמיק - השפעות של זכרון וכו’, שווה לתת מבט. בגדול נראה ש-AWS עדיין שולטים בשוק.

דותן -

ויזואליזציה של TLS(או SSL אם אתם מעדיפים) - גם כל עניני ההלוך-חזור עם הסברים, כל בייט“שעוברבצינור”. מעניין.
פרויקט Warp - לוקח כל תוצר והופך אותו ל-Self Executing. מתחיל עם Net. ואמור להמשיך ל-Java

הקוד עצמו כתוב ב-Rust, קובץ אחד של ~200 שורות עם יישום מאוד פשוט שמחלץ מה שצריך מתוך עצמו, מזכיר קצת את ימי ה-BBS ב-C.

תחת המטריה של Hacktoberfest(חודשהאקאתון שממומן ע”י Digital Ocean), הפרויקט הזה מציג Hello World בכל שפה אפשרית.
ליצור מערכת הפעלה מאפס - המדריך. באמת.

יש הרבה, זה אחד הטובים. אפשר לקרוא בלי ידע מוקדם, על השלבים הראשונים אפשר לרוץ בשעה בערך.

פרויקט 30 שניות של קוד - כל אייטם ניתן להבנה ב-30 שניות

מאוד נחמד, ובמבט ראשון נראה שאכן עומד בהבטחה(גםאם מאתגר). מעיין TL;DR לקוד
נראה כחלק מאיזשהו טרנד(ישגם כזה ל-CSSוכו’).

פרויקט SuperSet, תחת האינקובטור של Apache - כלי ויזואליזציה/BI בקוד פתוח

מהיוצרים של AirFlow - שמרגיש קצת לא בפוקוס לאחרונה, וכנראה שעבר להתעסק יותר ב-SuperSet
רשימת משתמשים מרשימה(Lyft, Airbnb ועוד), Backend ו-Frontend יפים

עובדים עם תאריכים? You don’t need Momentjs - גישה מאודמוצלחת, כש Date Functions זה רק ~78k(לעומתסדר גודל של 300k של Momentsjs).
עוד אירוע - SourceGraph פותחים את הקוד שלהם. Sourcegraphהוא מעניין מנוע חיפוש מאוד חזק לקוד, ועכשיו זו מעיין חברה מבוססת קוד פתוח. הקוד עצמו מאוד מעניין(כתובב-Go).
פרויקט Fider - מעיין Custom Hacker News. יש גרסת SaaS וגרסת On-Premises

סגנון מאוד נקי, נראה כמו משהו שימושי לכל חברה עבור פידבק למשל.

רשימת Awesome List עבור Static Analysis Tool - כלים בכל השפות(של Go הכי ארוכה…)
פרויקט של תרגילים ב-Rust - למי שרוצה ללמוד זה כלי מאוד שימושי.

החלק האמנותי -

גיט שאעבס(git-shabis) - וריאציה של Git מומרת ליידיש. $ git givald כלול אם צריך עזרה. הכל עובד(אםכי אולי לא בשבת).
ראיתם שמחפשים Rockstar Developer ולא ידעתם איך? פשוט צריך ללמוד שפת Rockstar ואז לגמרי לגיטימי להוסיף Rockstar Developer לקו”ח. בערך.
זכרתם לעשות Reboot לדרימליינר לפני הטיסה? כי אם עברו 248 יום זה עלול לגרום למטוס להתרסק . . . יש מצב שמודל השכבות הקלאסי לא יושם במלואו.
זוכרים את פרשת הדיזל-גייט של פולקסווגן? את עכשיו יש Volkswagen Plug-inשמזהה ריצה של בדיקות CI ומוודא שהן עוברות.
חידה: מהו סטטוס קוד 418? מחזיר I’m a teapot.סתם שתדעו.
דפדפן היפר-טקסט טרמינל בשם Browsh - אפשר לראות סרטונים ב-YouTube דרך הטרמינל. למקרה הצורך - לא רזולוציה מדהימה, אבל בהחלט עובד.
קומיקס(!)שמראה איך HTTPS עובד. כולל חתולים, כלב, וכל מה שצריך.

יש משהו בסגנון דומה ב-Mozilla

אזהרה - יש מצב שזה אייטם רציני: Callbaxx לוקח כל API רגיל של JavaScript והופך אותו למבוסס Call-back. שזה די גרוע, אבל מצחיק.

וגם לסיום - כנס רברסים 2018עבר בהצלחה גדולה המצגות(וגםהתמונות) כבר פורסמו, כל ההקלטות יועלו בקרב(אודיולפודקאסט ווידאו ל-YouTube).

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

↧

352 Momento with Genady Okrain

October 31, 2018, 7:57 am

≫ Next: 353 Istio

≪ Previous: 351 Bumpers 52

פודקאסט מספר 352, רן ואורי מארחים את גנאדי אוקראין שעובד על Momento

1:40 גנאדי מציג את עצמו, איך התחיל לפתח אפליקציות, ופרויקטים מעניינים שעבד עליהם בעבר

4:30 קצת על פיתוח אפליקציה ביוזמה של אסף הראל

6:00 עבד בסן פרנסיסקו בחברה בשם Real Good ותוך כדי עבד על מספר פרוייקטי צד

7:35 התחיל לעבוד על מומנטו ביולי 2016, אחרי כנס של אפל ולפני היציאה של iOS 10

11:04 למה חשוב לצאת עם פיצ׳רים מתאימים ביום בו יוצאת מערכת הפעלה

13:20 גנאדי השתמש בפרויקט שעשה בעבר ולא הצליח, חילץ ממנו פיצ׳ר אחד ושחרר אפליקציה חדשה

14:35 גנאדי מספר על המודל הכלכלי של האפליקציה והדרך שהביאה אותו למודל הזה

19:50 מספר על התהליך שגרם לו להבין שהאפליקציה יכולה להיות מעין כלי לעריכת סרטים ועל הפיצ׳רים בתשלום שהוסיף בעקבות זאת

23:05 למומנטו יש 2 מליון הורדות, נוצרו בעזרתה 3 מליון גיפים ובשנה הבאה המטרה היא להגיע ל 100K משתמשים משלמים

24:15 גנאדי מספר איך הוא מתמודד בתור מפתח יחיד מול חברות עם עשרות ומאות עובדים

28:20 לדעת גנאדי המודל של subscription ב app store פותח את הדלת למפתחים להכנסות ארוכות טווח מאפליקציות

31:40 גנאדי מתאר את המהלכים השיווקיים שהוא עושה

36:00 מדברים על האתגרים ההנדסיים בפיתוח האפליקציה

37:25 לאחרונה נוסף אפקטים המתבססים על מודל של machine learning המזהה רקע מאחורי בן אדם

38:45 מודלים של machine learning רצים היום על הטלפונים ולא בשרתים יקרים

40:35 המטרה העכשוית של מומנטו היא בעיקר לגדול ולהרחיב את ערוצי השיווק למשל פייסבוק

42:15 רן מזכיר שמודבר בחברה שהיא לגמרי bootstrapped והגיע לשווי של מליוני דולרים ומדברים על היכולות של יזם להתגבר על קשיים

46:15 יוזמה נוספת של גנאדי היא Tel Aviv Coffeeמפגש שבועי של מפתחים בהם משתפים רעיונות שרץ כבר 3 שנים, יש 500 אנשים בקבוצה ומגיעים כל שבוע בסביבות 30 מפתחים

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

353 Istio

November 3, 2018, 1:34 pm

≫ Next: 354 Bumpers 53

≪ Previous: 352 Momento with Genady Okrain

פודקאסט מספר 353 של רברס עם פלטפורמה - אורי ורן מארחיםבמוצאי חג הבחירות המוניציפליותאת שי ארליכמןלשיחה עלפרויקט Istio(תזכורתלפודקאסט 351 / באמפרס 52).

שי הוא CTO ומייסד משותף(Co-founder)של missinglink, שמספקת פלטפורמה לחברות עם Stack של למידה עמוקה(Deep Learning) ולמידת מכונה(Machine Learning), ועוזרת להן לנהל את הפיתוח והמידע - כלים שהתרגלנו אליהם בעולם קוד המקור ועדיין פחות נפוצים בתחומים הללו.

החברה גדלה וכבר יש לקוחות משלמים, המוצר מפותח כבר שנתיים(ומשוחררלשוק כמעט מההתחלה), הלקוחות הם המפתחים(קהלמאתגר :-)).
חלק מ-Samsung Next, ממוקמים בשרונה בתל אביב(!Sharona - לא להסתבך עם אבשלום קור).

אז מה זה Istio?

מפרש ביוונית. מתכתב עם ההגה של Kubernetes. יהיו עוד רפרנסים לים בהמשך . . .

אז מה הבעיה?

בפיתוח אפליקציות Web עולה השאלה של מה עושים ב-Production? הפתרון היה nginxלפני האפלקציה, שהיה משרת ודואג ללוגים, Load Balancing וכו’(גם Caching, אם כי זה בדרך כלל בעצם Varnish ברקע).
ואז הגיע Docker, וניהיה מאוד קל לעשות Deploy. ועדיין - היה Load Balancer לפני האפליקציה(אותוnginx). ואז יצא Kubernetesכדי לנהל את הכל. אז מי מנהל את ה-Load Balancer? כאן הגענו ל-Istio.
מדובר קודם כל בסט כלים(שאמורלהיות אדיש לפלטפורמה - Platform-Agnostic - אבל עובד הכי טוב מעל Kubernetes), שיוצר מעיין תווך בכל נקודה, ו”משתלט” על כל נקודות הקצה. כל בקשה(Request)מגיעה כל קודם אליו, ובעזרת מדיניות(Policy)מוגדרת הוא מחליט מה לעשות הלאה.

דוגמא - משתמשים עם Cookie מסוג מסויים יופנו לגרסת Canary מסויימת, והיתר לגרסה שונה. אין צורך בשני שרתים או שתי סביבות וכו’.

המודל הוא Layer 7 Routing - מודל OCI, שמאפשר להוסיף מאפיינים''חכמים'',לא רק Routing אלא גם Logging(כיהוא מכיר את כל נקודות הקצה ויכול לייצר תשתית Tracing).

שירותי Load Balancing קיימים במגוון צורות(HAProxyושלל כלים של רוב ספקי הענן העיקריים - ELB, ALB, GCLB וכו’). מה שייחודי ב-Istioזה המימוש המבוזר.

לא מרימים אף מכונה - רצים רק איפה שהשירות(Service)רץ, וה-Proxy נעשה בצורה שקופה.
באותם Dockers(ה-Pods)של ה-Services הרלוונטיים יש נציג(Agent)של Istio: ה-Sidecar(סירה.של אופנוע,ועדיין עוד רפרנס לים).
זהו אותו Proxy של Envoy שפותח ב-Lyft. לא ברור למה היה צריך עוד אחד מחדש, אבל נראה שיש להם את המשאבים ובכל מקרה יצא פרויקט מדהים. Istioהוא בעצם הרחבה(Extension)של Envoy.
העבודה עם Kubernetesמאוד צמודה - בגרסא 1.9למשל נוסף Webhook Injection, שתופס את כל ה-Events שמתרחשים, ויודע להיכנס בדיוק לנקודות שצריך להתממשק בהן.
זהו מעיין End-point שמחצין את עצמו, ויש מאחוריו Service Discoveryשימצא את השירות(Service)הנכון שאליו אני רוצה להגיע. קצת כמו Venom.
ניתן להקביל את זה ל-Proxy מאוד חכם שעוטף, יודע לזהות את ה-End Point, מבין לאן הייתה הכוונה לפנות, ומודע לעצם הקריאה.

דוגמא - פנייה לשירות שנותן את זמני הזריחה והשקיעה(עינייניבית חכם), שנחסמה כיוון שלא ניתנה הרשאה ל-Istio לפנות לאותו שירות חיצוני - מעבר להשתלטות על הקלט, יש כאן גם''הבנה''(הסקה)עמוקה יותר לגבי הפלט הצפוי.

לא מדובר על החלפה של שירותי ה-Routing, אלא מעיין ניטור שלהם. שרשרת הקריאות נשמרת וניתן לנתח אותה ולהסיק על ההתנהגות של ה-Service Mesh.

סיכום ביניים - Istio מאפשר שלושה שירותים של ראוטר מתוחכם:

ניתוב חכם(Smart routing).
אבטחת מידע(Security) - גורם לכל השירותים להיות MTLS.
לוגים(ו-Tracing).כרגע לא על הכל לגמרי אבל זה הכיוון.

טלמטריה, לרמה של E2E Tracing(עםמזהה לקריאה ספציפית) - שליטה על כל שרשרת הקריאות(מיהניע את מי), כשיש כלים כמו Zipkin ו-Prometheusשמאפשרים לראות מעיין“מפל”של שרשרת האירועים שנגרמו מקריאה מסויימת.

מכאן אפשר לנתח כל מיני דברים, כמו זמן ממוצע למשך קריאה בהשוואה להתפלגות משך הקריאות הכללית וכו’. וכל זה אמור להתבצע אוטומטית. ב-Prometheus(גרסא 1.02) יש כבר הכל בפנים, והתחלה של גרף קריאות.

לפחות חלק מהצוות שעובד על המוצר נמצא כאן בישראל במעבדות IBM בחיפה. הפרויקט בגדול נולד כשיתוף פעולה של IBM ו-Google, איפה זה נמצא היום?

הבעיה(או“האתגר”בניסוח יותר אופטימי) היא שהפרויקט אמור לתמוך“בהכל”.בדומה ל-Kubernetesשהיה צריך את ה-EKS וה-Kubernetes Engineכדי להוריד את רמת הקושי, זה עדיין לא שם. צריך לקרוא הרבה מדריכים(ולהביןמה רלוונטי). זה עדיין שווה את זה.

כיום, Kubernetesמאפשר רמה מסויימת של Routing ו-Load Balancing בין ה-Pods השונים באמצעות אבסטרקציה של Service. הבעיה היא שזה מאוד מוגבל מבחינת פתרון“חכם”ומצריך Plug-Ins שונים(ל-Securityלמשל), לא מובן מאליו בגרסת Out of the box, אם בכלל.
אפשר לומר ש-Istio מחליף את שכבת ה-Load Balancing של Kubernetes, ומוסיף על זה את האלמנטים שהוזכרו למעלה.

למה זה כל כך מסובך אם הכל זה רק Sidecar?

יש כאן מעבר להתקנה של Docker לצד Docker . . .
ל-Istio יש ארבעה רכיבים עיקריים -

מיקסר(Mixer),שתפקידו לקחת את המדיניות(Policy)ו”לערבב” לתוך ה-Sidecar.
פיילוט(Pilot),שתפקידו לבצע את ה-Routing.
יש את ה-Citadel(למעריצי Rick and Morty), שתפקידו לנהל הרשאות(Certifications),באופן בלתי תלוי במה שרץ מתחת(Kubernetes,Mesos או משהו אחר)
שכבה של Auto-injection, שתופסת את מה שקורה ב-Cluster על מנת לקבל החלטות.

למה זה כל כך הסתבך? כי זה עולם גדול, עם הרבה צרכים והרבה אפשרויות שצריך לכסות, ואנחנו רק בגרסא ראשונה. זו רק ההתחלה.

מתי אני יודע שאני צריך Istio?

שי אומר שאם אתם משתמשים ב-Kubernetes, אתם צריכים Istio. כנסו לאתר של Zipkin ותראו את רמת ה-Tracing. תבינו שאתם טסים בלי מכשירים ותרצו גם כזה.
בעולם של App Engineהיה Tracing Built-in - אתה רואה את הכל וכמה כל דבר לוקח. אתה מתרגל, ואז אתה מצפה לזה בכל מקום. אז Istio.

ובכל זאת - מה לגבי Security? נשאלת השאלה האם יש צורך שתקשורת בין Services תיהיה ברמת אבטחה מקסימלית(ומההמחיר)? שי אומר שאצלו רוב המידע מועבר בתוך ה-Private Network אז זה פחות חושב - וזה חינם.
האם רכיבי Istioבעננים שונים יודעים לתקשר אחד עם השני? על הנייר כן, ויש MTLS out of the Box. האם זה עובד באמת? שי לא ניסה, אבל זה אמור לעבוד(וזהגם שם של דג, כי חייבים עוד רפרנס אחרון לים).
עוד פיצ’ר מעניין(אםכי עלול להיות מעט מסוכן) הוא Retryלקריאה שנכשלה(למשל Outbound Call) - אפשר להגדיר Policy שתנסה שוב מספר מוגדר של פעמים, וזה לא חלק מהקוד אלא חלק מה- Policy. זה הרבה יותר נוח(לאצריך לממש את הלוגיקה).

כשחושבים על זה, Istioנמצא בכל מקום והכל עובר דרכו - זה לא יוצר עוד Latency?

כן, זה מוסיף. צריך למדוד את זה.
מישהו התלונן שעבור 2000 שירותים, ה-Sidecar מגיע ל-8G צריכת זכרון(ישגם בפחות) . . . עובדים על זה. בכאלה מספרים של שירותים יש כנראה עוד כמה בעיות מעבר ל-Sidecar.
זה מעלה משמעותית את התקורה ההתחלתית של פרויקט. שימושי יותר עבור פרויקטים בשלבים מתקדמים יותר שרוצים לגדול(אומתכננים קדימה).
המימוש של Envoyמאוד יעיל, כך שהחזקה של כל מפת הקריאות היא לא בהכרח בעיה ברוב המקרים אבל שוב - צריך למדוד.
היום כבר לא צריך לחשוב על התווך, ולדאוג האם קריאת ה-HTTP יצאה ומה לגבי ה-MTU - צריך לכתוב את הקוד, והשכבות למטה יסתדרו באופן היעיל ביותר.
האם Retry למשל לא כבר נמצא בתוך GRPC? לא, וכנראה שבכוונה. שימוש ב-Retry הוא סוג של פלסתר, שעלול ליצור Latency שיצטבר בלי לשים לב. כאן נכנס ה-Tracing שאמור להציף את זה.

לסיכום - אם אתם משתמשים ב-Kubernetes, תנו מבט על Istio, אתם כראה צריכים כזה. תבדקו.

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

↧

354 Bumpers 53

November 21, 2018, 3:42 am

≫ Next: 355 Technology Trends with Assaf Natanzon

≪ Previous: 353 Istio

באמפרס מספר 53 עם רן, דותן, ואלון

רן:

ספריםעל תרבות SRE בעיקר בגוגל ובחברות נוספות
השוואהבין שירותי hosted kubernetes
יצא AWS Service operatorהמאפשר לתפעל שירותי AWS דרך kubectl
שירות חדשב Github בשם Actions המאפשר לקרוא לפעולות לאחר push בצורה אוטומטית,

אוסף של actions קיימים כרגע: awesome-actions

תכנית AI Residencyבגוגל פועלת בתל אביב
סט כליםמבית פייסבוק לפיתוח מעל הקרנל של לינוקס
לאחר הפסקה של חודש Linus Torvalds חזר להוביל את פיתוח לינוקס
מקור ללימודעל הבסיס של Envoy שהוא פרוקסי פופלארי
מדידת ביצועיםשל Istio בקלאסטר גדול
אוסף דיאגרמות המסבירות איך להשתמש בשירותים שונים של AWS ואיך הם עובדים

אלון:

כנס React conf הביא איתו הכרזה מעניינת על Hooks, הרצאות ודמואים פהופה, ומאמר של דן אברמוב
הגבלת הזמן של AWS Lambda הוגדלהל-15 דקות
תוסף חדשל Visual Studio המיועד ל data science
גוגל הכריזושכדי להתחבר לשירותים שלהם חייבים לאפשר JS
פריימוורק בשם Carloהמאפשר לכתוב אפליקציות ui בעזרת node ו chrome engine
מדריךצעד אחר צעד ליצירת QR code עם הסברים על איך QR code עובד

דותן:

וידאושל כל כנס React conf
אוספים של React hooksוגם פה
מדריךמתאים למתחילים המלמד איך לעבוד עם storybook
שוחררה גרסא 7.1 של V8 עם אופטימיזציות ל lambda
כלי נחמדהמאפשר לצייר גרפים ב cli
ספריההמאפשרת לייצר endpoint של GraphQL אוטומטית מעל postgres
ניתוח תקריתמעניין של גיטהאב על תקרית שהייתה להם באוקטובר
בינאריים של Rust שהם קטנים מראש, הופכים לקטנים יותר
הרצאה מכנס Gophercon על הקצאת זיכרון ב Go
סדרת מאמריםהמנתחת TSDBs
קונטיינרים ללינוקסב500 שורות קוד c
הצצהל release notes של הגרסא הבאה של vscode לפני שהגרסא יוצאת

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לדניאל שלו על התמלול

↧

355 Technology Trends with Assaf Natanzon

November 22, 2018, 2:00 am

≫ Next: Summit 2018: What I learned from 10 Yrs of "playing" with Neuroevolution - / Al Yaros

≪ Previous: 354 Bumpers 53

פודקאסט מספר 355 של רברס עם פלטפורמה - אורי ורן מארחים את אסף נתנזוןלשיחה על טכנולוגיות חדשות, אחזור מידע, פטנטים ומהירות האור בישראל.

אסף עובד ב Dell EMC(הרצליה)ומתמקד בשני היבטים -

העתיד של Data Protection - לא במובן של Security אלא של גיבוי(Backup)ואחזור מידע(Data Recovery) - טרנדים +5 שנים קדימה.
עבודה עם Dell Capital - זרוע ההשקעות של Dell, שאחראית על השקעות בכל הפורטפוליו(כוללPivotal וכו’), עזרה בכל הקשור להערכות שווי(Evaluation)של חברות.

מה מפתחים היום בישראל?

המשרד הישראלי של Dell מתבסס על מספר רכישות - אסף עצמו הגיע רשמית ל-Dell לפני שנתיים עם הרכישה של EMC, ולשם דרך סטארטאפ בשם Kashyaשעסק ב-Continuations Replication - טכנולוגיה שמאפשרת ליצור עותק של Block Device מרחוק, ולאפשר חזרה לכל נקודה בזמן לאחר מכן.

היום זה נמצא בתוך מוצר שנקרא RecoverPoint, ויש גם עבודה של גרסא למכונות וירטואליות(Virtual Machines).
יש עוד שני מוצרים תחת RecoverPoint -גיבוילענן(כרגעל-AWS) ועוד אחד שעדיין לא מדברים עליו.

נראה שהעולם מתקדם בשני כיוונים, לכאורה סותרים - מצד אחד לקחת מערכת בודדת ולהפוך אותה לאמינה ככל האפשר, ומצד שני להניח ששום מערכת לא אמינה לחלוטין, ולפתח דרכים להתמודד עם זה(Clusteringלמשל).

חשוב להבדיל בין שני פרמטרים - זמינות(Availability)ויכולת אחזור(Recoverability):

עצם העבודה שהמערכת אמינה לא מגן מפני טעויות, למשל כשמישהו מחק טבלה ממסד נתונים, ועכשיו צריך לשחזר מנקודה שקודמת לטעות.
עולם ה-Disaster Recovery - במקרה של אסון טבע שמשמיד איזור שלם, כאשר מבחינת Latency לא תמיד ניתן לפזר את המערכת על מרחקים מספיק גדולים כדי לשלול את ההסתברות לנזק בכל המקומות במידה מספקת. וגם אם כן - זה לא מגן מטעות אנוש או באג לוגי.

סיכוי מול סיכון - מה הסיכוי שמשהו כזה יקרה בחיי חברה, ותצטרך לעלות חזרה מגיבוי - פעם בחמש שנים בערך זו הערכה סבירה? ואם כן, אנחנו מדברים על חזרה ברזולוציה מאוד גבוהה(שניותבודדות?) - יש דרישה כזו?

ראשית, בעולם הגיבוי(Backup)הדרישות לא כאלה חמורות(לאשניות), וגם הערכת ההתפלגות הרבה יותר נפוצה מפעם בחמש שנים - זה יכול לקרות אפילו כשאיבדתי גישה לקובץ במחשב הנייד שנמחק בטעות ואני רוצה לשחזר, וזה הרבה יותר תדיר.
עולם ה-Disaster Recovery עוסק לרוב באירועים פיסיים(שריפה,שטפון, וכו’)
בהיבט של תקלה לוגית, השאלה היא כמה מידע אתה מוכן לאבד - נקודת אחזור פעם ביום? כך שש שעות? כל רבע שעה במקרה של של Virtual Machines(אםכי במקרה כזה הביצועים יהיו בלתי נסבלים)?
זה גם תלוי הקשר - רבע שעה של טרנזקציות בבנק זה לא משהו שאתה מוכן לאבד, כנ”ל לגבי רבע שעה של עסקאות ב-Amazon למשל.
טכנולגיית ה-Continuous Replication משלבת בין Disaster Recovery והצורך לעלות עם אתר חלופי כמה שיותר מהר, ועולם הטעויות הלוגיות, בו נרצה לחזור כמה שיותר מהר לנקודה שקדמה לתקלה או לטעות. הרעיון היה לא להתבסס על Snapshots של ה - Storage(כיהביצועים מחרידים, ב-VMware למשל זה עדיין די ככה).

מומלץ לקרוא את ה-Retrospective של הנפילה של GitHub

חזרה לכיוון הברזלים, וגיבוי ל- Block Device -“מהשיושב מתחת למערכת הקבצים” -

דיסק(פיסיאו לוגי), שמקצה מרחב כתובות(0-->גודל הדיסק) ומאפשר פעולות בסיסיות(כתיבה,קריאה)
מערכת ההפעלה היא זו שמתקשרת עם ה - Block Device(איפהלאחסן את הקבצים, מה לקרוא וכו’)
מערכת הקבצים יוצרת מעיין שכבת אבסטרקציה מעל ה - Block Device, שמאפשרת אחסון קבצים, מצביעים ועוד

דוגמאות ל - Block Device עשויים להיות SSD פיסי, שירות EBS של AWS ואחרים.

את הבלוק הזה לוקחים, ויוצרים עבורו העתק מתמשך(Continuous Replication) -

צריך איזשהו דרייבר בדרך, Data Tap בין ה- Block Device לבין מי שכותב אליו(גרסהוירטואלית של מחבר T) - בעבר ידענו לשים את זה בתוך מערכת ההפעלה, או בתוך ה-Storage עצמו אם זו מערכת פיסית.
במערכות וירטואליות ו-Containers, אותו Data Tapיכול להיות חלק ממערכת ההפעלה של ה-VM, או בתוך ה-Hypervisor עצמו.
האתגר הוא ההתנהלות כשמתרחשות תקלות - לדעת לא לאבד אף כתיבה כשמשהו נופל, לאפשר למכונה להמשיך מאותה נקודה ולא להתחיל לקרוא מהדיסק את כל המידע מחדש וכו’.
אתגרים נוספים הם לנהל את המערכת כך שניתן להגיע לכל נקודה בזמן, וכמובן ביצועים(Performance)וזמינות(Availability).

ה-Data Tap יוצא אל המערכת(הרפליקציה)דרך הרשת - במקרה הזה יש רכיב(Appliance)וירטואלי בדרך, שיודע לבצע בקרה ואופטימיזציה(ולהכיל Policies במידת הצורך), ולשלוח את המידע למכונה אחרת שמנהלת עותק מרוחק - שמכיל עותק של ה-Virtual Machine ו-Journal(בדומהל Redo Log / Undo Log של Oracle), ובכך מאפשר לנוע על ציר הזמן של הגיבוי

מזכיר שפירמוט מהיר(q/)של Device לא באמת מוחק הכל אלא בעיקר את ה-MBRועוד כמה רכיבים - סיפור מלפני ~17 שנים, שבו לקוח ביקש לשחזר מידע לאחר Format/Q וזה היה מהיר במידה שגרמה לו לחשוד ברמאות. בפעם הבאה הוא ימחק כמו שצריך.

ולנושא אחר - הצד המדעי / הנדסי של חשיבה על פטנטים(אולייעניין אתכם גם - יש פרק ישן של רברסים על הצד המשפטי) - העבודה היומיומית, המטרות, המוטיבציה

למוטיבציה יש כמה מקורות -

הגנתית - החברה לא מעוניינת שיתבעו אותה על פעילות שהיא עושה, ולכן מגנה על תהליכים ומוצרים(ויוצרתסוג של“מאזןאימה” מול אוסף הפטנטים של המתחרים)
פטנטים מעלים את השווי של החברה - מעבר למוניטין הרשום, זה נחשב כמדד לחדשנות בחברה
מה המוטיבציה למהנדס הבודד? בדומה לאקדמיה, יש כאן סוג של פרסום ומיתוג עצמי, ובחברות גדולות זה בדרך כלל גם מלווה בתמריץ כלכלי.
לאסף עצמו יש בערך 250 פטנטים רשומים ועוד סדר גודל דומה בסטטוס Pending.

איך נראית עבודה על פטנט?

קודם כל צריך לחשוב על רעיון(אסףהעביר לא מזמן סשן בסנט פטרסבורג על איך חושבים של רעיונות חדשניים), ואז צריך להגיש מסמך . . .
בארגונים גדולים(Corporate)יש ועדה של מומחים בתחום, שאמורים לדון ולאשר את הפטנט להגשה; לאחר מכן ממונה עו”ד(מהחברהאו חיצוני), שצריך להפוך את תיאור הפטנט למסמך פטנט רשמי, שבהתחלה עלול להראות קצת סתום עם תיאור מפורט של מה הפטנט עושה ועל מה הוא מגן(Claims),בשפה משפטית.
הפטנט מוגש למשרד פטנטים(בארה”ב,בסין, בכל העולם - שיקולי עלות/תועלת), מוגדר כ-Pending, ואז יש תהליך של ~3 שנים(ממוצע)עד לסטטוס Granted.
כמה זמן עבודה למהנדס עצמו על הפטנט? המסמך עצמו לוקח שעה-שעתיים, ועוד 30-60 דקות עם העו”ד. יש כאן עניין של ניסיון - בפעמים הראשונות הכל לוקח יותר זמן.
בסטארטאפ הכל פחות מובנה:“צריךפטנטים”--> Brainstorm-->מחליטים ושולחים, תלוי כמה תקציב הוקצה לכך(ענייןיקר, אז לא שולחים הרבה - עשרות אלפי $, כולל העו”ד).

חלק שלישי - טרנדים בטכנולוגיה. אסף יושב בצומת מרכזי יחסית בכובע של Dell Capital, ורואה טרנדים בחומרה ותוכנה

תוכנה - Functions as a Service ו- Serverless Computing. הכל הופך יותר מהיר ופשטות הפיתוח מהווה גורם משמעותי.
מכיוון ה-Data Protection זה קצת הפוך - מאוד קל להשתמש בשירותים חיצוניים, וקל להגיע לאפליקציה אחת עם מספר גדול של מסדי נתונים חיצוניים. למפתח מאוד כיף והכל הכי פשוט שיש, אבל איש ה-Backup עומד בפני סיוט, כי צריך לדעת לגבות ולשחזר הכל-->זה חייב להיות אוטומטי.

היום צריך בכל פעם סקריפט חדש של איש ה-IT, וזה לא Scalable במיוחד
ברמת הבלוק, אם למשל יש Kubernetes שרץ תחת VMware, תיאורטית אפשר לקחת Snapshots ואת זה כבר יודעים לעשות.
עיקר הבעיה היא ברמת הניהול בסביבת Cloud Native - ואיך להפוך אותו לשקוף ככל הניתן: אני יכול לעשות מאות גיבויים(וספקיהענן השונים מאפשרים את זה בקלות יחסית), אבל צריך לנהל אותם - מה קורה כשזה נכשל? מי שולח דוחות? איך משלמים על כל הנפח הזה? איך יוצרים קטלוג ויודעים מה נמצא איפה? לחברות גדולות(עםסיכון גדול במקרה של אובדן מידע) זה מאוד חשוב.

שיטת ה“בואנחכה שיבוא האקר עם רשימת כרטיסי האשראי של הלקוחות ואז נשלם לו שיתקן” פחות מומלצת.

טרנד בולט נוסף - Edge Computing

הולך להיות מאוד בולט עם עליית המכוניות האוטונומיות(הערכתסדר גודל של 8Tb ביום - אין היום איך לשלוח את זה לענן באופן יעיל)
בהקשר של Edge Computing מדובר לרוב על מעיין micro Clouds במערכת היררכית, כשחלק מהעיבוד נעשה מקומית וחלק עולה לענן.

שעון חכם יכול לשלוח הכל לענן לניתוח, זה לא כל כך הרבה מידע כיום. מעבר לזה כבר הופך מורכב.
אנחנו מדברים על Data Centers שיכולים לשבת אצל ה-ISP או במחשב חזק של הרכב, שיעבד הרבה מהנתונים מקומית ויתקשר עם הענן ברמות שמעל.

מתחילים להופיע Frameworks בנושא - GreenGrassשל Amazon וגם EdgeX Foundryשל Dell. ב-VMworld הייתה גם הכרזה על שיתוף פעולה בין VMware לבין Microsoft בנושא.

מה לגבי Dell - ככל שהעולם הולך לכיוון של Public Clouds, הכל יושב אצל ספקי הענן המרכזיים, והם מתחילים יותר ויותר לייצר את החומרה עבור עצמם, במקום לרכוש(מ-Dellלמשל).

חברה כמו Amazon אכן מייצרת חומרה לעצמה(הרכישהשל Annapurna Labsהייתה חלק מזה), אבל לרוב שירותי ענן זולים כשהחברה קטנה. כשגדלים זה כבר לא כל כך זול והשיקולים משתנים, כך השהדרישה לחומרה מחברות כמו Dell קיימת.
מעבר לזה, יש את עניין האמינות - EBS לא אמין כמו Symmetrix VMAX(בגרסאהאחרונה זה PowerMax) למשל, אין התחייבות לאמינות שחברה הרבה פעמים דורשת מהשרתים שלה.

יש גם חלקים שלמים בתעשיות גדולות(בנקיםלמשל) שעדיין עובדים על Mainframe, והמעבר ל-Cloud Native יקח עוד זמן.

ועדיין - איך חברה כמו Dell מסתכלת קדימה בעולם שהולך לכיוון Serverless?

ראשית, הכל יהיה קיים גם בתוך ה-Data Centers של החברות - מעל Kubernetes יש את PKS, יש שיתוף פעולה בין VMware ל-Amazon שמאפשר לרכוש חומרה שמריצה VMware בתוך AWS, ובאופן כללי כולם הולכים לכיוון של Multi-Cloud.
לאורך זמן, יש דברים יקרים בענן - המון Storage ללא תנועה, המון Compute שרץ כל הזמן. Serverless יהיה יעיל עם פרופיל השימוש מוטה Peaks, אבל על פרופיל עבודה קבוע יחסית, שירותי ענן עשויים להתגלות כמאוד יקרים ביחס לחומרה בבעלות החברה.
תמיד יש ענייני רגולציה ו-Compliance, שגורמים לחברות בסקטורים מסויימים לא לזוז, וגם אם כן - המעבר מאפליקציות סטדרטיות ל-Cloud Native לוקח זמן.
מעבר לכל זה, יש את כל מה שהזכרנו לגבי התפתחות ה-Edge Computing, שם יש ל-Dell פוטניאל עצום - Data Center נייד על גבי משאית, או בתוך רמזור למשל.

מזכיר את המכולה ש-Microsoft הטביעו באוקיאנוס . . .

עוד טרנד לפני סיום - Persistent Storage: אחרי המעברים מדיסקים מגנטיים ל-SSD, היום רואים את המעבר לפרוטוקולים של NVMe שמדברים על Latency הרבה יותר נמוך, זכרונות של 3D XPointו - N-RAM, שישנו את האופן שבו אפליקציות נראות, בעולם שמוטה זכרון(Memory centered) - יכולות גישה מאוד מהירה לזכרון עם עקביות(Persistence)של דיסק.

ניתן להריץ בתוך המחשב שלך עם כמויות מאוד גדולות של זכרון; כשרוצים לצאת החוצה עדיין צריך לשלם ב-Latency - יש איזה עניין לא פתור עם מהירות האור, בעיקר עם זה שאי אפשר לעבור אותה(אלאאם אתה ברמזור בישראל, ואז הקול של הצפצוף קודם לאור מהרמזור).
ברגע שנעבור לעולם מוטה זכרון, הרבה מה-Best Practices הנוכחיים יצטרכו להיות מתוקפים מחדש, וחלקם לא יהיו רלוונטיים(למשל - אם הנחנו שהגישה לזכרון מהירה x1000 מגישה לדיסק, לא בטוח שזה עדיין נכון).

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

↧

Summit 2018: What I learned from 10 Yrs of "playing" with Neuroevolution - / Al Yaros

November 25, 2018, 9:47 am

≫ Next: Summit 2018: Going Full Rewrite - The Incremental Way / Alex Badyan

≪ Previous: 355 Technology Trends with Assaf Natanzon

Bio-Inspired algorithms such as Genetic Algorithms and Swarm intelligence can be competitive alternative for Training Deep Neural Networks for Reinforcement Learning. My journey in this domain started 10 years ago by building a RL-DNN bot that compete in a 3D racing simulator named Torcs. (demo available on my Youtube channel) - In this talk I'll show a different approach to train a deep neural network that can drive and control a racing car that outperforms a human driver in simulated racing environment - laying the foundations to try and solve any kind of RL problem differently.

MP3

↧

Summit 2018: Going Full Rewrite - The Incremental Way / Alex Badyan

November 25, 2018, 10:36 am

≫ Next: Summit 2018: To DB or not to DB, or, Why Databases are like Religions / Amit Lichtenberg

≪ Previous: Summit 2018: What I learned from 10 Yrs of "playing" with Neuroevolution - / Al Yaros

After coming to the realization that our backend system cannot scale for much longer and that new features are very difficult to add, we decided to write it from scratch.
With hundreds of thousands of users actively engaging our system, we don’t have the privilege to start over and grow slowly.
We rewrote the applicative layers while still relying on the old data store and then wrote a new db and app stack layer, replacing the legacy one piece by piece.
We implemented a migration system that is always on, meaning that every change in the old system makes its way to the new system, making the two systems eventually equivalent.
I will discuss the challenges and lessons learned.

MP3

↧

Summit 2018: To DB or not to DB, or, Why Databases are like Religions / Amit Lichtenberg

November 25, 2018, 10:39 am

≫ Next: Summit 2018: Keeping it real - a practical guide to identifying fake news / Ayelet Dekel

≪ Previous: Summit 2018: Going Full Rewrite - The Incremental Way / Alex Badyan

One DB to rule them all? Hardly. Typical applications start their life with one DB, usually the one most fashionable, reliable, well-documented, referenced-on-google, or all of the above. Soon enough you find out not only that that DB you chose early on is actually wrong for you, but that it’s really hard to get rid of. In this talk you’ll see how in under two years, our application turned from single-DB, small & tidy, into a monster running four+ databases (on a good day), while testing and abandoning more than a few others on the way. I’ll discuss lessons learned the hard way on the process - about choosing a database, writing good code, making good products, and life in general.

MP3

↧

מצחיקים

Latest Images