באופן אירוני ומודע לאחרים

[עדכון: אורן מבלה את הזמן בראיונות ועורך סיכום ביניים. המשך הסיפור כבר יתועד אצלו, אני מניח]

עמיתנו אורן צור חרג ממנהגו בשבוע שעבר והעיד על עיסתו; ליתר דיוק, העיסה שלו, של דמיטרי דוידוב ושל ארי רפופורט, מחקר מגניב למדי שהם ערכו על גילוי אוטומטי של סרקזם באמצעות האלגוריתם שֹשֹ"י (Semi-supervised Algorithm for Sarcastic Identification, שם נהדר: sassy באנגלית זה איפשהו בין "חצוף" ל"שנון"). עד כאן הכל טוב ויפה: רעיון ראוי, מחקר נחמד, ביצוע מוקפד, מאמר מהוקצע – כמקובל בענף.

סערה בענף

אבל אז, מעשה שטן, האינטרנט שם לב בהמוניו. סלאשדוט היה הראשון, כנראה, וגם במדע פופולרי התעניינו מאוד במחקר המקורי הזה. אחרי שהסיפור הגיע לבוינג-בוינג, גם דה-מרקר שמו לב והנה הדיווח שלהם בעברית. זה גם נתן לכל האתרים תירוץ לכתוב טקסטים מתחכמים כמו זה של cnet:

I'm just sooo happy to be sitting here reading through an eight-page PDF on algorithms. Seriously. Nothing in this world makes me happier than poring over phrases like "detailed results of the 5-fold cross validation of various components of the algorithm are summarized in Table 2."

על מה בעצם כל הרעש? על תוכנית שלומדת ביקורות גולשים מאמזון, מזהה באופן אוטומטי איך נראים משפטים סרקסטיים ובעזרת הידע החדש הזה מסוגלת למצוא משפטים סרקסטים באמזון ובטוויטר.

המחקר

המחקר מוצג בעצם בשני מאמרים. המאמר הראשון הוא אמזון ומתאר את המערכת בפרוטרוט (יש לו גם שם נחמד שצוחק על השם של הכנס, בדיחה שבגארדיאן בטלגרף לא הבינו). המאמר השני מיישם את המערכת גם על טוויטר, ואורן מספר עליו כך:

המאמר דחוס מאין כמוהו כדי להתאים לסד מכסת העמודים המוקצית. למרות זאת, המבוא, החלק על טוויטר והדיון על התוצאות (פרקונים 1,2 ו-5) קלים לקריאה גם למי שלא מבין במדעי המחשב ובעיבוד שפה. למעשה גם החלק האלגוריתמי הוא מעט טכני ומייגע אבל לא מסובך במיוחד. תהנו. בטח.

אורן מסביר יפה בבלוג שלו (וגם במאמרים, כמובן) בשביל מה זה טוב: יכולת להבין ביקורות גולשים, להבין טקסטים בכלל, ושאר דברים שימושיים שחברות ישלמו הרבה כסף עליהם. לטובת המפחדים מאלגוריתמים, נסכם כאן איך המערכת עובדת בקצרה.

המערכת לומדת לזהות, לפי ספירה של תדירויות מילים, איך נראים משפטים סרקסטיים כמו "חברה X כנראה לא Y על Z" ומה התפקיד של סימני פיסוק, וייצרו אוסף של מאפיינים טיפוסיים למשפט סרקסטי. כל משפט חדש שהמערכת רואה מושווה לרשימת המאפיינים ומקבל ניקוד לפי אלה שהופיעו בו. באמזון מצורף לכל ביקורת ציון בן 1-5 כוכבים, אז אפשר להשתמש גם בהם כדי ללמוד מתי יש ביקורת קטלנית שרק נראית כמו ביקורת טובה עם מילים כמו "מעולה" או "הכי".

התוצאות

איך יודעים כמה טוב אלגוריתם כזה עובד? לקחו 90 משפטים שזוהו אוטומטית כסרקסטים ו-90 משפטים שזוהו אוטומטית כלא-סרקסטים, כשבשתי הקבוצות מופיעות התייחסויות מפורשות לחברה או מוצר מסוימים. המשפטים הלא-סרקסטים באו מביקורות שליליות, כדי להפוך את העסק ליותר קשה. המשפטים האלה נבדקו על ידי אנשים שאינם קשורים לחוקרים ושהחליטו אם כל משפט הוא סרקסטי או לא. בסופו של דבר נתקבלו 180 משפטים עם שני סטים של ציונים: אלה ששש"י נתן להם, ואלה שבני אדם נתנו להם.

עכשיו צריך להגיד מילה על איך מודדים איכות של תוצאות בתחום שנקרא אחזור מידע; אם לא מעניין אתכם איך בדיוק מדדו את הביצוע, אתם יכולים לדלג לפסקה הבאה. ובכן, יש שני פרמטרים עיקריים: precision (נקרא לזה "דיוק") ו-recall (למיטב ידיעתי אין שם רשמי בעברית, אז אולי אפשר לקרוא לזה "להוחזר"). הרעיון הוא לבדוק כמה מטרות רלוונטיות נמצאו ע"י המערכת. ניתן דוגמה.
נגיד שהמערכת הסתכלה על 200 משפטים ואיתרה אוטומטית 50 מהם שלדעתה אמורים להיות סרקסטים, כך ש-150 אינם סרקסטים. עכשיו בודקים אם היא צדקה. קודם נבדוק את הדיוק (precision) שלה: כמה מתוך 50 המשפטים באמת סרקסטים? אם 40 מהם באמת סרקסטים ו-10 לא סרקסטים, יש למערכת דיוק של 80%. עקרונית, ניתן להשיג דיוק גבוה אם מגבילים את המערכת למצוא ביטויים כמו "עכשיו אני הולך לומר משהו סרקסטי, שימו לב!". אבל מה שמאזן את הדיוק הוא הלהוחזר (recall): בדוגמה שלנו, המערכת זיהתה ש-50 משפטים מתוך 200 הם סרקסטים. אבל אם בעצם 125 משפטים הם סרקסטים ו-75 אינם, זה אומר שהמערכת מצאה רק 50 מתוך 125 והלהוחזר שלה הוא 40%. אפשר להשיג להוחזר גבוה מאוד אם מחפשים ביטויים כללים מאוד: כמעט כל משפט יכלול את המילה "the" – אבל הרי חיפוש כזה יחזיר המון תוצאות לא רלוונטיות ויוריד את הדיוק. לרוב עורכים גם ממוצע משוקלל של השניים וקוראים לו F-measure.

חזרה למחקר. התוצאות היו, עבור אמזון: דיוק 77%, להוחזר 81%.
עבור טוויטר: דיוק 79%, להוחזר 86%.
אלה תוצאות טובות מאוד!

התוצאות מעניינות בין היתר משום שתהליך הלמידה נעשה מדוגמאות באמאזון, אבל האלגוריתם תיפקד מצוין גם על טוויטים. אחת הסיבות שהחוקרים נותנים היא שבגלל שטוויטים הם חסרי הקשר מטבעם, הם חייבים להיות ברורים יותר. בשביל שאר הסיבות תצטרכו לקרוא את המאמר(ים). כמובן שיש מקום לשיפור: צור/דוידוב/רפופורט מזכירים ששֹשֹ"י יתקשה להבחין בין "הספר היה מצוין עד שהגעתי לעמוד 2" ובין "הספר היה מצוין עד שהגעתי לעמוד 430", אבל מסבירים איך אפשר לעקוף את הבעיה הזו. כמובן שיש עוד הרבה פרטים שלא הזכרנו כאן – היתר במאמרים המלונקקים.

דוגמה לסרקזם

בשולי הדברים, יש לי עוד משהו אחד להגיד למר "TheMarker Online" שכתב את הידיעה הזו בדה-מרקר. כך כתב מר אונליין:

לפי [האתר] בואינג בואינג אחוז הדיוק של האלגוריתם עומד על 77%.

הם אפילו לא טרחו לבדוק דברים לבד! כן, בואו נצטט איזה אתר אינטרנט, כי לבדוק בעצמנו מה כתוב במאמר עצמו זה כ-ל  כ-ך  ק-ש-ה.