חוקר התרגום איגנסיו גרסיה מאוניברסיטת מערב סידני הוא מאמין גדול בתרגום מכונה, והוא החליט לבדוק האם מערכות תרגום אוטומטיות יכולות לסייע למתרגמים בשר-ודם. במחקר שהתפרסם לא מזמן הוא נתן למספר סטודנטים לעבוד על טקסטים באנגלית ולתרגם אותם לסינית. עבור חצי מהטקסטים השתמשו המתרגמים בתרגום אוטומטי של גוגל כבסיס, והתוצאות היו – אולי במפתיע – טובות.
המשתתפים קיבלו ארבעה טקסטים, שניים בנושאי משפט ושניים בנושאי רפואה (יותר ברמת ויקיפדיה מאשר ברמת כתב עת מקצועי, אם לשפוט מהדוגמאות במאמר), עם גיוון מתבקש בסדר הצגת הטקסטים בין המשתתפים השונים. לא הותר שימוש במילונים, מרשתות ועזרים דומים. בשני טקסטים הופיע תרגום המכונה של גוגל בתור הטקסט המתורגם, ואותו שינו המתרגמים; בטקסטים האחרים, טקסט היעד היה זהה בתחילת העבודה לטקסט המקור. גרסיה ביקש לבדוק שני דברים: האם יש הבדל באיכות, והאם יש הבדל במהירות.
לגבי המהירות, 15 מתוך 28 הנבדקים עבדו מהר יותר עם עזרה של תרגום מכונה, כלומר בקושי יותר מחצי. גם בין המשתתפים ובין עצמם היה קשה לזהות נטיות: רבים מהסטודנטים עבדו מהר יותר עם תרגום מכונה על טקסט אחד אבל לאט יותר על טקסט אחר; וכמעט כולם עבדו לאט יותר על המטלה הראשונה, לא משנה מה היתה (תחושה שוודאי מוכרת למתרגמים רבים).
בעניין האיכות אפשר כבר לזהות מגמה: מתוך 56 תרגומים, 33 תרגומים מתרגום מכונה נוקדו על ידי בוחנים חיצוניים כטובים יותר. ציונים ממוצעים (מתוך 50) לתרגומים היו 33.8 עבור התרגום הסטנדרטי ו-36.4 עבור תרגום עם בסיס של תרגום מכונה (הציונים נעו בגדול בין 30 ל-40). שבעה משתתפים ניפקו תוצר טוב יותר עם בסיס של תרגום מכונה ושניים סיפקו תוצר גרוע יותר.
המשתתפים בניסוי רואיינו בתחילתו ובסופו לגבי העדפותיהם, וניתן היה להתרשם שהם חשבו שתרגום המכונה הוא רעיון טוב, במיוחד לאחר שניתנה להם הזדמנות להשתמש בו. בין הערות הסיום שלו, גרסיה גם מעלה את האפשרות שלחלק מהסטודנטים עשוי להיות ניסיון קודם בעריכת תרגומי מכונה, "בניגוד להמלצות המרצים שלהם". הבה נצא במחול ונרקוד את תרגום המכונה.
אתה תסלח לי אם מפאת עומס החום, לא אקרא את המאמר המקורי?
נשמע כמו מחקר מוטה מלכתחילה.
א. ממה שכתבת, עולה שלקחו סטודנטים שאינם מתרגמים מקצועיים. שקול ללקיחת אלגוריתם ראשוני של תרגום מכונה, שלא עבר מחזורי משוב ושיפור. הוא לא עשה את זה. הוא השווה אלגוריתם מנוסה לאנשים שאינם מנוסים.
ב. לא הורשה לבני האדם להשתמש במילונים או להעזר במרשתות. למה? מי למען השם מתרגם ככה? אפילו לפני שהיו אינטרנטים, לאנשים היו מילונים. והיום, לא ניתן לדמיין את המתרגם המקצועי העובד ללא אינטרנט לידו.
במתרגם מקצועי, אני חייב להסכים עם אסף. אפילו המתרגם הטוב ביותר לא זוכר מיד כל מילה; להשוות תרגום על בסיס תרגום מכונה (שיש בתוכו הרי מילון) לתרגום ללא מילון מראה את יתרונותיו של *המילון* אבל לא אומר דבר על תרגום מכונה.
כמתרגם*, כמובן. הגהה, רונן, ה-ג-ה-ה.
אבל גרסיה לא השווה תרגום מכונה לאנשים. הוא בדק אם אפשר להשתמש בתרגום מכונה כבסיס לתרגום, והאם זה עדיף על לא לעשות את זה.
לגבי המילונים, זה נראה לי יותר כמו ניסיון לבודד את כל המשתנים הלא-תלויים. כמובן שאף אחד לא מתרגם ככה.
רונן כמובן צודק כשהוא ממשיך את הנקודה הזו ומדבר על המילון, אבל אם מדובר במילון נטו אולי היינו מצפים שכולם יצליחו יותר כשהם התבססו על תרגום מכונה, מה שלא קרה.
כך או כך, זה לא שאפשר להחליף את כל המתרגמים במכונות על סמך מחקר אחד באוניברסיטת מערב סידני. אבל בתור מחקר ראשוני, הוא מסקרן מאוד ויש בו כמה תוצאות שאפשר לפרש למספר כיוונים.
דרך אגב, המחקר קריא למדי ומכיל סקירה נאה של מחקרים שונים על תרגום מכונה כעזר.
זה באמת מפתיע, שלא כולם הצליחו יותר בתנאים האלה, ובעצם רומז לכך שאפילו להסתמך על תרגום מכונה כשלב ראשון זה לא בהכרח יותר יעיל. לי זו נראה כהוכחה ניצחת שתרגום מכונה רחוק שנות אור מתרגום ע"י אדם.
אני מסכים לגמרי עם רונן. שנות אור. בהחלט.
עם זאת, שווה לפרק את המחקר לתת-מחקרים המדברים על תרגומי מכונה בין שפות מסוימות. יש המון הבדלים.
הסטודנטים היו דוברי סינית או דוברי אנגלית?
הוסבר שהם "הרגישו יותר בנוח לתרגם לסינית מאשר לאנגלית".