דמיון בין שפות: מחקר קטן באמצעות ויקיפדיה

[פוסט אורח מאת אדם מתן]

האם אפשר להגדיר את מידת הדמיון בין שפות, שלא דרך מחקר בלשני?

נחשוב לרגע על קרבה בין שפות (ותרבויות). אפשר להניח, למשל, ששפות שדובריהן שוכנים זה בקרבת זה, תהיינה קרובות יותר זו לזו מאשר שפות הנמצאות ביבשות שונות. הקשר הלשוני בין שפות שונות נחקר מזה מאות שנים; אותי עניין לחקור את הנושא מזווית אחרת, של קיום מונחים זהים בשתי השפות.

נגדיר את המרחק בין שפות כסבירות לכך שמונח שקיים באחת קיים גם בשניה. כך למשל, יש סיכוי טוב שהביטוי "חמסין" יהיה קיים גם בעברית וגם בערבית, אבל סיכוי נמוך לכך שהוא קיים גם בשפת הנאוואחו. זו גישה שמתעלמת לגמרי ממבנה המילה, מהתקופה בה המילה נכנסה לשפה וממספר הדוברים הילידים המכירים את המילה; השיטה חוקרת רק את כמות המונחים משותפים לשתי השפות, ואולי גם את איכותם ותפוצתם.

מכיוון שסריקה מילונית היא עסק מסובך מאוד, החלטתי לעשות לעצמי הנחה מסויימת ולהשתמש בערכים בויקיפדיה כמקור. כלומר, הקשר בין שתי שפות ייקבע לפי מספר הערכים המשותפים לשתיהן. אפשר, כמובן, להרחיב את הבדיקה הזו למשפחות של שפות, כלומר לנסות למצוא קבוצות של שפות שמאופיינות על ידי מילים משותפות. חשוב גם לציין שבבדיקה הזו יש לא מעט בעיות והטיות סטטיסטיות – אבל הנושא עדיין מעניין מספיק בשביל לבדוק אותו.

כדי לבדוק את העניין כתבתי סקריפט קטן בפייתון. הסקריפט לוקח בכל פעם ערך אקראי מויקיפדיה העברית, ושומר בטבלה את רשימת השפות בהן מופיע הערך, למשל:

http://he.wikipedia.org/wiki/תא_אפנדימלי

en, ar, de, es, fa, fr, it, ja, pl, ru, sk, sl, sv

כלומר, הערך "תא אפנדימלי" קיים גם באנגלית, ערבית, גרמנית, ספרדית, פרסית, צרפתית, איטלקית, יפנית, פולנית, רוסית, סלובקית, סלובנית ושוודית. לעומתו, הערך "כ"ו בכסלו" קיים רק בעברית וביידיש (כן, יש פרייער ענציקלאפעדיע גם ביידיש, עם יותר מ7,000 ערכים – עסק מעניין בפני עצמו).

נצא מנקודת הנחה שמספר השפות אליהן מתורגם הערך הופכי לחשיבותו. כלומר, הערך על התא האפנדימלי תורגם ל13 שפות ולכן מספק אישוש חלש לקשר בין השפות, ואילו "כו בכסל"ו" תורגם רק לשפה אחת, ומספק לנו אישוש חזק בהרבה על הקשר בין עברית ליידיש.

כדי לכמת את הקשר, נגדיר את המקדם של כל ערך בויקיפדיה להיות ריבוע מספר השפות אליו מתורגם הערך. המקדם של הערך על התא האפנדימלי הוא 169 (13 בריבוע), ואילו המקדם של "כו בכסלו" הוא 1 (1 בריבוע). עבור כל ערך שנדגם, כל אחת משפות התרגום קיבלה ניקוד ההופכי למקדם. כלומר, סלובנית, שוודית ושאר השפות שהערך על התא האפנדימלי תורגם אליהן קיבלו 1/169≈0.00592 נקודות כל אחת עבור הערך, ואילו יידיש קיבלה נקודה אחת עבור כ"ו בכסלו.

צברתי את הערכים עבור 4,003 ערכים אקראיים מהויקיפדיה העברית (שהם כ4% מהערכים) והרי התוצאות:

ro 6.238
fi 6.302
sv 8.027
ar 8.420
ja 10.426
cs 10.829
pt 10.914
nl 13.281
es 14.357
it 15.747
yi 19.878
pl 20.503
ru 22.485
fr 30.873
de 31.004
en 290.949
831.000


קצת פרשנות

את מספר הנקודות הרב ביותר קיבל ה"אין תרגום", כלומר ערכים שאינם קיימים בשפות אחרות. צריך להזהר מעט מהנתון הזה, משום שיכול מאוד להיות שהערכים קיימים בשפות אחרת אך אף ויקיפד לא יצר קישור ביניהן. בכל מקרה, הנתון הזה מעניין כי הוא יכול לאפיין את היחידאות, או הבידוד, של שפה מסויימת.

השפות הבאות בתור, לפי סדר ניקוד יורד, הן אנגלית (290.9), גרמנית (31.0), צרפתית (30.87), רוסית (22.49), פולנית (20.50), יידיש (19.88) ואיטלקית (15.74). מעניין לשים לב לכך שהשפות הנפוצות בויקיפדיה, לפי סדר יורד, הן אנגלית, גרמנית, צרפתית, פולנית, איטלקית, יפנית וספרדית. הנתון המעניין כאן הוא שתי השפות שמספר הערכים המשותפים להן ולעברית גדול בהרבה מהסבירות הסטטיסטית – יידיש ורוסית. וכאן נראה לי שהצלחנו לקלוע יפה.

רעיונות…

• עוד הרצות: אני מחכה בכליון עיניים להרצה הבאה של הסקריפט – על היידיש (אני מצפה לד מיון לעברית ולגרמנית), על שפה סקנדינבית ועל שפה מזרח אירופית.
• ללמוד על מנגנון הקישורים הבין-לשוניים בויקיפדיה. איך נוצרים קישורים בין שפות? האם מדובר בתהליך חצי אוטומטי, או ידני לחלוטין?
• התאמה סטטיסטית: לעבוד על ניתוח סטטיסטי תקף יותר לנתונים.
• העלאת התוצאות לרשת בצורה מסודרת, אולי דרך אפליקציה בגוגל.
• ויזואליזציה, אולי באמצעות דיאגרמות ון.
• תרבויות ושפות: האם ייתכן שלא מדובר בקרבה בין שפות, אלא גם בקרבה בין תרבויות? למשל, הקשר בין רוסית לעברית יכול לנובע מקיומה של קהילה גדולה הדוברת את שתי השפות, ומתרגמת ערכים. זו מחשבה שהופכת את הפרוייקט, בעיני, למעניין הרבה יותר.

אשמח לתגובות.

[פוסט אורח מאת אדם מתן, מפתח תוכנה במקצועו, וסקרן תמידי בזמנו הפנוי. בוגר (בקרוב) של לימודי מדעי המחשב ותכנית כללית למדעי הרוח באוניברסיטה העברית. הפוסט פורסם במקור בבלוגו "הבלוג הכחול"]