האם מדד H-index הוא כלי מהימן להערכת חוקרים?

מאת: ד"ר מיכל כהנא || 22 בדצמבר 2024 ⇐

מהו מדד H-index?

מדד ה-(H-index) הוצע על ידי הפיזיקאי חורחה הירש (Hirsch, 2005) ככלי למדידת הפרודוקטיביות וההשפעה של חוקרים על בסיס מספר המאמרים שפרסמו ומספר הציטוטים שקיבלו. המדד משמש גם להשוואה בין חוקרים ולהערכת התפוקות המחקריות שלהם והשפעתם בתוך הקהילה האקדמית בתחום מחקרי ספציפי. הירש (Hirsch, 2005) תיאר את המדידה באופן הבא: "לחוקר יש H-index אם h מתוך Np הפרסומים קיבלו לפחות h ציטוטים כל אחד, ושאר (Np – h) הפרסומים קיבלו לכל היותר h ציטוטים כל אחד" (Hirsch, 2005, p. 165). בפועל, הירש מציע להשתמש במספר יחיד המשלב בין מספר הפרסומים לבין מספר הציטוטים, כדי לחשב באופן מדויק את הערכת האימפקט של חוקרים על ידי עמיתיהם.

חישוב המדד:

מדד ה-H-index מתחשב בשני גורמים: מספר הפרסומים של החוקר ומספר הציטוטים לכל פרסום. המדד מבוסס על מיון הפרסומים לפי מספר הציטוטים בסדר יורד ומציין את המיקום הגבוה ביותר שבו מספר הציטוטים לפרסום הוא לפחות שווה למספר הסידורי של אותו פרסום. לדוגמה: לחוקר שיש לו חמישה פרסומים ומספר הציטוטים של כל פרסום בסדר יורד הוא: פרסום a (קיבל 12 ציטוטים); b (10 ציטוטים); c (8 ציטוטים); d (3 ציטוטים); e (2 ציטוטים). במקרה כזה, המדד ה-h של החוקר יהיה 3, שכן לפרסום במיקום השלישי (c), מספר הציטוטים (8) גבוה מהמספר הסידורי של הפרסום (3); ואילו לפרסום במיקום הרביעי (פרסום d) מספר הציטוטים שהתקבלו (3) נמוך יותר מהמספר הסידורי של הפרסום (4).

האם H-index הוא כלי מהימן להערכה האימפקט של חוקרים?

מדד זה נמצא בשימוש נרחב באקדמיה להערכת ההשפעה והמוניטין של חוקרים, ולעיתים קרובות משמש גם בקידום ומסייע לקבלת מענקי מחקר (Cooper et al., 2021; Geraci et al., 2015; Thelwall & Kousha, 2021). עם זאת, המדד עורר מחלוקות בקרב חוקרים מאז הוצג על ידי הירש (Moed, 2005, 2017). מספר הולך וגדל של מחקרים הציעו לנרמל את מדד ה-H-index כדי להתגבר על ליקוייו. בוצעו מספר שינויים במדד ה-H, כגון מדד AR, שלוקח בחשבון את גיל הפרסומים ומסיר הטיה כלפי חוקרים צעירים (Jin et al., 2007); מדד χ, שמאזן בין מספר הפרסומים ומספר הציטוטים עבור חוקרים שיש להם הרבה פרסומים אך לא הרבה ציטוטים (Fenner et al., 2018); ומדד H-frac, המציע לחלק את ספירת הפרסומים והציטוטים בין המחברים בפרסומים מרובי מחברים (Thelwall & Kousha, 2021).

מדד H-index במאגרי ציטוטים

במאגרי ציטוטים, מדד H-index מחושב באופן אוטומטי על ידי המערכת ונשמר בפרופיל של חוקרים. המדד נקבע על על-פי מסד הנתונים של כל מאגר ציטוטים, ולכן חוקרים עשויים לקבל מדד H-index שונה בכל מאגר. הסוגיה נדונה במחקר משווה של בר-אילן (2008 ,Bar-Ilan ) בין מדדי ה –h-index בשלושה מאגרי ציטוטים מרכזיים: WoS, Scopus ו – Google Scholar. נמצא כי במדדי ה – H–index של קבוצת החוקרים במאגרי הציטוטיים המסורתיים, Scopus ו – WoS לא נמצאו הבדלים משמעותיים, כאשר בהשוואה לפער גדול ביחס למדדי ה H-index של החוקרים ב – Google Scholar.

מדד ה-h בהשוואה בין חוקרים

ה-H-index יכול להוביל לאי דיוק בהשוואת השפעתם של חוקרים שונים, כאשר שני חוקרים יכולים לקבל את אותו מדד ה-h, למרות לאחד מהם יש מספר גבוה יותר של פרסומים וציטוטים. לדוגמה, חוקר עם 5 פרסומים ו-55 ציטוטים (בסדר יורד של מספר הציטוטים לפרסום: 21, 16, 12, 4, 2) מדד ה-h שלו יהיה 4. מאידך ייתכן מקרה בו חוקר עם 7 פרסומים ו-108 ציטוטים (43, 25, 16, 15, 4, 3, 2) יקבל אף הוא מדד h של 4.

ההשפעה של גיל אקדמי ושלב בקריירה של חוקרים על מדד ה-h

השימוש ב – H-index להערכת חוקרים, גורם להטיה נגד חוקרים צעירים בתחילת הקריירה בהשוואה לחוקרים בכירים או מנוסים יותר (Bornmann & Daniel, 2007; Thelwall & Kousha, 2021). הגיל האקדמי מתייחס לשנים שחלפו מאז הפרסום הראשון של חוקר ועד לעדכני ביותר. כך שחוקרים הפועלים במשך תקופה ארוכה יותר נוטים להציג מדדים גבוהים יותר (Bar-Ilan, 2008). כאלטרנטיבה להתגבר על מכשול זה ג'ין ואחרים (Jin et al., 2007) הציעו לנרמל את מדד ה-H לפי גיל אקדמי (AR-index).

הטיה מגדרית במדד ה-h

על פי ת'לוול וקושא (Thelwall & Kousha , 2021) טבעו ה"היברידי" של מדד H-index, הכולל פרסומים וציטוטים, קיימת בו הטיה מובנית כלפי נשים, מצביעים על כך שיש לו ערך מועט לצורך הערכות מחקריות פורמליות וא-פורמליות. בפרסומים מוקדמים יותר קליי וג'ניאונס (2007 ,Kelly & Jennions) מצאו שנשים מפרסמות פחות מאמרים ומקבלות פחות ציטוטים לעומת עמיתיהן הגברים, דבר הפוגע במדדי ה-H שלהן.

בהתאם לכך גראצ'י ואחרים (Geraci et al., 2015) בדקו את הקשר בין מגדר למדד ה-H בפסיכולוגיה ומצאו שמגדר משפיע משמעותית על ה – H-index. עם זאת, מדד זה התקבל באופן נרחב באקדמיה, משמש לעיתים קרובות בקידומים אקדמיים, ומופיע במאגרי ציטוטים בפרופיל של מחברים (Moed, 2017; Thelwall & Kousha, 2021). לנוכח גורמים אלו, נשים נמצאות בעמדת נחיתות משמעותית בשל הפוטנציאל לפרשנות שגויה של מדד ה-H כמדד שוויוני לאיכות מחקרית (Kelly & Jennions, 2007).

השפעת פרסום עם מחברים-שותפים על מדד ה-h של חוקרים

פרסומים הנכתבים בשיתוף פעולה בין חוקרים מעלה את הפוטנציאל לעלות את מדד ה-H של המחבר השותף. שיתופי פעולה מאפשרים מחקר רחב ומעמיק יותר, ומובילים לתוצרים מקיפים יותר. בנוסף, שיתופי פעולה יכולים להגביר את הנראות וההשפעה, שכן כל מחבר יכול לתרום בהפצת הפרסום ברשת העוקבים והעמיתים שלו (Pruschak, 2021). כך למשל במחקר של בירנבננד וצ'ראג'י (Biranvand & Cheraghi 2022) נמצא במאגר הציטוטים של Web of Science, מתאם משמעותי בין מחברים עם מספר גבוה יותר של פרסומים בשיתוף מחברים נוספים לבין מדדי ה – H-index שלהם.

קולטון והפנר (2021 ,Koltun & Hafner) הציעו לשנות את מדד ה – H-index כך שכל מחבר שותף יקבל חלק יחסי מהציטוטים בהתאם לתרומתו למחקר. בנוסף הם מצאו כי מדד ה H-index עשוי להיות פחות יעיל בהערכת פרודוקטיביות מחקרית ולא אמין בקביעת מוניטין של חוקרים בתחומי המדעים (ביולוגיה ופיזיקה) ומדעי המחשב. שינויים בפרקטיקות המחקריות בתחומים אלו, עם עלייה גדולה בפרסומים עם מחברים שותפים רבים, הפכו את מדד ה-H-index פחות אפקטיבי ככלי הערכה לאימפקט של חוקרים. קרונין (Cronin, 2001) אף חקר את התופעה של מספר רב מאוד של מחברים-שותפים (hyper authorship) בתחום הביו-רפואה, שאף כללו לעיתים מעל חמישים מחברים לפרסום.

לעומת זאת, מחקרים אחרים כדוגמת מחקר של סדיגי (Sedighi, 2022) לא מצא מתאם בין אימפקט גבוה של חוקרים בתחום מדעי החברה לבין מספר גדול יותר של פרסומים בשיתוף פעולה עם מחברים נוספים. התוצאות הצביעו על כך כי מספר מחברים לפרסום אינו גורם בקביעת האימפקט של החוקרים. ייתכן כי חוסר המתאם הוא תלוי תחום מחקר, כאשר במדעי החברה התופעה של פרסומים עם מספר רב של מחברים אינה נפוצה בדומה למדעים.

ביבליוגרפיה

Bar-Ilan, J. (2008). Which h-index? – A comparison of WoS, Scopus and Google Scholar. Scientometrics, 74(2), 257-271. https://doi.org/10.1007/s11192-008-0216-y

Biranvand, A., & Cheraghi, Z. (2022). Investigating the relationship between altmetrics indicators and scientometric indicators of Iranian researchers in the field of nursing in the period 2000-2019. International Journal of Information Science and Management (IJISM), 20(3), 215-225. https://dorl.net/dor/20.1001.1.20088302.2022.20.3.12.9

Bornmann, L., & Daniel, H. D. (2007). What do we know about the h index?. Journal of the American Society for Information Science and Technology, 58(9), 1381-1385. https://doi.org/10.1002/asi.20609

Cooper, T., Aharony, N., & Bar-Ilan, J. (2021). Gender differences in the Israeli academia: a bibliometric analysis of different disciplines. Aslib Journal of Information Management, 73(2), 60-179. https://doi.org/10.1108/AJIM-05-2020-0170

Cronin, B. (2001). Hyperauthorship: A postmodern perversion or evidence of a structural shift in scholarly communication practices?. Journal of the American Society for Information Science and Technology, 52(7), 558-569. https://doi.org/10.1002/asi.1097

Fenner, T., Harris, M., Levene, M., & Bar-Ilan, J. (2018). A novel bibliometric index with a simple geometric interpretation. PloS One, 13(7). https://doi.org/10.1371/journal.pone.0200098

Geraci, L., Balsis, S., & Busch, A. J. B. (2015). Gender and the h index in psychology. Scientometrics, 105, 2023-2034. https://doi.org/10.1007/s11192-015-1757-5

Hirsch, J.E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569–16572.

Jin, B., Liang, L., Rousseau, R., & Egghe, L. (2007). The R-and AR-indices: Complementing the h-index. Chinese Science Bulletin, 52(6), 855-863.‏ https://doi.org/10.1007/s11434-007-0145-9

Kelly, C. D., & Jennions, M. D. (2007). H-index: age and sex make it unreliable. Nature, 449(7161), 403-403. https://doi.org/10.1038/449403c

Koltun, V., & Hafner, D. (2021). The h-index is no longer an effective correlate of scientific reputation. PLoS One, 16(6). https://doi.org/10.1371/journal.pone.0253397

Moed, H. F. (2005). Citation analysis in research evaluation. Dordrecht, England: Springer.

Moed, H. F. (2017). Applied evaluative informetrics. Springer International Publishing.

Pruschak, G. (2021). What constitutes authorship in the social sciences?. Frontiers in Research Metrics and Analytics, 6, 655350. https://doi.org/10.3389/frma.2021.655350

Sedighi, M. (2022). Altmetrics analysis of selected articles in the field of social sciences. Global Knowledge, Memory and Communication, 72(4/5), 452-463. https://doi.org/10.1108/GKMC-07-2021-0124

Thelwall, M., & Kousha, K. (2021). Researchers’ attitudes towards the h-index on Twitter 2007–2020: criticism and acceptance. Scientometrics, 126(6), 5361-5368. https://doi.org/10.1007/s11192-021-03961-8