הדירות
הדירוּת (באנגלית: replicability ,reproducibility או repeatability) במדע היא היכולת לקבל שוב ושוב את אותן התוצאות של ניסוי מדעי או תצפית מדעית.
הדירות נחשבת בדרך-כלל כתנאי הכרחי לקיומו של מדע בעל-ערך. תוצאות ותצפיות שלא ניתן לחזור עליהן נחשבות כסממן של תגליות שגויות, פסבדו-מדע, או תחום קדם-מדעי שעדיין איננו מבוסס דיו.
הגדרות ומונחים
עריכההמונח "הדירות" בעברית חודש על ידי האקדמיה ללשון העברית, על פי שורש ממקור ארמי ה-ד-ר שמשמעותו "חזרה", וממנו נגזרה גם המילה "הדרן".[א]
באנגלית מתייחסים למושג במונחים replicability, repeatability או reproducibility. אין קונצנזוס כלל-מדעי לגבי המשמעות המדויקת של כל אחד מן המונחים האלו, אף כי בתחומים מסוימים של מדע עשויים להעדיף אחד מהם למשמעות מסוימת. המונח reproducible research נמצא מאז המאה ה-21 בשימוש בעיקר בתחום מדעי המחשב לציון היכולת לשחזר מתוך תצפית או ניסוי שכבר נערכו את הניתוח הסטטיסטי, התוצאות, הטבלאות והגרפים שפורסמו בספרות המדעית (ראו למטה בסעיף "מחקר הדיר"). בעקבות זאת יש המשתמשים במונח replicability ליכולת לערוך מחדש את הניסוי או התצפית ולקבל שוב ושוב את אותן התוצאות, למשל במועד אחר, על ידי נסיין אחר, או במעבדה אחרת. בתחומי הרפואה והפסיכולוגיה המונח repeatability בדרך-כלל מתייחס למידת הזהות בתוצאות של בדיקות חוזרות שנערכו באותו הנבדק, אך בתחומים אחרים מונח זה עשוי להתייחס גם לתוצאות בנבדקים שונים או בקבוצות שונות של נבדקים.
היסטוריה
עריכההראשון שביסס את חשיבותה של ההדירות במדע היה חלוץ המדע הניסויי רוברט בויל, במאה ה-17 בבריטניה. משאבת האוויר שפיתח בויל נבנתה כדי ליצור ולחקור ריק, אלא שמושג זה היה שנוי בזמנו במחלוקת פילוסופית קשה, והיו פילוסופים כמו רנה דקארט ותומאס הובס שסברו שריק איננו אפשרי. בויל נדרש איפוא לשאלה מהי עובדה מדעית, וקבע כי זוהי תוצאה אשר ניתן למדוד אותה באופן הדיר, כלומר פעם אחר פעם, ולשכנע את חברי הקהילה המדעית בקיומה. באותו זמן הניח בויל גם את היסודות למושגים נוספים העומדים בבסיס השיטה המדעית המודרנית, כמו המאמר המדעי, והיה בין מייסדי הקהילה המדעית המודרנית הראשונה - החברה המלכותית הבריטית.
משאבת האוויר, שבמושגי המאה ה-17 הייתה מכשיר מדעי יקר, מסובך וקשה לבנייה, גם הובילה לוויכוח המתועד הראשון על הדירות של תופעה מסוימת במדע. המדען ההולנדי כריסטיאן הויגנס בנה באמסטרדם את משאבת האוויר הראשונה שלא נמצאה תחת שליטתם הישירה של בויל ועוזרו רוברט הוק. הוא דיווח על תופעה שבה הריק בתוך המשאבה שלו גרם למים "לרחף" בראש שפופרת ריקה (למעשה מוחזקים על ידי בועת אוויר, מה שהויגנס כינה "anomalous suspension"). הוק ובויל לא הצליחו לשחזר את התופעה במשאבות האוויר שלהם, וכתוצאה מכך עלו ספקות לגבי נושא הריק בכללותו, ולגבי סמכותו המדעית של הויגנס בפרט. בהליך יוצא-דופן באותה תקופה הוזמן הויגנס לאנגליה בשנת 1663, ובהנחייתו הישירה הצליח הוק לשחזר את התופעה. בעקבות זאת נבחר הויגנס כחבר זר בחברה המלכותית. הסיבה המדויקת לחוסר ההדירות בתופעה זו הובררה במלואה רק במאה ה-20.
הסטטיסטיקאי רונלד פישר, שהניח בין השאר את היסודות לשיטה המדעית המודרנית של מובהקות סטטיסטית, כתב בחיבורו הקלאסי "תכנון ניסויים" משנת 1935 כי "אנחנו יכולים לומר שתופעה ניתנת להדגמה באופן ניסויי כאשר אנו יודעים לבצע ניסוי אשר רק לעיתים רחוקות יתן לנו תוצאה בלתי-מובהקת סטטיסטית". הפילוסוף של המדע קרל פופר היה בוטה יותר בחיבורו משנת 1934 "הלוגיקה של תגליות מדעיות" (שהציג את עקרון ההפרכה), בו כתב "מקרים בודדים ובלתי-הדירים הם חסרי משמעות למדע". אמירות מעין אלו מבטאות דוגמה רווחת בקהילה המדעית המודרנית, בעיקר בתחומי מדעים מדויקים ומדעי החיים, לפיה הדירות היא תנאי הכרחי (אם גם לא מספיק) לביסוסה של עובדה מדעית, ולעצם קיומה של סמכות מדעית בנושא כלשהו. למשל, בתחילת שנות ה-90 דחתה מרבית הקהילה המדעית את הטענות לביצוע היתוך קר. נימוק עיקרי לדחייה היה כישלונם של מרבית הניסיונות לשחזר את התופעה, אפילו לפני שהתגלתה השגיאה המקורית בחישוביהם של הכימאים שטענו לתגלית.
מחקר הדיר
עריכהמחקר הדיר (Reproducible Research) הוא תחום חדש במדעי המחשב, העוסק ביכולת לחשב שוב מתוך נתונים שכבר נמדדו את התוצאות, הטבלאות והגרפים שפורסמו בספרות המדעית. יכולת כזו נחשבת כבסיס הכרחי למדע מודרני, אך מסובכת לביצוע בעיקר בתחומים מדעיים שבהם מחקרים מודדים כמויות עצומות של נתונים באופן אוטומטי, אוגרים אותם במסדי נתונים גדולים, ולעיתים מבצעים עליהם חישובים הדורשים כוח חישובי עצום. דוגמאות טיפוסיות הם:
- בתחום האסטרונומיה, סקרי שמיים המקטלגים מספרים עצומים של כוכבים, גלקסיות ועצמים שמימיים אחרים.
- בתחום המטאורולוגיה, נתוני מזג אוויר, הנאספים מלוויינים מטאורולוגים ותחנות מטאורולוגיות.
- בתחום הגנטיקה והביואינפורמטיקה, פיענוח רצפי דנ"א בגנומים, חיפוש בתוכם, וקישורם עם התכונות הפנוטיפיות.
- בתחום הרפואה, נתוני נבדקים רבים בניסויים ומחקרים המחפשים קשר בין תנאים שונים למחלות שונות.
מסדי הנתונים במחקרים מעין אלו הם גדולים מכדי לפרסמם במאמרים מדעיים. לצורך זה מוקמים מסדי נתונים מיוחדים, שהם לעיתים ציבוריים ופתוחים ברשת האינטרנט.
דרישה חשובה נוספת במחקר הדיר היא לשמור ולפרסם את התוכנה ששימשה לניתוח הנתונים באופן שניתן יהיה לחזור על החישובים ולקבל שוב תוצאות זהות. יכולת כזו חשובה בעיקר כאשר מבקשים לברר באיזו מידה תוצאות ומסקנות המחקר שהתפרסמו תלויות בהנחות מפשטות שונות, בשיטות בחישוב שנעשה בהן שימוש, ואפילו בבאגים וטעויות שנפלו בביצוע ההליך החישובי המסובך.
תגליות שגויות
עריכה- ערך מורחב – שגיאות מסוג I ו-II
במאה ה-21 הזהירו מספר מדענים מפני כשלים ונטאים העלולים לגרום לחוסר הדירות בתחומים מסוימים של המדע המודרני, ובעיקר בפסיכולוגיה וברפואה. מבין מדענים אלו מפורסם בייחוד ג'ון יואנידיס, אפידמיולוג אמריקאי הטוען שבתחומים המדוברים, יותר מ-50% מן ה"תגליות" אשר מתפרסמות במאמרים מדעיים אינן משוחזרות בניסויים נוספים, והן למעשה שגויות.[1]
בין הכשלים והנטאים אשר עלולים להשפיע על שיעור התגליות השגויות: הטיית פרסום: כתבי-עת מדעיים לעיתים קרובות מעדיפים לפרסם מחקרים המכריזים על תגליות, ובייחוד תגליות הזוכות לעניין ציבורי ופרסום באמצעי התקשורת, מאשר מחקרים הבודקים תגליות קודמות ומודיעים על כישלון לשחזר אותן. הטיית פרסום נגרמת גם משום שחוקרים הנכשלים בשחזור תגלית עליה דיווח חוקר אחר אף אינם מנסים לפרסם את כישלונם, אם משום שהם מאשימים את עצמם בשגיאות טכניות ואם משום שהם מודעים לקושי לפרסם תוצאות שליליות.
(א) נניח שבשנה מסוימת בתחום מסוים במדע נבדקו בניסויים 1000 השערות (משבצות), שמתוכן 100 השערות - שיעור של 10% - הן אכן נכונות (משבצות צהובות) והשאר שגויות (משבצות ירוקות).
(ב) לא כל ההשערות הנכונות תהפוכנה בהכרח לתגליות - העוצמה הסטטיסטית היא אחוז ההשערות אשר מתגלות בפועל בניסוי מתוך ההשערות הנכונות. אם נניח שבתחום המדעי המדובר העוצמה הסטטיסטית היא 80%, אזי רק 80 מתוך 100 ההשערות הנכונות תתקבלנה בניסויים כתגליות, בעוד ששאר ה-20 יחמקו מגילוי (משבצות כחולות). יתר על כן, אם רמת המובהקות הסטטיסטית הנהוגה בתחום היא 5%, אז מתוך 900 ההשערות שאינן נכונות, 5% או 45 השערות תתקבלנה בטעות כ"תגליות" (משבצות אדומות).
(ג) המספר הכללי של תגליות שתתפרסמנה באותה השנה בספרות המדעית יהיה איפוא 45+80=125, ומתוכן 45 תהיינה שגויות - שיעור תגליות שגויות של 36% הגבוה בהרבה מרמת המובהקות.
כתוצאה מהטיית הפרסום, עלול להתרחש מצב שבו, למשל, אותם מחקרים שמצאו כי לתרופה חדשה יש השפעה חזקה מתפרסמים, בעוד שמחקרים אחרים שלא מצאו השפעה שלה אף אינם מגיעים לידיעת הקהילה המדעית בתחום. בשנים האחרונות חוקרים מציעים נהלים ומתודולוגיות חדשות במדע במטרה לבטל את השפעתם של נטאים כאלו.
כשל נפוץ אפילו בין מדענים רבים הוא לחשוב שאחוז התגליות השגויות במדע אינו יכול להיות גדול מרמת המובהקות הסטטיסטית המקובלת. במדעי הרפואה והביולוגיה מקובל לדחות השערה כאשר המובהקות הסטטיסטית בניסוי שבדק אותה שווה או גדולה מ-0.05 (שהם 5%), ולכן מדענים רבים סבורים אינטואיטיבית שלכל היותר 5% מן התגליות המתפרסמות בתחום הרפואה והביולוגיה עלולות להיות שגויות. אך ההגדרה הנכונה של מובהקות סטטיסטית היא הסיכוי לקבל את תוצאות הניסוי בהנחה שהשערת האפס היא נכונה, כלומר בהנחה שהשערת הניסוי שגויה (טעות מסוג I או בכינוי נפוץ באנגלית false positive). אחוז התגליות השגויות הכללי במדע תלוי לא רק ברמת המובהקות, אלא גם בשני גדלים חשובים נוספים - העוצמה הסטטיסטית, ובייחוד אחוז ההשערות הנכונות מתוך כלל ההשערות שנבדקו. בכך ניתן להיווכח בדוגמה המספרית ההיפותטית באיור שמשמאל.
בדוגמה זו ניתן לראות שלאחוז ההשערות הנכונות מתוך כלל ההשערות הנבדקות יש חשיבות רבה. אם מרבית ההשערות שמדענים בודקים בתחום מסוים אינן נכונות, אזי אפילו האחוז הקטן מתוכן שמתקבלות בטעות כתגליות עלול להיות גדול ממעט ההשערות הנכונות. למשל, אם בדוגמה המספרית באיור שמשמאל נקטין את אחוז ההשערות הנכונות ל-1% בלבד יתקבל שיעור תגליות שגויות של 86%. במצב היפותטי כזה גם רמת המובהקות הסטטיסטית המחמירה שדורשים המדענים בניסוי אינה מספקת להציל את התחום מן הקושי לנסח השערה נכונה. יואנידיס טוען כי מצב כזה שבו "רוב התגליות המתפרסמות הן שגויות" אכן מתרחש בפועל בתחומי מדע בעלי בסיס תאורטי חלש יחסית, כמו פסיכולוגיה.[1]
חשוב לציין כי תהיה זו טעות להסיק שמרבית העובדות הנחשבות לקונצנזוס מדעי במדע המודרני הן בעצם שגויות. ממצאים אשר נחשבים לקונצנזוס במדע בדרך-כלל נבדקו ואושרו פעמים רבות, ולכן רמת הוודאות בהם קרובה ל-100%. הטיעון למעלה עוסק ב"תגליות" שהתקבלו רק פעם אחת ועדיין לא שוחזרו. מכאן מתחוורת חשיבותה העצומה של ההדירות לאמינותו של המדע.
אפקטים מתמעטים
עריכהבמקרים רבים במדע המודרני, אפילו כאשר מצליחים לשחזר תגליות חדשות במועד מאוחר יותר, על ידי נסיין אחר או במעבדה אחרת, מידת ההשפעה הנמדדת (ידועה כגודל האפקט, אנגלית: Effect Size) עלולה להיות קטנה ממידת ההשפעה שנמדדה במקור. מדענים התייחסו לתופעה זו במונח הפופולרי קללת המנצח (אנגלית: Winner's Curse) השאול מתחום הספורט, שם הוא מציין את חוסר יכולתו של ספורטאי שהשיג ניצחון או שיא מזהיר כלשהו לחזור עליו שוב.
קללת המנצח במדע נפוצה בעיקר בתחומים שבהם מקובל לבדוק השערות באמצעות רווחי סמך. רווח הסמך מתאר תחום סביר לעוצמת ההשפעה שנמדדה בניסוי. לדוגמה, בניסוי רפואי לאמידת השפעתה של תרופה חדשה כלשהי ייתכן שיחושב רווח סמך של 95% לשיפור שבין פי 2 לפי 4, במדד מקובל כלשהו לבריאות החולים. העובדה שאפילו הקצה התחתון של רווח זה גדול מפי 1 פירושה שנמצאה לתרופה השפעה לטובה מובהקת סטטיסטית, ובניסוי חוזר לבדיקת התרופה נצפה למצוא 95% מן התוצאות בין פי 2 לפי 4. ואולם הניסוי החוזר עלול למצוא שרוב התוצאות נופלות בין פי 1 לפי 2, כלומר התרופה עדיין משפיעה לטובה במרבית המקרים, אך במידה פחותה בהרבה מזו שנאמדה בניסוי המקורי. מכיוון שבדרך-כלל לא נראה סביר לצפות שמידת השפעתה של תרופה תפחת עם הזמן בניסוי בלתי-תלוי, תוצאה כזו מעלה חשד שבניסוי המקורי נאמד בטעות ערך גבוה מן הערך האמיתי של השפעת התרופה.
דוגמאות מפורסמות לתגליות שגויות או שנויות במחלוקת
עריכההאם הגרעון הממשלתי גורם למשבר הכלכלי?
עריכהמקרה מפורסם שהדגים את חשיבותו של מחקר הדיר אירע במאמר חשוב משנת 2010 מאת קן רוגוף וכרמן ריינרט מאוניברסיטת הרוורד, בעברם כלכלנים ראשיים של קרן המטבע הבינלאומית. המאמר השווה את הגרעון הממשלתי ב-20 מדינות שונות, הגיע למסקנות קשות מאוד לגבי חומרת המשבר הכלכלי, והייתה לו השפעה רבה על ניהול החוב החיצוני במדינות האיחוד האירופי, ובעיקר ביוון ופורטוגל. אך בשנת 2013 גילה סטודנט לכלכלה באוניברסיטת מסצ'וסטס אי-התאמות חשבוניות במאמר. הוא ביקש מן החוקרים את גיליון האקסל שבו נעשו החישובים, ומצא שעקב טעות, נוסחת הסכום החשובה ביותר שלהם סכמה רק 15 מתוך 20 המדינות, מה שהוליך לשגיאה גדולה בתוצאה הסופית[2].
נייטרינים מהירים מן האור?
עריכהבמקרה מפורסם אחר ב-2011, התפרסם מאמר[3] על ידי מדענים מ-CERN לפיו במהלך ניסויים שנערכו במשך 3 שנים, נמדדה לחלקיקי נייטרינו מהירות הגבוהה ממהירות האור, תוצאה בלתי אפשרית לפי תורת היחסות הפרטית.[4] אף שהמדענים עצמם נזהרו מלטעון לתגלית חדשה, והצביעו על הצורך בבדיקות נוספות של הממצא, פרץ גל של תאוריות המנסות להסביר את השלכות התוצאה על הפיזיקה המודרנית.[5] רק לאחר יותר משישה חודשי בדיקות נוספות הסתבר בפברואר 2012 שכבל אופטי היה מחובר בצורה רופפת לאחד מהשעונים האטומיים שמדדו את זמן היציאה וההגעה של חלקיקי הנייטרינו, ובשל כך נתן מדידת זמן שגויה.[6] ביוני אותה שנה, לאחר בדיקה מתוקנת, נמצא שמהירות הנייטרינו למעשה קטנה ממהירות האור.[7]
איזה פנטאקווארקים קיימים?
עריכהפנטאקווארק הוא סוג של חלקיק תת-אטומי שישנם חילוקי דעות לגבי קיומו. לפי התאוריה של המודל הסטנדרטי, שפורסם על-ידי מארי גל-מאן כבר בשנת 1964, הוא מורכב מחמישה קווארקים, או ליתר דיוק ארבעה קווארקים ואנטי-קווארק אחד. למרות זאת התברר שקשה להפליא לגלות פנטקווארקים, וכמה פיזיקאים החלו לחשוד שחוק טבע לא ידוע מונע את ייצורם.[8] הטענה הראשונה לגבי גילוי של פנטאקווארק תועדה בניסוי החלקיקים LEPS שביפן בשנת 2003, ומספר ניסויים באמצע שנות ה-2000 דיווחו גם על גילוים של מצבי פנטאקווארק אחרים.[9] ניסויים נוספים לא הצליחו לשכפל את התוצאות של LEPS, וכיום סבורים שהן שגויות, בעוד טענות נוספות לגילוי הפנטאקווארק לא התקבלו כלל, עקב נתונים וניתוחים סטטיסטיים ירודים.[10] ב-13 ביולי 2015, קבוצת LHCb ב-CERN דיווחה על "תוצאות העולות בקנה אחד" עם מצבי פנטאקווארק בדעיכה של באריון למדא תחתון ( 0bΛ).[11] ב-16 במרץ 2019, קבוצת LHCb הכריזה על גילוי של פנטאקווארק חדש, שלא נצפה לפני כן.[12]. תצפיות אלו עברו סף מובהקות סטטיסטית מחמיר יותר של חמש סטיות תקן מן הממוצע ("5-סיגמא", שבהנחת התפלגות נורמלית הוא סיכוי של בערך אחד לשני מיליון לעשות טעות מסוג-I אם השערת האפס נכונה), הנדרש כיום לפרסום גילויים של חלקיקים חדשים.
"משבר ההדירות"
עריכה"משבר ההדירות" (באנגלית: "Replication Crisis") הוא מונח המתייחס לבעיה מתמשכת בהדירות של מחקרים מדעיים. נמצא כי שחזורן של תוצאות מחקרים רבים קשה עד בלתי אפשרי. ממצאים ראשונים ודיון מעמיק במשבר ההדירות החלו בתחומי הפסיכולוגיה והרפואה, אך מחקרים מהשנים האחרונות הראו כי הבעיה נפוצה מאוד גם בתחומי ידע אחרים. בהיותה של ההדירות מרכיב יסודי של השיטה המדעית, משבר זה מערער את המהימנות של הידע המדעי.[13] לכן, משבר ההדירות מהווה בעיה ממשית בעולם המדע; מיזמים והצעות שונים הועלו על ידי הקהילה המדעית במטרה להביא לפתרון המשבר או לצמצומו.[14][15][16][17]
בתרבות המדעית
עריכההחשיבות הרבה של הדירות במדע משמעה ש"תוצאה לא הדירה" נחשבת מעין בדיחה. בשנת 1955, החלו הפיזיקאי צבי ליפקין ממכון ויצמן למדע ואלכסנדר כהן, מנהל המכון למחקר ביולוגי בישראל להוציא לאור כתב עת היתולי למדענים בשם Journal of Irreproducible Results, כלומר "כתב עת לתוצאות בלתי הדירות", המוכר יותר כ-JIR (אנ'). לאחר שעבר מספר ידיים, כתב העת יוצא לאור מהוצאה בקליפורניה שבארצות הברית. אחד מעורכי המגזין ייסד את פרס איג נובל.
ראו גם
עריכהלקריאה נוספת
עריכה- Steven Shapin and Simon Schaffer (1985) Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life. (2011 edition), Princeton University Press, Princeton, NJ
- Asendorpf J. B. et al (2013) Recommendations for Increasing Replicability in Psychology; European Journal of Personality, Vol. 27, pp. 108–119, DOI: 10.1002/per.1919
- Trouble at the lab, The Economist, Oct 19, 2013
קישורים חיצוניים
עריכה- אתר הקבוצה לחקר ההדירות באוניברסיטת תל אביב (באנגלית).
- אתר הפרויקט לבדיקה מחדש של תגליות מדעיות (באנגלית).
- כתבות ומאמרים בגיליון מיוחד של Nature המוקדש להדירות במדע (באנגלית).
- "הסקה תוך בחירה: הרוצח השקט של ההדירות".הרצאה בווידאו של הסטטיסטיקאי יואב בנימיני בערוץ יוטיוב של אוניברסיטת תל אביב (באנגלית).
- האם רוב הממצאים המדעיים המתפרסמים שגויים? וידאו ביוטיוב בערוץ Veritasium של דרק מולר. (באנגלית)
ביאורים
עריכה- ^ הפילוסוף של המדע יוסף אגסי נהג להעיר בהרצאותיו כי המילה "חזירות" בעברית כבר הייתה תפוסה.
הערות שוליים
עריכה- ^ 1 2 John P. A. Ioannidis, Why Most Published Research Findings Are False, PLoS Medicine DOI: 10.1371/journal.pmed.0020124, 2005
- ^ Paul Krugman, The Excel Depression. New York Times, April 18, 2013
- ^ מאמר מאת מדענים מ-CERN
- ^ אתר חדשות ה-BBC
- ^ Leading Light: What Would Faster-Than-Light Neutrinos Mean for Physics?, סיינטיפיק אמריקן (באנגלית)
- ^ הפרסום באתר של CERN
- ^ אתר CERN
- ^ H. Muir (2 ביולי 2003). "Pentaquark discovery confounds sceptics". New Scientist. נבדק ב-2010-01-08.
{{cite web}}
: (עזרה) - ^ K. Hicks (23 ביולי 2003). "Physicists find evidence for an exotic baryon". Ohio University. אורכב מ-המקור ב-8 בספטמבר 2016. נבדק ב-2010-01-08.
{{cite web}}
: (עזרה) - ^ See p. 1124 in C. Amsler et al. (Particle Data Group) (2008). "Review of particle physics" (PDF). Physics Letters B. 667 (1–5): 1–6. Bibcode:2008PhLB..667....1A. doi:10.1016/j.physletb.2008.07.018.
- ^ R. Aaij et al. (LHCb collaboration) (2015). "Observation of J/ψp resonances consistent with pentaquark states in Λ 0b→J/ψK−p decays". Physical Review Letters. 115 (7): 072001. Bibcode:2015PhRvL.115g2001A. doi:10.1103/PhysRevLett.115.072001. PMID 26317714.
{{cite journal}}
: תחזוקה - ציטוט: date and year (link) - ^ "LHCb experiment discovers a new pentaquark". CERN. 26 במרץ 2019. נבדק ב-26 באפריל 2019.
{{cite web}}
: (עזרה) - ^ Staddon John, Scientific Method: How Science Works, Fails to Work, and Pretends to Work, 1, New York, NY : Routledge, 2018.: Routledge, 2017-12-01, ISBN 978-1-315-10070-8. (באנגלית)
- ^ Center for Open Science, Reproducibility Project: Cancer Biology, www.cos.io (באנגלית)
- ^ Christopher Jon Anderson, Joanna Anderson, Marcel A. L. M. van Assen, Peter Raymond Attridge, Reproducibility Project: Psychology, 2012-04-01 doi: 10.17605/OSF.IO/EZCUJ
- ^ Monya Baker, 1,500 scientists lift the lid on reproducibility, Nature 533, 2016-05-26, עמ' 452–454 doi: 10.1038/533452a
- ^ Or Cohen‐Sasson, Ofer Tur‐Sinai, Facilitating open science without sacrificing IP rights: A novel tool for improving replicability of published research, EMBO reports 23, 2022-09-05 doi: 10.15252/embr.202255841