רוב המקורות חדשים ובכתבי עת בולטים
מבין 3,787 המקורות הייחודיים, 25.9% פורסמו בכתבי עת שהחוקרים הגדירו ככתבי עת מובילים ברפואה ובמדע, ובהם The New England Journal of Medicine, The Lancet, JAMA, BMJ, Nature, Science ו-Cell וכתבי העת המסונפים להם. עוד 47.3% הופיעו בכתבי עת שדורגו ברבעון העליון בתחומם.
שנת הפרסום החציונית הייתה 2022, ו-69.8% מהמקורות פורסמו משנת 2020 ואילך. החוקרים לא מצאו אף כתב עת טורפני, כלומר כתב עת המתחזה לבמה מדעית תקינה בלי לקיים מנגנוני שיפוט ועריכה ראויים.
לצד המאמרים שעברו ביקורת עמיתים הופיעו גם סקירות קוקרן, מסמכי מינהל המזון והתרופות האמריקני, הנחיות מקצועיות, ספר האבחנות הפסיכיאטריות ומקורות ממשלתיים. מקורות אלה היו 5.7% מכלל ההפניות, אך ממשק המערכת הציג את כל סוגי המקורות באותו אופן ולא סימן למשתמש מהו מעמדו של כל אחד מהם.
ריכוז גבוה של מקורות בקרדיולוגיה
הרכב המקורות השתנה במידה ניכרת בין התחומים. בקרדיולוגיה, 21.1% מהמקורות הייחודיים הגיעו מ-Journal of the American College of Cardiology. זה היה הריכוז הגבוה ביותר של כתב עת יחיד במחקר, לעומת 5.6% בלבד לכתב העת המוביל באונקולוגיה.
החוקרים מציינים כי הריכוז עשוי לשקף את מרכזיותן של הנחיות הקולג' האמריקני לקרדיולוגיה, אך ייתכן שהוא מושפע גם מהרכב המאגר, מהסכמי רישוי ומהמקורות שאליהם יש ל-OpenEvidence גישה. רשימת המקורות המלאה של המערכת ותנאי הכללתם אינם גלויים לציבור, ולכן לא ניתן להפריד בין ההסברים.
מדוע התוצאה שונה ממחוללי טקסט כלליים
OpenEvidence פועלת באמצעות אחזור מידע ממקורות רפואיים קיימים ומאונדקסים ולא מסתמכת רק על יכולתו של דגם שפה לייצר תשובה. המערכת משתמשת, בין היתר, בתכנים ברישיון מרשת JAMA, מארגון קוקרן, מרשת הסרטן האמריקנית וממקורות מקצועיים נוספים.
החוקרים השתמשו באותן 150 שאלות ששימשו במחקר קודם לבחינת GPT-4 ו-Gemini Pro, שבו תועדו הפניות רפואיות בדויות. ההשוואה אינה ניסוי ישיר בין הגרסאות העדכניות של המערכות, אך היא ממחישה את יתרונו האפשרי של מנגנון אחזור המוגבל למקורות אמיתיים.
מקור אמיתי אינו מבטיח תשובה נכונה
זו ההסתייגות החשובה ביותר: המחקר בדק אם המקור קיים ואם פרטיו הביבליוגרפיים נכונים, אך לא בדק אם הוא אכן תומך במשפט שלצדו הוצג. לכן אי-אפשר להסיק שהמערכת סיפקה תשובות רפואיות נכונות, פירשה את המחקרים כראוי או הציגה המלצות בטוחות לשימוש קליני.
גם פרסום בכתב עת יוקרתי אינו מבטיח שכל מאמר איכותי או מתאים לשאלה. מקור אמיתי עלול להיות חלש, ישן, לא רלוונטי או מצוטט מחוץ להקשרו. בנוסף, מאמר אמיתי עשוי להכיל בעצמו טעויות או הפניות בדויות - שכבה שהמחקר הנוכחי לא בחן.
כל השאלות הוזנו בידי חוקר אחד בין מרס לאפריל 2026, מחשבון שהוגדר כחשבון של סטודנט לרפואה. המערכת עשויה להתאים תשובות לסוג המשתמש, ולכן אין ודאות שהתוצאות יהיו זהות בחשבון של רופא מומחה. הבדיקה כללה מערכת אחת, חמישה תחומים ושאלות מחקר מובנות, ולא שאלות קצרות וחופשיות מהעבודה הקלינית השוטפת.
; פייסבוק 
תפוס כינוי יחודי
דיוקנו של הרפתקן...
