April 14, 2024

Η πρώιμη έρευνα για τον COVID-19 μαστίζεται από κακές μεθόδους και αποτελέσματα χαμηλής ποιότητας – ένα πρόβλημα για την επιστήμη που επιδεινώθηκε αλλά δεν δημιούργησε η πανδημία.

Στην αρχή της πανδημίας COVID-19, οι ερευνητές πλημμύρισαν τα περιοδικά με μελέτες για τον τότε νέο κορωνοϊό. Πολλά περιοδικά απλοποίησαν τη διαδικασία αξιολόγησης από ομοτίμους για άρθρα σχετικά με τον COVID-19, διατηρώντας τα ποσοστά αποδοχής σχετικά υψηλά. Θεωρήθηκε ότι οι υπεύθυνοι χάραξης πολιτικής και το κοινό θα ήταν σε θέση να εντοπίσουν έγκυρη και χρήσιμη έρευνα μεταξύ ενός μεγάλου όγκου πληροφοριών που διαδίδονται γρήγορα.

Ωστόσο, στην ανασκόπηση 74 άρθρων για τον COVID-19 που δημοσιεύτηκαν το 2020 στα κορυφαία 15 περιοδικά γενικής δημόσιας υγείας που αναφέρονται στο Google Scholar, διαπίστωσα ότι πολλές από αυτές τις μελέτες χρησιμοποίησαν μεθόδους κακής ποιότητας. Αρκετές άλλες ανασκοπήσεις μελετών που δημοσιεύθηκαν σε ιατρικά περιοδικά έχουν επίσης δείξει ότι μεγάλο μέρος της πρώιμης έρευνας για τον COVID-19 χρησιμοποιούσε κακές ερευνητικές μεθόδους.

Μερικά από αυτά τα άρθρα έχουν αναφερθεί πολλές φορές. Για παράδειγμα, η δημοσίευση για τη δημόσια υγεία με τις περισσότερες αναφορές που παρατίθεται στο Google Scholar χρησιμοποίησε δεδομένα από ένα δείγμα 1.120 ατόμων, κυρίως μορφωμένων νεαρών γυναικών, που στρατολογήθηκαν κυρίως στα μέσα κοινωνικής δικτύωσης για τρεις ημέρες. Τα ευρήματα που βασίζονται σε ένα μικρό, αυτοεπιλεγμένο δείγμα ευκολίας δεν μπορούν να γενικευθούν σε έναν ευρύτερο πληθυσμό. Και δεδομένου ότι οι ερευνητές πραγματοποίησαν περισσότερες από 500 αναλύσεις των δεδομένων, πολλά από τα στατιστικά σημαντικά αποτελέσματα είναι πιθανώς τυχαία περιστατικά. Ωστόσο, αυτή η μελέτη έχει αναφερθεί περισσότερες από 11.000 φορές.

Ένα άρθρο με υψηλή αναφορά σημαίνει ότι πολλοί άνθρωποι το έχουν αναφέρει στη δουλειά τους. Ωστόσο, ένας μεγάλος αριθμός αναφορών δεν συνδέεται στενά με την ποιότητα της έρευνας, καθώς οι ερευνητές και τα περιοδικά μπορούν να παίξουν και να χειριστούν αυτές τις μετρήσεις. Οι υψηλές αναφορές έρευνας χαμηλής ποιότητας αυξάνουν τη δυνατότητα χρήσης ανεπαρκών αποδεικτικών στοιχείων για την ενημέρωση της πολιτικής, διαβρώνοντας περαιτέρω την εμπιστοσύνη του κοινού στην επιστήμη.

Η μεθοδολογία έχει σημασία

Είμαι ερευνητής δημόσιας υγείας με μακροχρόνιο ενδιαφέρον για την ποιότητα και την ακεραιότητα της έρευνας. Αυτό το ενδιαφέρον έγκειται στην πεποίθηση ότι η επιστήμη έχει βοηθήσει στην επίλυση σημαντικών κοινωνικών προβλημάτων και προβλημάτων δημόσιας υγείας. Σε αντίθεση με το κίνημα κατά της επιστήμης που διαδίδει παραπληροφόρηση σχετικά με τόσο επιτυχημένα μέτρα δημόσιας υγείας όπως τα εμβόλια, πιστεύω ότι η ορθολογική κριτική είναι θεμελιώδης για την επιστήμη.

Η ποιότητα και η ακεραιότητα της έρευνας εξαρτάται σε μεγάλο βαθμό από τις μεθόδους της. Κάθε τύπος σχεδιασμού μελέτης πρέπει να έχει ορισμένα χαρακτηριστικά προκειμένου να παρέχει έγκυρες και χρήσιμες πληροφορίες.

Για παράδειγμα, οι ερευνητές γνωρίζουν εδώ και δεκαετίες ότι για μελέτες που αξιολογούν την αποτελεσματικότητα μιας παρέμβασης, απαιτείται μια ομάδα ελέγχου για να γνωρίζει εάν τυχόν παρατηρούμενα αποτελέσματα μπορούν να αποδοθούν στην παρέμβαση.

Οι συστηματικές ανασκοπήσεις που συγκεντρώνουν δεδομένα από υπάρχουσες μελέτες θα πρέπει να περιγράφουν πώς οι ερευνητές εντόπισαν ποιες μελέτες να συμπεριλάβουν, αξιολόγησαν την ποιότητά τους, εξήγαγαν δεδομένα και προκαταχώρισαν τα πρωτόκολλά τους. Αυτά τα χαρακτηριστικά είναι απαραίτητα για να διασφαλιστεί ότι η ανασκόπηση καλύπτει όλα τα διαθέσιμα στοιχεία και λέει στον αναγνώστη ποια αξίζει να προσέξει και ποια όχι.

Ορισμένοι τύποι μελετών, όπως οι εφάπαξ έρευνες δειγμάτων ευκολίας που δεν είναι αντιπροσωπευτικά του πληθυσμού-στόχου, συλλέγουν και αναλύουν δεδομένα με τρόπο που δεν επιτρέπει στους ερευνητές να προσδιορίσουν εάν μια μεταβλητή προκάλεσε ένα συγκεκριμένο αποτέλεσμα.

Όλα τα σχέδια μελετών έχουν πρότυπα στα οποία μπορούν να ανατρέξουν οι ερευνητές. Αλλά η συμμόρφωση με τα πρότυπα επιβραδύνει την έρευνα. Η ύπαρξη μιας ομάδας ελέγχου διπλασιάζει τον όγκο των δεδομένων που πρέπει να συλλεχθούν και ο εντοπισμός και η διεξοδική ανασκόπηση κάθε μελέτης για ένα θέμα απαιτεί περισσότερο χρόνο από το να σκουπίσετε μερικά. Τα αντιπροσωπευτικά δείγματα είναι πιο δύσκολο να δημιουργηθούν από τα βολικά δείγματα και η συλλογή δεδομένων σε δύο χρονικά σημεία είναι περισσότερη δουλειά από τη συλλογή όλων ταυτόχρονα.

Μελέτες που συνέκριναν άρθρα σχετικά με τον COVID-19 με άρθρα μη COVID-19 που δημοσιεύθηκαν στα ίδια περιοδικά διαπίστωσαν ότι τα άρθρα για τον COVID-19 έτειναν να έχουν μεθόδους χαμηλότερης ποιότητας και ήταν λιγότερο πιθανό να πληρούν τα πρότυπα υποβολής περιοδικών. αναφέρει ότι άρθρα που δεν αφορούσαν τον COVID-19 . Οι εργασίες για τον COVID-19 σπάνια είχαν προκαθορισμένες υποθέσεις και σχέδια για το πώς θα αναφέρουν τα ευρήματά τους ή θα αναλύουν τα δεδομένα τους. Αυτό σήμαινε ότι δεν υπήρχαν διασφαλίσεις κατά της βυθοκόρησης δεδομένων για την εύρεση «στατιστικά σημαντικών» αποτελεσμάτων που θα μπορούσαν να αναφερθούν επιλεκτικά.

Αυτά τα μεθοδολογικά ζητήματα πιθανότατα παραβλέφθηκαν στη σημαντικά συντομευμένη διαδικασία αξιολόγησης από ομοτίμους για άρθρα COVID-19. Μια μελέτη εκτίμησε ότι ο μέσος χρόνος από την υποβολή έως την αποδοχή για 686 άρθρα σχετικά με τον COVID-19 ήταν 13 ημέρες, σε σύγκριση με 110 ημέρες σε 539 άρθρα πριν από την πανδημία από τα ίδια περιοδικά. Στη μελέτη μου, διαπίστωσα ότι δύο διαδικτυακά περιοδικά που δημοσίευσαν έναν πολύ μεγάλο όγκο μεθοδολογικά αδύναμων άρθρων για τον COVID-19 είχαν μια διαδικασία αξιολόγησης από ομοτίμους περίπου τριών εβδομάδων.

Δημοσιεύστε ή αφανίστε τον πολιτισμό

Αυτά τα ζητήματα ποιοτικού ελέγχου υπήρχαν πριν από την πανδημία COVID-19. Η πανδημία απλώς τους ώθησε σε υπερένταση.

Τα περιοδικά τείνουν να ευνοούν θετικά, «καινοφανή» ευρήματα: δηλαδή αποτελέσματα που δείχνουν μια στατιστική συσχέτιση μεταξύ μεταβλητών και υποτίθεται ότι προσδιορίζουν κάτι προηγουμένως άγνωστο. Επειδή η πανδημία ήταν νέα από πολλές απόψεις, έδωσε σε ορισμένους ερευνητές την ευκαιρία να κάνουν τολμηρούς ισχυρισμούς σχετικά με το πώς θα εξαπλωθεί ο COVID-19, ποιες θα ήταν οι επιπτώσεις του στην ψυχική υγεία, πώς θα μπορούσε να προληφθεί και πώς θα μπορούσε να αντιμετωπιστεί.

Muchos investigadores se sienten presionados a publicar artículos para avanzar en sus carreras.  <a href=South_agency/E+ μέσω Getty Images“Data-Src =” https://s.yimg.com/ny/api/res/1.2/rexm5db075wdjowesktyya–/yxbwawq9aglnagxhbmrlcjt3ptk2mdtopty0ma-/https:/media.zenfs.com/therff6vvers_onfledlys_815/httpty0ma-/https:/media.zenfs.com/therups_negnlals_815/ 33D7FC9DC D70F8A159C9537 “/ >

Οι ακαδημαϊκοί έχουν εργαστεί σε ένα σύστημα κινήτρων έκδοσης ή εξαφάνισης για δεκαετίες, όπου ο αριθμός των άρθρων που δημοσιεύουν αποτελεί μέρος των μετρήσεων που χρησιμοποιούνται για την αξιολόγηση της απασχόλησης, της προαγωγής και της θητείας. Η χιονοστιβάδα πληροφοριών σχετικά με τον COVID-19 μεικτής ποιότητας παρείχε την ευκαιρία να αυξηθούν οι αριθμοί δημοσιεύσεων και να ενισχυθούν οι μετρήσεις αναφορών, καθώς τα περιοδικά γρήγορα αναζητούσαν και εξέταζαν άρθρα σχετικά με τον COVID-19, τα οποία ήταν πιο πιθανό να αναφερθούν από εκείνα. άρθρα που δεν αφορούσαν τον COVID-19 .

Οι διαδικτυακές εκδόσεις συνέβαλαν επίσης στην υποβάθμιση της ποιότητας της έρευνας. Η παραδοσιακή ακαδημαϊκή δημοσίευση ήταν περιορισμένη στον αριθμό των άρθρων που μπορούσε να δημιουργήσει, επειδή τα περιοδικά συσκευάζονταν σε ένα φυσικό έντυπο έγγραφο που συνήθως παρήχθη μόνο μία φορά το μήνα. Αντίθετα, ορισμένα από τα σημερινά διαδικτυακά μεγα-περιοδικά δημοσιεύουν χιλιάδες άρθρα το μήνα. Μελέτες χαμηλής ποιότητας που απορρίπτονται από έγκριτα περιοδικά μπορούν ακόμα να βρουν ένα κατάστημα πρόθυμο να τις δημοσιεύσει έναντι αμοιβής.

Υγιής κριτική

Η κριτική για την ποιότητα της δημοσιευμένης έρευνας είναι γεμάτη κινδύνους. Μπορεί να παρερμηνευτεί ότι προσθέτει λάδι στη μανιασμένη φωτιά της αντι-επιστήμης. Η απάντησή μου είναι ότι μια κριτική και ορθολογική προσέγγιση στην παραγωγή γνώσης είναι, στην πραγματικότητα, θεμελιώδης για την ίδια την πρακτική της επιστήμης και για τη λειτουργία μιας ανοιχτής κοινωνίας ικανής να λύσει περίπλοκα προβλήματα όπως μια παγκόσμια πανδημία.

Η δημοσίευση μεγάλου όγκου παραπληροφόρησης που μεταμφιέζεται ως επιστήμη κατά τη διάρκεια μιας πανδημίας συσκοτίζει την αληθινή και χρήσιμη γνώση. Στη χειρότερη περίπτωση, αυτό μπορεί να οδηγήσει σε κακές πρακτικές και πολιτικές δημόσιας υγείας.

Η επιστήμη που γίνεται σωστά παράγει πληροφορίες που επιτρέπουν στους ερευνητές και τους υπεύθυνους χάραξης πολιτικής να κατανοήσουν καλύτερα τον κόσμο και να δοκιμάσουν ιδέες για το πώς να τον βελτιώσουν. Αυτό περιλαμβάνει την κριτική εξέταση της ποιότητας των σχεδίων μιας μελέτης, των στατιστικών μεθόδων, της αναπαραγωγιμότητας και της διαφάνειας, όχι πόσες φορές έχει αναφερθεί ή αναρτηθεί στο Twitter.

Η επιστήμη εξαρτάται από μια αργή, στοχαστική και σχολαστική προσέγγιση στη συλλογή, ανάλυση και παρουσίαση δεδομένων, ειδικά εάν αποσκοπεί στην παροχή πληροφοριών για την εφαρμογή αποτελεσματικών πολιτικών δημόσιας υγείας. Ομοίως, είναι απίθανο να πραγματοποιηθεί προσεκτική και σχολαστική αξιολόγηση από ομοτίμους σε άρθρα που εμφανίζονται σε έντυπη μορφή μόνο τρεις εβδομάδες μετά την πρώτη υποβολή τους για αξιολόγηση. Οι κλάδοι που επιβραβεύουν την ποσότητα της έρευνας έναντι της ποιότητας είναι επίσης λιγότερο πιθανό να προστατεύσουν την επιστημονική ακεραιότητα κατά τη διάρκεια κρίσεων.

La ciencia rigurosa requiere deliberación y atención cuidadosas, no prisas.  <a href=Συναρμολόγηση/Πέτρα μέσω Getty Images“data-src=”https://s.yimg.com/ny/api/res/1.2/AuDX1plnz1dFOUknNczTJw–/YXBwaWQ9aGlnaGxhbmRlcjt3PTk2MDtoPTY3Nw–/https://media.zenfs_contice 10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000/en/en f4ea eb646d09395f78125″/ >

Η δημόσια υγεία βασίζεται σε μεγάλο βαθμό σε κλάδους που αντιμετωπίζουν κρίσεις αναπαραγωγής, όπως η ψυχολογία, οι βιοϊατρικές επιστήμες και η βιολογία. Είναι παρόμοιο με αυτούς τους κλάδους όσον αφορά τη δομή κινήτρων, τα σχέδια μελέτης και τις αναλυτικές μεθόδους και την έλλειψη προσοχής στις διαφανείς μεθόδους και την αναπαραγωγή τους. Μεγάλο μέρος της έρευνας για τη δημόσια υγεία για τον COVID-19 δείχνει ότι πάσχει από παρόμοιες κακές μεθόδους.

Η επανεξέταση του τρόπου με τον οποίο ο κλάδος επιβραβεύει τους μελετητές του και αξιολογεί την υποτροφία τους μπορεί να τον βοηθήσει να προετοιμαστεί καλύτερα για την επόμενη κρίση δημόσιας υγείας.

Αυτό το άρθρο αναδημοσιεύεται από το The Conversation, έναν ανεξάρτητο, μη κερδοσκοπικό οργανισμό ειδήσεων που σας παρέχει δεδομένα και αναλύσεις για να σας βοηθήσει να κατανοήσετε τον περίπλοκο κόσμο μας.

Το έγραψε ο: Dennis M. Gorman, Πανεπιστήμιο Texas A&M.

Διαβάστε περισσότερα:

Ο Dennis M. Gorman δεν εργάζεται, δεν συμβουλεύεται, δεν κατέχει μετοχές ή δεν λαμβάνει χρηματοδότηση από οποιαδήποτε εταιρεία ή οργανισμό που θα επωφεληθεί από αυτό το άρθρο και δεν έχει αποκαλύψει σχετικές σχέσεις πέρα ​​από τον ακαδημαϊκό του διορισμό.

Leave a Reply

Your email address will not be published. Required fields are marked *