Με ποσοστό λάθους 83% η χρήση του ChatGPT σε τεστ διάγνωσης ιατρικών περιπτώσεων σε παιδιά

10:29 8/1/2024 - Πηγή: Insomnia

Μία νέα μελέτη στο περιοδικό JAMA Pediatrics υποδηλώνει ότι το chatbot με τεχνητή νοημοσύνη ChatGPT δυσκολεύεται στη διάγνωση παιδιατρικών περιστατικών, επιτυγχάνοντας μόλις 17% ακρίβεια σε 100 πραγματικά ιατρικά περιστατικά.

Αν και έχει αποτύχει στο παρελθόν στην εκτίμηση σύνθετων διαγνώσεων, το ποσοστό αποτυχίας του ήταν αξιοσημείωτα υψηλό σε παιδιά. Αυτό υποδηλώνει ότι οι ανθρώπινοι γιατροί δεν αντιμετωπίζουν κίνδυνο αντικατάστασης στο άμεσο μέλλον, με τους συγγραφείς να τονίζουν "τον ανεκτίμητο ρόλο που κατέχει η

κλινική εμπειρία".

Ωστόσο, η έρευνα επισημαίνει επίσης τις αδυναμίες του ChatGPT και προτείνει τρόπους για να το μετατρέψει σε ένα χρήσιμο κλινικό εργαλείο. Καθώς το ενδιαφέρον για τα chatbot με τεχνητή νοημοσύνη αυξάνεται εκθετικά, η ενσωμάτωσή τους στην υγειονομική περίθαλψη φαίνεται αναπόφευκτη σε πολλούς γιατρούς.

Ο ιατρικός τομέας έχει υιοθετήσει με ενθουσιασμό την τεχνητή νοημοσύνη, με μικτά αποτελέσματα - από τη διαιώνιση προκαταλήψεων έως την αυτοματοποίηση διοικητικών εργασιών και τη βοήθεια στην ερμηνεία ακτινογραφιών. Η όρεξη για ένα διαγνωστικό βοηθό με τεχνητή νοημοσύνη παραμένει ισχυρή όμως αυτή η μελέτη δείχνει ότι το ChatGPT δεν είναι ακόμα έτοιμο να “υποδυθεί” τον γιατρό σε παιδιά. 

Οι παιδιατρικές διαγνώσεις απαιτούν επιπλέον εξέταση ηλικιακών παραγόντων. Η διατύπωση συμπτωμάτων είναι επίσης δυσκολότερη σε μικρούς ασθενείς. Για τη δοκιμή, οι ερευνητές αξιολόγησαν την απόδοση του ChatGPT σε 100 πραγματικά περιστατικά από κορυφαία περιοδικά, ζητώντας του να εξάγει κάθε διάγνωση.  

Το ChatGPT σημείωσε ακρίβεια 17% - αποτυγχάνοντας παταγωδώς σε 72 περιπτώσεις. Σε άλλες 11, ανέφερε συναφείς αλλά υπερβολικά ευρείς παθήσεις. Για παράδειγμα, είχε προτείνει ότι ένα πρήξιμο στον λαιμό ήταν μια καλοήθης κύστη αντί για τη σωστή διάγνωση του συνδρόμου Branchio-oto-renal - μια γενετική διαταραχή που επηρεάζει την ανάπτυξη ιστών στον λαιμό και παραμορφώσεις στα αυτιά και τα νεφρά.

Η ανάλυση αποκάλυψε μια τάση να παραβλέπει γνωστές συσχετίσεις που θα αναγνώριζε ένας έμπειρος παιδίατρος. Για παράδειγμα, το ChatGPT παρέλειψε να συνδέσει τον αυτισμό με την έλλειψη βιταμίνης C σε μία περίπτωση, μη μπορώντας να εντοπίσει διατροφικούς περιορισμούς στον αυτισμό που αυξάνουν τον κίνδυνο σκορβούτου.

Αν και σ’ αυτή την περίπτωση η τεχνητή νοημοσύνη απογοήτευσε, οι ερευνητές πιστεύουν ότι η στοχευμένη εκπαίδευση σε ακριβή και αξιόπιστη ιατρική βιβλιογραφία θα μπορούσε να ενισχύσει την ακρίβειά του. Προτείνουν επίσης την ενσωμάτωση δεδομένων σε πραγματικό χρόνο για να επιτρέψουν τη συνεχή αυτοδιόρθωση. Όπως καταλήγουν οι συγγραφείς, "Μας δίνετε η ευκαιρία... να διερευνηθεί εάν η στοχευμένη εκπαίδευση σε ιατρικά δεδομένα και η βελτιστοποίηση μπορούν να βελτιώσουν τη διαγνωστική ακρίβεια των chatbot με μεγάλα γλωσσικά μοντέλα".
 

Διαβάστε ολόκληρο το άρθρο