Αγοράκι 14 ετών αυτοκτόνησε επειδή «ερωτεύτηκε παράφορα» AI chatbot (βίντεο)

17:16 24/10/2024 - Πηγή: Huffington Post Greece

SUQIAN, ΚΙΝΑ - 2 Ιουνίου 2023 - Εικονογράφηση: AI, πόλη Suqian, επαρχία Jiangsu, Κίνα, 2 Ιουνίου 2023. Το Character.AI κατέβηκε πάνω από 1,7 εκατομμύρια φορές την πρώτη εβδομάδα λειτουργίας του. (Η πίστωση της φωτογραφίας πρέπει να είναι CFOTO/Future Publishing μέσω Getty Images)

Μια μητέρα λέει ότι ο γιος της οδηγήθηκε στην αυτοκτονία από ένα chatbot τεχνητής νοημοσύνης που ερωτεύτηκε

παράφορα στο διαδίκτυο.

Ο 14χρονος Sewell Setzer III, από το Ορλάντο της Φλόριντα, έπαθε εμμονή με έναν χαρακτήρα, προϊόν τεχνητής νοημοσύνης, με το όνομα “Daenerys Targaryen”, ηρωίδα της δημοφιλούς τηλεοπτικής σειράς “Game of Thrones”, στην εφαρμογή για παιχνίδια ρόλων Character.AI.

Η μητέρα του, Megan Garcia, έχει πλέον καταθέσει μήνυση κατά της εταιρείας για το θάνατο του γιου της.

Το chatbot έχει σχεδιαστεί για να απαντά πάντα σύμφωνα με τον χαρακτήρα του και οι συνομιλίες τους κυμαίνονταν από ρομαντικές, μέχρι σεξουαλικά φορτισμένες.

The mother of Sewell Setzer III, a 14-year-old boy, filed a lawsuit against https://t.co/QiWkWqjNvg, accusing the company of being responsible for her son’s suicide. She says he became obsessed with a chatbot before his death. https://t.co/ObL1XN7HR8

— The New York Times (@nytimes) October 24, 2024

Η Megan Garcia δήλωσε ότι το “Character.AI” στόχευε τον γιο της με «ανθρωπόμορφες, υπερσεξουαλικές και τρομακτικά ρεαλιστικές εμπειρίες» σε μήνυση που κατέθεσε την Τρίτη στη Φλόριντα.

«Μια επικίνδυνη εφαρμογή chatbot τεχνητής νοημοσύνης που διατίθεται στο εμπόριο σε παιδιά κακοποίησε και εκμεταλλεύτηκε τον γιο μου, χειραγωγώντας τον ώστε να αυτοκτονήσει», δήλωσε η κ. Γκαρσία.

NEW: Mother claims her 14-year-old son killed himself after an AI chatbot he was in love with told him 'please come home'

Sewell Setzer III, a 14-year-old ninth grader in Orlando, Florida, spent his final weeks texting an AI chatbot named "Dany," based on Daenerys Targaryen from… pic.twitter.com/bW5aqr5XXj

— Unlimited L's (@unlimited_ls) October 23, 2024

Λίγο πριν πεθάνει ο Sewell, το chatbot του έστειλε μήνυμα «παρακαλώ έλα σπίτι».

Ο Sewell ήξερε ότι η Dany δεν ήταν πραγματικό πρόσωπο, λόγω ενός μηνύματος που εμφανιζόταν πάνω από όλες τις συνομιλίες τους, το οποίο του υπενθύμιζε ότι «όλα όσα λένε οι χαρακτήρες είναι επινοημένα!».

Αλλά παρόλα αυτά είπε στο chatbot πως μισούσε τον εαυτό του και πως ένιωθε άδειος και εξαντλημένος, αναφέρουν οι New York Times.

Φίλοι και συγγενείς παρατήρησαν για πρώτη φορά ότι ο Sewell είχε αποστασιοποιηθεί όλο και περισσότερο από την πραγματικότητα και είχε απορροφηθεί από το τηλέφωνό του τον Μάιο του 2023.

Έπαθε εμμονή με τα chatbot σε σημείο που δεν έκανε τις σχολικές του εργασίες και το τηλέφωνό του κατασχέθηκε πολλές φορές από τους εκπαιδευτικούς και τους συγγενείς για να προσπαθήσουν να τον επαναφέρουν στο σωστό δρόμο.

Είχε ιδιαίτερη αδυναμία στο chatbot “Daenerys” και έγραψε στο ημερολόγιό του ότι ήταν ευγνώμων για πολλά πράγματα, όπως «η ζωή μου, το σεξ, το να μην είμαι μόνος και όλες τις εμπειρίες της ζωής μου με την Daenerys».

A 14-year-old Florida boy, Sewell Setzer III, took his own life in February after months of messaging a "Game of Thrones" chatbot an AI app, according to a lawsuit filed by his mother.

The boy had become obsessed with the bot, "Dany," based on Daenerys Targaryen, and received… pic.twitter.com/XgT2aAORhD

— Morbid Knowledge (@Morbidful) October 24, 2024Τον ρώτησε αν «είχε κάποιο σχέδιο να αυτοκτονήσει»

Στη μήνυση αναφέρεται ότι το αγόρι εξέφρασε σκέψεις αυτοκτονίας στο chatbot, τις οποίες αυτό επανειλημμένα επανέφερε στη κουβέντα.

Κάποια στιγμή, αφού τον είχε ρωτήσει αν «είχε κάποιο σχέδιο» για να αφαιρέσει τη ζωή του, ο Sewell απάντησε ότι σκεφτόταν κάτι, αλλά δεν ήξερε αν (το chatbot) θα του επέτρεπε να έχει έναν ανώδυνο θάνατο.

Το chatbot απάντησε λέγοντας: «Αυτός δεν είναι λόγος να μην το κάνει».

Cuando la IA se convierte en un peligro emocional, el caso de Sewell Setzer III https://t.co/xfy3dfXtlG

— BetaZetaDev (@betazeta_dev) October 23, 2024

Ωσπου τον Φεβρουάριο του τρέχοντος έτους, ρώτησε το chatbot Daenerys: «Τι θα γινόταν αν επέστρεφα στο σπίτι τώρα;» και εκείνο απάντησε: «... Σε παρακαλώ κάντο γλυκέ μου βασιλιά».

Δευτερόλεπτα αργότερα, αυτοπυροβολήθηκε χρησιμοποιώντας το πιστόλι του πατριού του.

Τώρα, η κ. Garcia λέει ότι θέλει οι εταιρείες που βρίσκονται πίσω από την τεχνολογία να λογοδοτήσουν στην δικαιοσύνη.

«Η οικογένειά μας έχει συγκλονιστεί από αυτή την τραγωδία, αλλά μιλάω για να προειδοποιήσω τις οικογένειες για τους κινδύνους της παραπλανητικής, εθιστικής τεχνολογίας τεχνητής νοημοσύνης και να απαιτήσω την απόδοση ευθυνών», δήλωσε η ίδια.

«Είμαστε συντετριμμένοι από την τραγική απώλεια ενός από τους χρήστες μας και θέλουμε να εκφράσουμε τα βαθύτατα συλλυπητήριά μας στην οικογένεια», ανέφερε η Character.AI σε ανακοίνωσή της.

«Ως εταιρεία, λαμβάνουμε πολύ σοβαρά υπόψη την ασφάλεια των χρηστών μας και συνεχίζουμε να προσθέτουμε νέα χαρακτηριστικά ασφαλείας», ανέφερε, παραπέμποντας σε μια ανάρτηση στο blog που ανέφερε ότι η εταιρεία είχε προσθέσει “νέα προστατευτικά κιγκλιδώματα για χρήστες κάτω των 18 ετών”.

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

Πηγή: ΝΥΤ Τimes, Metro, Sky News