Πληροφορίες για περιορισμένη βελτίωση του νέου μοντέλου ChatGPT που ετοιμάζει η OpenAI

17:09 16/11/2024 - Πηγή: Insomnia

Το μοντέλο Orion της OpenAI, η επόμενη γενιά του ChatGPT, εμφανίζει μικρότερη βελτίωση σε σύγκριση με την προηγούμενη αναβάθμιση από το GPT-3 στο GPT-4, σύμφωνα με αποκλειστικό ρεπορτάζ του The Information που επικαλείται εσωτερικές πηγές της εταιρείας.

Οι εργαζόμενοι της OpenAI αναφέρουν πως το Orion δεν παρουσιάζει σταθερά καλύτερες επιδόσεις από το GPT-4 σε συγκεκριμένες εργασίες, ιδιαίτερα στον προγραμματισμό. Ωστόσο, το νέο μοντέλο επιδεικνύει ενισχυμένες δυνατότητες στην επεξεργασία γλώσσας, όπως στη σύνοψη εγγράφων και τη δημιουργία emails.

Κύρια αιτία της περιορισμένης προόδου αποτελεί η έλλειψη ποιοτικών δεδομένων εκπαίδευσης. Η βιομηχανία τεχνητής νοημοσύνης έχει ήδη αξιοποιήσει τις εύκολα προσβάσιμες πηγές από πλατφόρμες κοινωνικής δικτύωσης όπως X, Facebook και YouTube.

Για την αντιμετώπιση του προβλήματος, η OpenAI συγκρότησε ειδική ομάδα που διερευνά εναλλακτικές μεθόδους, συμπεριλαμβανομένης της χρήσης συνθετικών δεδομένων εκπαίδευσης, παρόμοια με αυτά που παράγει η οικογένεια μοντέλων Nemotron της Nvidia.

Οι περιορισμοί στα δεδομένα εκπαίδευσης επηρεάζουν άμεσα τις ενεργειακές απαιτήσεις των συστημάτων τεχνητής νοημοσύνης. Σύμφωνα με εκτιμήσεις ειδικών, η κατανάλωση ενέργειας, νερού και άλλων πόρων αναμένεται να εξαπλασιαστεί την επόμενη δεκαετία.

Μεγάλες εταιρείες τεχνολογίας προχωρούν σε στρατηγικές κινήσεις για την εξασφάλιση ενεργειακών πόρων. Η Microsoft εξετάζει την επανεκκίνηση του σταθμού Three Mile Island, η AWS αγόρασε μονάδα παραγωγής 960 MW, ενώ η Google εξασφάλισε την παραγωγή επτά πυρηνικών αντιδραστήρων.

Αναλυτές της αγοράς επισημαίνουν πως η τρέχουσα υποδομή ηλεκτρικής ενέργειας δεν επαρκεί για να υποστηρίξει τις αυξανόμενες απαιτήσεις των κέντρων δεδομένων τεχνητής νοημοσύνης.

Η ομάδα ανάπτυξης της OpenAI επικεντρώνεται επίσης στη βελτίωση της απόδοσης του μοντέλου μετά την εκπαίδευση, αναζητώντας τρόπους μεγιστοποίησης της αποτελεσματικότητας με τα διαθέσιμα δεδομένα.

Ερευνητές του κλάδου προβλέπουν πως οι προκλήσεις στην εκπαίδευση μοντέλων τεχνητής νοημοσύνης θα οδηγήσουν σε νέες μεθόδους και τεχνικές ανάπτυξης στα επόμενα χρόνια.

Η κυκλοφορία του Orion αναμένεται εντός του 2025, με την προϋπόθεση ότι θα έχουν επιλυθεί τα ζητήματα ενεργειακής επάρκειας και διαθεσιμότητας δεδομένων εκπαίδευσης.

Υπολογίζεται ότι το μοντέλο Orion θα απαιτεί περίπου 3.5 gigawatt ηλεκτρικής ενέργειας ημερησίως για τη λειτουργία του.

Διαβάστε ολόκληρο το άρθρο