Σκηνοθετημένη η "ελεύθερη συζήτηση” του Gemini σε βίντεο της Google σύμφωνα με έρευνα

20:49 8/12/2023 - Πηγή: Insomnia

Η αποκάλυψη του πολυδιαφημισμένου chatbot Gemini από την Google καθήλωσε την κοινότητα της Τεχνητής Νοημοσύνης νωρίτερα αυτή την εβδομάδα.

Από τα στοιχεία της ανακοίνωσης που ξεχώρισαν ήταν ένα βίντεο επίδειξης της ικανότητάς συνομιλίας του νέου γλωσσικού μοντέλου της Google και όχι μόνο. Ωστόσο, οι επακόλουθες αποκαλύψεις εκθέτουν την επίδειξη ως μια περίτεχνη ψευδαίσθηση που αποκρύπτει τους σημαντικούς περιορισμούς του

Gemini σε σχέση με τα ανταγωνιστικά chatbots. 

Σύμφωνα με έρευνα του Bloomberg, η Google τροποποίησε ουσιαστικά τις αλληλεπιδράσεις με το Gemini σε πολλές πτυχές για να σκηνοθετήσει την εντυπωσιακή παρουσίαση. Αυτό εγείρει ερωτήματα σχετικά με τις πραγματικές ικανότητες της υποκείμενης τεχνολογίας του Gemini και πόσο έδαφος έχει κερδίσει η Google σε σχέση με το ChatGPT της OpenAI που πυροδότησε αυτή την κούρσα γύρω από την τεχνητή νοημοσύνη.

Για παράδειγμα, η καθυστέρηση απόκρισης του Gemini μειώθηκε τεχνητά για την απρόσκοπτη λειτουργία, ενώ ο προφορικός λόγος του έχει περικοπεί σε πολλά σημεία για λόγους συντομίας, μια παραδοχή που βρίσκεται και στην περιγραφή του βίντεο. Στην πραγματικότητα, το Gemini απαιτεί πιθανότατα πολύ περισσότερο χρόνο για να συνθέσει απαντήσεις από ό,τι απεικονίζεται στο βίντεο.

Επιπλέον, παρά τη διαδραστική εμφάνιση, οι συνομιλίες στερούνταν αυθεντικότητας. Στην πραγματικότητα, η Google συνέθεσε εσωτερικά σταθερά καρέ για να δώσει την εντύπωση ενός κανονικού διαλόγου που διεξάγεται σε πραγματικό χρόνο. Το Gemini απλώς αναγνώριζε στατικά οπτικά στοιχεία σε αντίθεση με τη δυναμική αντίδραση σε φωνητικές προτροπές σε ελεύθερη γλώσσα που βλέπουμε στο βίντεο, δίνοντας εντελώς λανθασμένη εικόνα για τις πραγματικές ικανότητές του. 

Στην επίσημη ανακοίνωση, η Google ισχυρίστηκε ότι το Gemini είναι σχεδόν ισοδύναμο με το τρομερό GPT-4 σε μια σειρά benchmarks, ενώ φέρεται να τον ξεπέρασε ακόμη και οριακά σε ορισμένες δοκιμές. Ωστόσο, κατά την έρευνα του Bloomberg, το Gemini στην καλύτερη περίπτωση καταφέρνει να έχει ένα μικρό ποσοστιαίο προβάδισμα στις περισσότερες συγκρίσεις με ένα σύστημα ενός έτους. Αυτό σημαίνει ότι το Gemini απλώς πλησιάζει τις υπάρχουσες προτάσεις, σε αντίθεση με το να αποτελεί την κορυφή στον τομέα του, ενώ η υπεροχή είναι πιθανό να αντιστραφεί και πάλι με τις επόμενες κυκλοφορίες της OpenAI.

Και εκτός του αυστηρά ελεγχόμενου marketing υλικού, το Gemini αποδεικνύει το πόσο «εύθραυστα» είναι τα σημερινά chatbots. Οι χρήστες των μέσων κοινωνικής δικτύωσης υπογραμμίζουν την τάση που έχει το Germini για “πραγματικές ψευδαισθήσεις”, όπως και οι προκάτοχοί του. Για παράδειγμα, όταν του ζητείται ξεκάθαρα να δώσει μια γαλλική λέξη έξι γραμμάτων, το Gemini δίνει με αυτοπεποίθηση μια συντομότερη απάντηση πέντε γραμμάτων, επιβεβαιώνοντας τις φήμες για ανεπάρκειες στο χειρισμό μη αγγλικών γλωσσών. 

Είτε αποτυγχάνοντας σε βασικά ερωτήματα για τρέχοντα γεγονότα είτε σε ερωτήσεις προγραμματισμού, το Gemini φαίνεται να υστερεί σε σχέση με τις προσδοκίες. Σε ορισμένες περιπτώσεις, ακόμη και η απλή αναφορά των πρόσφατων νικητών των Όσκαρ οδηγεί σε λανθασμένες απαντήσεις. Αν και κατανοητή από τα εκκολαπτόμενα συστήματα τεχνητής νοημοσύνης, αυτή η αστοχία έρχεται σε σύγκρουση με την εικόνα “παντογνωσίας” που αποπνέει η προσεκτικά σκηνοθετημένη παρουσίαση της Google.

Διαβάστε ολόκληρο το άρθρο