Το Chat with RTX της NVIDIA εκτελεί μια εφαρμογή τύπου ChatGPT στην GPU που λειτουργεί με τα τοπικά δεδομένα σας

10:59 19/2/2024 - Πηγή: Insomnia

Η NVIDIA παρουσίασε πρόσφατα το νέο της chatbot τεχνητής νοημοσύνης με την ονομασία "Chat with RTX", με στόχο να ανταγωνιστεί κυρίως τα Custom GPTs αλλά με μια σημαντική διαφορά.

Το εργαλείο επιτρέπει στους κατόχους GeForce RTX GPU των σειρών 30 και 40 να εκτελούν συνομιλίες με το AI chatbot χωρίς να χρειάζεται να συνδεθούν στο Intrernet, ούτε να

πληρώνουν κάποια συνδρομή, με μοναδική προϋπόθεση την παρουσία ενός Windows PC, και με στόχο την τοπική χρήση. Συγκεκριμένα, οι χρήστες μπορούν να προσαρμόσουν ένα μοντέλο chatbot παρόμοιο με το ChatGPT της OpenAI, το οποίο πραγματοποιεί ερωτήματα σε αρχεία και έγγραφα που έχει ο χρήστης στον υπολογιστή του, για να παρέχει χρήσιμες πληροφορίες.

Το Chat with RTX λειτουργεί με τo indexing αρχείων, σημειώσεων και άλλου περιεχομένου που είναι αποθηκευμένα τοπικά στον υπολογιστή του χρήστη, και το chatbot μπορεί στη συνέχεια να κάνει αναζήτηση. Η NVIDIA προειδοποιεί ότι ο συγχρονισμός όλων των προσωπικών δεδομένων θα μπορούσε να απαιτήσει σημαντικό αποθηκευτικό χώρο - δυνητικά 50-100 GB ανάλογα με παράγοντες όπως το μέγεθος του μοντέλου. 

Αντί να ψάχνουν απευθείας σε αρχεία, οι χρήστες απλώς πληκτρολογούν ερωτήματα και το Chat with RTX σαρώνει το περιεχόμενο που έχει γίνει indexing για να παρέχει αναλυτικές απαντήσεις. Για παράδειγμα, στην ερώτηση "Ποιο ήταν αυτό το εστιατόριο στο Λας Βέγκας που συνέστησε η γυναίκα μου;" θα μπορούσε να βρει το όνομα και άλλες λεπτομέρειες με βάση τα αρχεία στα οποία έχει πρόσβαση το εργαλείο.

Παρόλο που είναι παρόμοιο με άλλα chatbots ανοιχτού κώδικα, το Chat with RTX υποστηρίζει διάφορες αρχιτεκτονικές μοντέλων πέραν του κειμένου, όπως PDF, έγγραφα του Office, αντίγραφα βίντεο του YouTube και άλλα. Οποιαδήποτε συμβατά αρχεία σε επιλεγμένους φακέλους συμπληρώνουν αυτόματα το σύνολο δεδομένων λεπτομερούς ρύθμισης για την προσαρμογή των απαντήσεων, προκειμένου αυτές να είναι όσο το δυνατόν πιο χρήσιμες.

Ωστόσο, ένας βασικός περιορισμός είναι ότι το chatbot της NVIDIA δεν διαθέτει μακροπρόθεσμη μνήμη μεταξύ των ερωτήσεων. Αυτό σημαίνει ότι δεν μπορεί να συνδέσει το πλαίσιο της συνομιλίας, οπότε οι επακόλουθες ερωτήσεις θα ερμηνεύονται ανεξάρτητα, κάτι που δεν ισχύει με όλα τα άλλα γνωστά AI chatbots. Οι επιδόσεις ποικίλλουν επίσης ανάλογα με τις δυνατότητες του μοντέλου, το μέγεθος του συνόλου δεδομένων και τον τρόπο διατύπωσης των ερωτήσεων.

Το λανσάρισμα υπογραμμίζει την ανάπτυξη της NVIDIA σε νέους τεχνολογικούς τομείς πέρα από τις GPU. Η NVIDIA ξεπέρασε πρόσφατα την Amazon και έγινε η 4η μεγαλύτερη αμερικανική εταιρεία με βάση την αποτίμηση της εταιρείας. Τα τσιπ της κερδίζουν επίσης έδαφος, με τους πελάτες της εταιρείας να είναι βασικά όλοι όσοι επιθυμούν να ασχοληθούν με το ΑΙ. Εξαίρεση αποτελούν οι Κινεζικές εταιρείες, όπου με βάση τους περιορισμούς που θέτει η Αμερικανική κυβέρνηση, η NVIDIA είναι αναγκασμένη να διαθέτει τα προιόντα της με σημαντικούς περιορισμούς.

Διαβάστε ολόκληρο το άρθρο