Ο Stephen Wolfram εξηγεί τις βασικές αρχές λειτουργίας του ChatGPT

Ο Stephen Wolfram εξηγεί τις βασικές αρχές λειτουργίας του ChatGPT

Ο Stephen Wolfram σε ηλικία 24 ετών, στις αρχές της δεκαετίας του 1980, εγκατέλειψε την επιτυχημένη ερευνητική του πορεία στην σωματιδιακή φυσική για να ασχοληθεί με τα κυτταρικά αυτόματα διαμέσου προσομοιώσεων σε υπολογιστή. Μεταξύ άλλων, άρχισε να αναπτύσσει το σύστημα υπολογιστικής άλγεβρας Mathematica, το οποίο παρουσίασε για πρώτη φορά το 1988. Και το 2009, κυκλοφόρησε την Wolfram Alpha, μια μηχανή απαντήσεων που βασίζεται στην επεξεργασία φυσικής γλώσσας και σε μια μεγάλη βιβλιοθήκη αλγορίθμων, η δομή της οποίας επιτρέπει την επέκταση και την βελτίωσή της.

Πριν από μερικές ημέρες ο Stephen Wolfram έγραψε ένα μεγάλο άρθρο στον ιστότοπό του (stephenwolfram.com), σχετικά με το πρόγραμμα τεχνητής νοημοσύνης ChatGPT που απασχολεί όλα τα μέσα μαζικής ενημέρωσης τον τελευταίο καιρό. Εκεί μας περιγράφει ξεκινώντας από βασικές αρχές τι κάνει και πώς λειτουγεί το ChatGPT.

Σύμφωνα με τον Wolfram η βασική ιδέα του ChatGPT είναι σε κάποιο επίπεδο μάλλον απλή. Ξεκινήστε από ένα τεράστιο δείγμα κειμένων που δημιουργήθηκαν από ανθρώπους στον ιστό, βιβλία κ.λπ. Στη συνέχεια, εκπαιδεύστε ένα νευρωνικό δίκτυο στη δημιουργία κειμένου που μοιάζει με ένα δεδομένο παράδειγμα κειμένου. Και συγκεκριμένα, κάντε το να μπορεί να ξεκινά από ένα «θέμα-προτροπή» και στη συνέχεια να προχωρά με κείμενο που είναι «σαν αυτό με το οποίο έχει εκπαιδευτεί». Το πραγματικό νευρωνικό δίκτυο στο ChatGPT αποτελείται από τεράστιο αριθμό (δισεκατομμυρίων) πολύ απλών στοιχείων. Κι ενώ η βασική λειτουργία του δικτύου του είναι επίσης πολύ απλή, το αξιοσημείωτο -και απροσδόκητο- είναι ότι αυτή η διαδικασία μπορεί να παράγει κείμενο που «μοιάζει» επιτυχώς με αυτό που υπάρχει εκεί έξω, στο διαδίκτυο, στα βιβλία κ.λπ. Κι όχι μόνο είναι συνεκτική ανθρώπινη γλώσσα, αλλά «λέει» και πράγματα που σχετίζονται με την αρχική ερώτηση που τέθηκε, κάνοντας χρήση περιεχομένου που «διαβάζεται». Δεν λέει πάντα πράγματα που είναι ευρέως αποδεκτά (ή αντιστοιχούν σε σωστούς υπολογισμούς). Απλά λέει πράγματα που «ακούγονται σωστά» με βάση πώς «ακούγονταν» τα πράγματα στο εκπαιδευτικό υλικό με το οποίο τροφοδοτήθηκε.

Τελικά (τουλάχιστον μέχρι να μπορέσει να χρησιμοποιήσει εξωτερικά εργαλεία όπως τo Wolfram Alpha!) το ChatGPT «απλά» παράγει κάποιο «συνεκτικό νήμα κειμένου» από την «στατιστική της συσσωρευμένης συμβατικής σοφίας». Αλλά είναι εκπληκτικό πόσο ανθρώπινα είναι τα αποτελέσματα. Κι αυτό δείχνει κάτι που είναι επιστημονικά τουλάχιστον πολύ σημαντικό: ότι η ανθρώπινη γλώσσα (και τα μοτίβα σκέψης πίσω από αυτήν) είναι κατά κάποιο τρόπο πιο απλά και πιο «νομοτελή» στη δομή τους από ότι πιστεύαμε. Το ChatGPT το ανακάλυψε σιωπηρά.

Αυτό που κάνει το ChatGPT στη δημιουργία κειμένου είναι πολύ εντυπωσιακό—και τα αποτελέσματα είναι συνήθως πολύ «ανθρώπινα». Μπορούμε να πούμε ότι το ChatGPT λειτουργεί όπως ο ανθρώπινος εγκέφαλος; Η υποκείμενη δομή του τεχνητού νευρωνικού δικτύου μοντελοποιήθηκε τελικά ως μια εξιδανίκευση του εγκεφάλου. Και φαίνεται πολύ πιθανό πως όταν εμείς οι άνθρωποι δημιουργούμε γλώσσα, πολλές πτυχές του τι συμβαίνει να είναι αρκετά παρόμοιες.

Όσον αφορά την εκπαίδευσή του (μάθηση), το διαφορετικό «υλισμικό» του από τον ανθρώπινο εγκέφαλο αναγκάζουν το ChatGPT να χρησιμοποιήσει μια στρατηγική που είναι μάλλον διαφορετική (και κατά κάποιο τρόπο πολύ λιγότερο αποτελεσματική) σε σχέση με τον ανθρώπινο εγκέφαλο. Και υπάρχει και κάτι άλλο: σε αντίθεση με τον τυπικό αλγοριθμικό υπολογισμό, το ChatGPT δεν «έχει βρόχους» ή «επανυπολογισμό δεδομένων». Κι αυτό περιορίζει αναπόφευκτα την υπολογιστική του ικανότητα – ακόμα και σε σχέση με τους σημερινούς υπολογιστές, αλλά σίγουρα σε σχέση με τον εγκέφαλο. Όπως υπάρχουν και πολλά πράγματα που ο ανθρώπινος εγκέφαλος δεν τα κάνει τόσο καλά.
Γιαυτό σύμφωνα με τον Stephen Wolfram, τόσο ο ανθρώπινος εγκέφαλος όσο και τα προγράμματα τεχνητής νοημοσύνης σαν το ChatGPT πρέπει να αναζητήσουν «εξωτερικά εργαλεία» – σαν την Wolfram Language.

Αλλά προς το παρόν είναι συναρπαστικό να βλέπουμε τι μπορεί να κάνει το ChatGPT. Αποτελεί ένα εξαιρετικό παράδειγμα του θεμελιώδους επιστημονικού γεγονότος ότι μεγάλοι αριθμοί απλών υπολογιστικών στοιχείων μπορούν να κάνουν αξιοσημείωτα και απροσδόκητα πράγματα. Επίσης, ίσως μας δίνει την μεγαλύτερη ώθηση των τελευταίων δυο χιλιετιών για να κατανοήσουμε καλύτερα ποιός μπορεί να είναι ο θεμελιώδης χαρακτήρας και οι αρχές του σημαντικότερου ανθρώπινου χαρακτηριστικού, της γλώσσας, αλλά και οι διαδικασίες σκέψης πίσω από αυτήν(*).

(*) Πιθανώς και της ασυνείδητης λειτουργίας, αν λάβουμε υπόψη μας μια από τις βασικές αρχές του ψυχαναλυτή Ζακ Λακαν, ότι «το ασυνείδητο είναι δομημένο σαν γλώσσα». Κάτι που σίγουρα έχει υπόψη του ο Stephen Wolfram, δεδομένου ότι η γιαγιά του ήταν η γνωστή φροϋδική ψυχαναλύτρια Kate Friedlander.

Μπορείτε να παρακολουθήσετε τον Stephen Wolfram να εξηγεί «τι κάνει και γιατί λειτουργεί με τέτοια επιτυχία το ChatGPT;», στο βίντεο (διάρκειας 3 ωρών και 15 λεπτών!) που ανέβασε στο twitter:

ή να διαβάσετε την μακροσκελή ανάρτησή του με τίτλο «What Is ChatGPT Doing … and Why Does It Work?«

Photo Gallery

Video

Πηγή: https://physicsgg.me/

Share this Post:

ΕΠΙΣΤΡΟΦΗ

ΔΕΙΤΕ ΑΚΟΜΗ

Σχόλια