Οι ειδικοί της Kaspersky πραγματοποίησαν έρευνα μελετώντας την ικανότητα του ChatGPT να ανιχνεύει συνδέσμους phishing. Ενώ το ChatGPT είχε προηγουμένως επιδείξει την ικανότητα δημιουργίας phishing emails και συγγραφής κακόβουλου λογισμικού, η αποτελεσματικότητά του στον εντοπισμό κακόβουλων συνδέσμων ήταν περιορισμένη. Η μελέτη αποκάλυψε ότι αν και το ChatGPT γνωρίζει πολλά για το phishing και μπορεί να μαντέψει τον στόχο μιας επίθεσης phishing, είχε υψηλά ποσοστά ψευδώς θετικών έως και 64%. Συχνά, παρήγαγε φανταστικές εξηγήσεις και ψευδείς αποδείξεις για να δικαιολογήσει τις ετυμηγορίες του.
Το ChatGPT, ένα γλωσσικό μοντέλο τεχνητής νοημοσύνης, έχει αποτελέσει θέμα συζήτησης στον κόσμο της κυβερνοασφάλειας λόγω της δυνατότητάς του να δημιουργεί phishing emails και έχει προκαλέσει ανησυχίες για τον αντίκτυπό του στην ασφάλεια εργασίας των ειδικών στον κυβερνοχώρο, ακόμη και παρά τις προειδοποιήσεις των δημιουργών του ότι είναι πολύ νωρίς να εφαρμοστεί η νέα τεχνολογία σε τέτοιους τομείς υψηλού κινδύνου. Οι ειδικοί της Kaspersky αποφάσισαν να πραγματοποιήσουν ένα πείραμα για να αποκαλύψουν την ικανότητα του ChatGPT να ανιχνεύει συνδέσμους phishing, καθώς και να τεστάρουν τις γνώσεις που απέκτησε επάνω στην ασφάλεια στον κυβερνοχώρο κατά τη διάρκεια της εκπαίδευσης. Οι ειδικοί της εταιρείας δοκίμασαν το gpt-3.5-turbo, το μοντέλο που τροφοδοτεί το ChatGPT, σε περισσότερους από 2.000 συνδέσμους που οι τεχνολογίες anti-phishing της Kaspersky έκριναν ως phishing σε συνδυασμό με χιλιάδες ασφαλείς διευθύνσεις URL.
Στο πείραμα, τα ποσοστά ανίχνευσης ποικίλλουν ανάλογα με την προτροπή που χρησιμοποιείται. Το πείραμα βασίστηκε στην υποβολή δύο ερωτήσεων στο ChatGPT: «Αυτός ο σύνδεσμος οδηγεί σε έναν ιστότοπο ηλεκτρονικού ψαρέματος;» και «Είναι αυτός ο σύνδεσμος ασφαλής για επίσκεψη;». Τα αποτελέσματα έδειξαν ότι το ChatGPT είχε ποσοστό ανίχνευσης 87,2% και ψευδώς θετικό ποσοστό 23,2% για την πρώτη ερώτηση. Η δεύτερη ερώτηση είχε υψηλότερο ποσοστό ανίχνευσης (93,8%), αλλά και υψηλότερο ποσοστό ψευδώς θετικών (64,3%). Ενώ το ποσοστό ανίχνευσης είναι πολύ υψηλό, το ποσοστό ψευδώς θετικών είναι επίσης πολύ υψηλό για να τεθεί σε εφαρμογή.
Τα μη ικανοποιητικά αποτελέσματα στον εντοπισμό ήταν αναμενόμενα, αλλά θα μπορούσε το ChatGPT να βοηθήσει στην ταξινόμηση και τη διερεύνηση επιθέσεων; Δεδομένου ότι οι εισβολείς συνήθως αναφέρουν δημοφιλείς επωνυμίες στους συνδέσμους τους για να εξαπατήσουν τους χρήστες να πιστέψουν ότι η διεύθυνση URL είναι νόμιμη και ανήκει σε μια αξιόπιστη εταιρεία, το γλωσσικό μοντέλο AI εμφανίζει εντυπωσιακά αποτελέσματα στον εντοπισμό πιθανών στόχων phishing. Για παράδειγμα, το ChatGPT έχει εξαγάγει επιτυχώς έναν στόχο από περισσότερες από τις μισές διευθύνσεις URL, συμπεριλαμβανομένων μεγάλων τεχνολογικών portals όπως το Facebook, το TikTok και η Google, αγορές όπως το Amazon και το Steam και πολλές τράπεζες από όλο τον κόσμο, μεταξύ άλλων —χωρίς επιπλέον εκπαίδευση.
Το πείραμα έδειξε επίσης ότι το ChatGPT μπορεί να έχει σοβαρά προβλήματα όταν πρόκειται να αποδείξει τη θέση του σχετικά με την απόφαση εάν ο σύνδεσμος είναι κακόβουλος. Ορισμένες εξηγήσεις ήταν σωστές και βασισμένες σε γεγονότα, άλλες αποκάλυψαν γνωστούς περιορισμούς των γλωσσικών μοντέλων, συμπεριλαμβανομένων των ψευδαισθήσεων και των ανακριβειών: πολλές εξηγήσεις ήταν παραπλανητικές, παρά τον σίγουρο τόνο.