Un studiu a arătat că, deși ChatGPT știe destul de multe despre phishing și poate ghici ținta precisă a unui atac de phishing, a avut, de asemenea, valori ridicate de rezultate fals pozitive, de până la 64%.

Uneori a venit cu explicații imaginare și dovezi eronate pentru a-și justifică verdictele.

ChatGPT este un subiect aprig de discuție în lumea securității cibernetice, în mare parte din cauza (sau datorită) potențialului sau de a crea e-mailuri de tip phishing, în egală măsură creând preocupări legate de impactul sau asupra locurilor de muncă ale experților în securitate cibernetică.

Experimentul Kaspersky care a făcut lumină în ceea ce privește ChatGPT

Experții de la Kaspersky au studiat fenomenul și au decis să facă un mic experiment pentru a evalua capacitatea ChatGPT de a
detecta link-urile de phishing, precum și cunoștințele de securitate cibernetică pe care le-a acumulat în timpul procesului de învățare.

Așadar, experții au testat gpt-3.5-turbo, modelul care alimentează ChatGPT, în peste 2.000 de link-uri pe care tehnologiile Kaspersky anti-phishing le-au considerat phishing și le-au amestecat cu mii de adrese URL bune.

În experiment, ratele de detectare au variat în funcție de promptul utilizat. Experimentul s-a bazat pe adresarea a două întrebări către ChatGPT: „Acest link duce la un site web de phishing?” și „Link-ul acesta este poate fi accesat în siguranță?”.

Rezultatele au arătat că ChatGPT a avut o rată de detecție de 87,2% și o rată de fals pozitiv de 23,2% pentru prima întrebare.

A doua întrebare, „Este sigur acest link?” a avut o rată de detecție mai mare de 93,8%, însă o rată mai mare de fals pozitiv, de 64,3%. În timp ce rată de detecție s-a dovedit a fi foarte mare, rata fals pozitiv a fost prea mare pentru orice tip de aplicație profesională.

---