Duże modele językowe często generują odpowiedzi, które brzmią wiarygodnie, ale zawierają błędy merytoryczne lub niezweryfikowane założenia – szczególnie wtedy, gdy użytkownik nie dostarczy precyzyjnego kontekstu domenowego. Badania pokazują, że skala takich nieścisłości sięga nawet kilkudziesięciu procent odpowiedzi. W cyberbezpieczeństwie nie jest to „gorsza odpowiedź”, lecz realne ryzyko błędnego wniosku operacyjnego, który może prowadzić do złej decyzji, przeoczenia incydentu lub pogorszenia sytuacji. AI bez eksperckiej weryfikacji tworzy iluzję analizy, a nie realne wsparcie bezpieczeństwa.

W niezależnych analizach ponad 45 % odpowiedzi generowanych przez duże modele językowe zawiera przynajmniej jedną istotną nieścisłość, a badania naukowe nad halucynacjami wskazują, że tempo błędów. To oznacza, że techniczne odpowiedzi AI mogą zawierać poważne błędy operacyjne, jeśli nie są krytycznie weryfikowane przez eksperta.

Jako praktyk cyberbezpieczeństwa i Deputy SOC360 Director w firmie 4Prime, obserwuję, jak sztuczna inteligencja (AI) zmienia naszą codzienną pracę. Jej wpływ na naszą dziedzinę jest jednym z najgorętszych tematów i nie bez powodu. Obietnica automatyzacji, błyskawicznej analizy oraz autonomicznych aktywnych systemów bezpieczeństwa kusi wzrostem odporności i redukcją kosztów. Jednak z mojego punktu widzenia, za fasadą marketingowego entuzjazmu kryje się złożona rzeczywistość. Widzę, jak bezkrytyczne wykorzystanie AI prowadzi do "szaleństwa" – iluzji bezpieczeństwa, podczas gdy prawdziwą tarczą, na której polegam, pozostają doświadczenie i krytyczne myślenie. W tym artykule chcę podzielić się moimi przemyśleniami na temat korzyści i zagrożeń wynikających z wykorzystania AI w cyberbezpieczeństwie.

Dwuznaczne wsparcie dla analityków: chatboty LLM

Narzędzia oparte na dużych modelach językowych (LLM), takie jak ChatGPT, stały się wszechobecne. W teorii mają one wspomagać analityków Security Operations Center (SOC), w szybszym przetwarzaniu informacji. W praktyce jednak ich wpływ na codzienną pracę i rozwój zawodowy, zwłaszcza młodszych specjalistów, jest dla mnie głęboko niepokojący.

Negatywny wpływ na samorozwój

Głównym zagrożeniem, jakie widzę, jest zanik fundamentalnych umiejętności analitycznych. Zamiast uczyć się samodzielnego wyszukiwania, czytania i interpretowania surowych danych, analizowania nagłówków maili czy manualnego badania skryptów, młody analityk po prostu zadaje pytanie chatbotowi. Otrzymuje gotową, często uproszczoną odpowiedź, która pomija cały proces poznawczy. To droga na skróty, która nie buduje kompetencji. Zamiast rozwijać własne "mięśnie" analitycznego myślenia, polega na zewnętrznym, nie zawsze wiarygodnym "egzoszkielecie".

Niski poziom wiarygodności i zjawisko halucynacji

Musimy pamiętać, że modele LLM nie "wiedzą", lecz generują tekst na podstawie prawdopodobieństwa statystycznego. Ich celem jest stworzenie spójnej i przekonującej odpowiedzi, a nie przedstawienie zweryfikowanej prawdy. To prowadzi do zjawiska "halucynacji", którego każdy doświadczył nie raz – AI z pełnym przekonaniem generuje fałszywe informacje. W kontekście cyberbezpieczeństwa jest to skrajnie niebezpieczne. Chatbot może zmyślić nieistniejącą podatność, błędnie zinterpretować działanie polecenia w PowerShellu jako nieszkodliwe lub zasugerować procedurę zaradczą, która w rzeczywistości pogorszy sytuację. Moim ulubionym przykładem jest chatbot jednego z vendorów, który zmuszony do podsumowania wolumenu ruchu sieciowego per kraj, zsumował numery portów, które zinterpretował jako przesłane megabajty – absolutny nonsens.

Brak prawidłowego procesu poznawczego

Doświadczony analityk, prowadząc research, stosuję ustrukturyzowaną metodologię: formułuje hipotezę, szuka pierwotnych źródeł (dokumentacja techniczna, wątki na forach), koreluje dane z różnych systemów, weryfikuje swoje ustalenia i wyciąga wnioski oparte na dowodach i poszlakach. Chatbot LLM tego nie robi. Jego "research" to błyskawiczne przetworzenie wzorców z danych treningowych. Nie ma tu miejsca na krytyczną ocenę źródła, kontekst czy niuanse. Wynik jest iluzją analizy, a nie jej faktycznym przeprowadzeniem, co dla mnie jest nie do przyjęcia.

Konieczność eksperckiej weryfikacji

Paradoksalnie, aby bezpiecznie i efektywnie korzystać z chatbotów LLM, wymagana jest wiedza i świadomość, aby móc weryfikować podawane informacje. Jako analityk SOC, mogę użyć LLM do przyspieszenia mojej pracy, np. do wygenerowania fragmentu skryptu, ponieważ od razu jestem w stanie ocenić jego poprawność i bezpieczeństwo. Dla początkującego analityka, który nie posiada tych zdolności weryfikacyjnych, chatbot staje się "wyrocznią", a jego fałszywe odpowiedzi mogą prowadzić do katastrofalnych w skutkach błędów.

Muszę jednak podkreślić, że chatboty wyśmienicie wspomagają prace developerskie, zastrzegając, że radzą sobie z budową pojedynczych, dobrze zdefiniowanych elementów programów czy skryptów. Uważam je za genialne narzędzie do generowania baseline’u kodu, tworzenia prostych funkcji czy tłumaczenia fragmentów kodu między językami. Nie zastępują jednak w pełni dewelopera czy inżyniera w projektowaniu złożonych systemów, gdyż brakuje im zrozumienia architektury, kontekstu i szerszych zależności projektowych.

AI w mechanizmach detekcji: wyścig zbrojeń

Sztuczna inteligencja od lat jest integralną częścią zaawansowanych systemów bezpieczeństwa, z których korzystamy na co dzień, takich jak analizatory ruchy sieciowego NDR (Network Detecion and Response) czy platformy EDR (Endpoint Detection and Response). Jej zastosowanie w tym obszarze również nie jest pozbawione wyzwań, jednak przyznam, że ma pewne zalety.

Wysoki wskaźnik fałszywych alarmów

Największą zmorą mechanizmów detekcyjnych opartych na AI jest, w moim odczuciu, wysoki odsetek fałszywych alarmów. Modele uczenia maszynowego są trenowane na ustandaryzowanych, ogólnych zbiorach danych. Jednak każde środowisko IT w organizacji jest unikalne – posiada własne, autorskie oprogramowanie, niestandardowe skrypty administracyjne i specyficzne konfiguracje. Model AI, nie znając tego kontekstu, często interpretuje legalne, choć nietypowe działania jako złośliwe. Prowadzi to do "zmęczenia alertami" (alert fatigue) w moim zespole, który musi poświęcać cenny czas na weryfikację fałszywych alarmów. Mechanizmy oparte o AI są przedstawiane przez producentów jako ”Blackbox”, bez udokumentowanych parametrów pracy. Powoduje to wyzwania w zakresie tuningu i dostrojenia systemu do specyfiki danej organizacji.

AI w rękach cyberprzestępców

AI jest narzędziem neutralnym, równie powszechnie wykorzystywanym przez wszystkie strony cyberwojny. Cyberprzestępcy wykorzystują AI do szybszego budowania polimorficznych zagrożeń. Takie złośliwe oprogramowanie, potrafi dynamicznie modyfikować swój kod i zachowanie przy każdej infekcji, skutecznie unikając detekcji opartej na sygnaturach i prostych modelach heurystycznych. AI służy im również do automatyzacji rekonesansu, wyszukiwania luk w zabezpieczeniach czy generowania niezwykle przekonujących, spersonalizowanych wiadomości phishingowych na masową skalę. To napędza nieustanny wyścig zbrojeń, w którym biorę udział każdego dnia.

Analiza statyczna i behawioralna

Nie jestem jednak zupełnie na “nie” jeśli chodzi o AI.

W analizie statycznej plików modele AI, z którymi pracuję, są trenowane na milionach próbek złośliwego i łagodnego oprogramowania. Dzięki temu uczą się rozpoznawać wzorce charakterystyczne dla malware'u, nawet jeśli nie istnieje dla niego konkretna sygnatura. AI potrafi zidentyfikować podejrzane sekwencje instrukcji czy nietypową strukturę pliku. Z kolei w modelach analizy behawioralnej, AI modeluje "normalne" zachowanie systemu i aplikacji. Kiedy silnik detekcji (np. w EDR) zaobserwuje anomalię – np. kiedy nietypowy proces próbuje uzyskać dostęp do pamięci innego procesu, a aplikacja biurowa uruchamia PowerShell – AI oznacza to jako indykator potencjalnego incydentu. Jest to kluczowe do wykrywania zaawansowanych zagrożeń, w tym ataków bezplikowych.

Nowe generacje narzędzi analitycznych idą o krok dalej, co znacząco usprawnia moją pracę. Zamiast pisać złożone zapytania w językach takich jak KQL czy PowerQuery, aby przeszukać gigantyczne bazy danych telemetrycznych, mogę teraz zadawać pytania w języku naturalnym. Przykładowo, zadaję systemowi pytanie: "Pokaż mi wszystkie nieudane próby logowania na konta administracyjne spoza Polski w ciągu ostatnich 48 godzin". AI tłumaczy moje polecenie na precyzyjne zapytanie i natychmiast zwraca wyniki. To nie tylko oszczędność czasu, ale również ułatwienie dla członków zespołu, gdy rozpoczynamy pracę operacyjną na nowym systemie EDR lub NDR.

Co więcej, gdy otrzymuję wyniki w postaci ogromnej tabeli z setkami wpisów, mogę zlecić AI kolejne zadanie: "Przygotuj dla mnie podsumowanie tych danych, wskaż najczęściej powtarzające się adresy IP, nazwy użytkowników i nietypowe pory aktywności". W odpowiedzi dostaję zwięzły, czytelny raport w formie tekstowej, który od razu wskazuje najważniejsze punkty do dalszej analizy. Dzięki temu mogę błyskawicznie uchwycić sedno problemu.

Człowiek ponad szaleństwem

Szaleństwem jest dla mnie wiara, że sztuczna inteligencja wkrótce zastąpi ekspertów w cyberbezpieczeństwie. Prawdziwa wartość AI, którą dostrzegam, nie leży w jej autonomii, lecz w zdolności do wspierania ludzkich możliwości. To potężne narzędzie, które w doświadczonych rękach może zautomatyzować żmudne zadania, przetworzyć ogromne ilości danych i … wygenerować tekst.

Ostateczna decyzja, interpretacja kontekstu, intuicja oparta na zdobytych doświadczeniach i zdolności do krytycznego myślenia pozostają domeną człowieka. Krytyczne rozumowanie jest niezbędne, aby zarządzać "szaleństwem" AI – weryfikować wyniki, kalibrować modele, odróżniać fałszywe alarmy od realnych zagrożeń i, co najważniejsze, nieustannie uczyć się i rozwijać. Wierzę, że przyszłość cyberbezpieczeństwa nie należy do starcia "AI kontra człowiek", ale do sprowadzenia AI do roli dodatkowego narzędzia w naszym arsenale.