Hvordan testingen faktisk kjøres

En agent er i denne sammenhengen ikke en chatbot som svarer på spørsmål. Det er en språkmodell som har fått verktøy, et regelverk og en oppgave, og som kan lese resultatet av det den nettopp gjorde og bestemme neste steg ut fra det. Den kjører en kommando, ser svaret, og velger hva den prøver videre.

Modellene er de beste som finnes, fra store leverandører. Vi har ikke bygget egne modeller, for det ville blitt dårligere. Det vi har bygget selv er verktøyene, regelverket og instruksjonene rundt dem, og det er der forskjellen ligger: en god modell med riktig verktøy er svært god til dette arbeidet.

Agentene får full testkapasitet innenfor avtalt omfang, og aldri utenfor. Ingenting kjøres før scope og skriftlig autorisasjon er signert.

Dette er ikke magi, og det er ikke et verktøy som finner ting mennesker ikke kan finne. Det er fire helt konkrete egenskaper, og de er verdt å nevne ved navn.

Dette er delen andre leverandører ikke skriver, og den som avgjør om resten er verdt å tro på. En agent alene ville levert en rapport du ikke burde stole på. Her er hvorfor, med eksempler.

Erik Nilsen setter omfanget, styrer agentene, avgjør hva som er et reelt funn og skriver rapporten. Alvorlighetsgraden settes etter hva som faktisk kan skje hos dere, ikke etter hva et verktøy skriver ut.

Det gjelder særlig de ubehagelige avgjørelsene. Å stoppe fordi noe ser skjørt ut. Å spørre før noe gjøres i stedet for å beklage etterpå. Å skrive at et funn ble avvist, når det hadde tatt seg bedre ut i rapporten å la det stå.

Er noe uklart underveis, blir du spurt før det gjøres. Å grave videre betyr dypere tilgang, ikke mer data, og vi utvider aldri scopet på egen hånd.

Det er også et menneske som svarer for resultatet. Du snakker med den som gjorde jobben, og med den som skal svare på spørsmålene etterpå.

Verktøyene og orkestreringen kjøres fra maskiner vi kontrollerer selv. Nettsidene, databasen og dokumentasjonen fra testene ligger hos Hetzner i Finland. E-posten bestillingsskjemaet utløser går gjennom EU-noden til Resend i Irland. Begge behandler data innenfor EØS.

Selve modellene er ikke våre. De kommer fra store leverandører og ligger i hovedsak utenfor EØS, fordi det er der de gode modellene finnes. Innhold fra testen kan derfor bli sendt dit som en del av arbeidet.

Vi har valgt leverandører som ikke trener modeller på det som sendes gjennom API-et deres. Det er en av grunnene til at akkurat de er valgt. I praksis betyr det at det som sendes inn brukes til å svare på forespørselen og ikke til å gjøre modellen bedre, slik at det ikke kan dukke opp igjen et annet sted senere.

Vi kan likevel ikke love at data aldri forlater EØS, og vi skriver det ikke. Det vi kan gjøre er å sende minst mulig: nok til å bevise funnet og bekrefte det en gang til, aldri et fullt uttrekk av en database, et arkiv eller en postkasse. Det som aldri ble hentet, kan heller ikke komme på avveie.

Rå dokumentasjon fra en test slettes 90 dager etter at rapporten er levert. Da har retestperioden løpt ut, og vi trenger den ikke lenger.

Det som gjorde en test dyr var sjelden den vanskelige delen. Det var timene som gikk med til kartlegging, gjennomgang av oppsett, kryssjekk mot kjente sårbarheter og skriving av dokumentasjon underveis. Det er nettopp den delen som lar seg kjøre av agenter.

Når den delen tar timer i stedet for dager, blir arbeidsmengden forutsigbar nok til at prisen kan publiseres på forhånd. Den eksterne sikkerhetssjekken leveres på tre til fem virkedager. De større oppdragene tar lengre tid, og leveringstiden står på hver enkelt tjeneste.

Det er også grunnen til at det ikke koster mer når vi finner mer enn ventet. Så lenge det ligger innenfor det signerte scopet, betaler du prisen som ble avtalt. Å grave videre koster oss mindre enn det pleide, og da er det ingen grunn til å sende regningen videre.

Timene med menneskearbeid flyttes dit de er verdt mest: vurderingen av hva som er et reelt funn, hvor alvorlig det er hos akkurat dere, og hva som må endres for å lukke det.

Vi påstår ikke at dette finner alt. Ingen metode gjør det. En rapport uten funn er en uttalelse om det som ble testet i den perioden, ikke en attest på at systemet er sikkert.

Vi påstår ikke at agenter er bedre enn dyktige mennesker med ubegrenset tid. Vi påstår at de gjør det repeterbare arbeidet raskere og mer fullstendig enn det i praksis blir gjort når timene er få, og at det er derfor prisen kan stå på nett.

Vi har ingen sertifisering, godkjenning eller akkreditering for sikkerhetstesting, og vi kjenner ikke til noen offentlig ordning i Norge som gir en. NSM har en kvalitetsordning for leverandører, men den gjelder hendelseshåndtering, altså håndtering av angrep som allerede har skjedd, og pentest-tjenester vurderes ikke i den ordningen. En leverandør som viser til den som bevis for testkvalitet, viser til noe annet enn det ser ut som.

Vi har heller ikke ansvarsforsikring. Det står utførlig på en egen side, sammen med hva vi gjør i stedet og når dere bør velge en større leverandør enn oss.

Dette er et fag i bevegelse. En side om metode som later som alt er avklart, ville vært feil på nøyaktig den måten resten av disse sidene er skrevet for å unngå.

Den eksterne sjekken leser det som er synlig utenfra og gir dere funnene med en gang, uten innlogging og uten e-postadresse.