Sammenligning

Automatisert eller manuell testing

De fleste sider om dette lander på samme sted: manuell testing er grundigere, automatisk testing er billigere, kjøp den grundige. Det er en halv sannhet solgt som en konklusjon.

Her kjøres store deler av testingen av AI-agenter, styrt av et menneske som setter omfanget og avgjør hva som er et reelt funn. Vi kan altså ikke skrive at automatikk er annenrangs uten å argumentere mot vår egen metode, og det tenker vi ikke å gjøre.

Så her er den ærlige versjonen: hva maskinen gjør bedre enn et menneske, hva den gjør dårlig, hvor mennesket er avgjørende, og hvorfor kombinasjonen er det som gjør fastpris mulig i det hele tatt.

Oppdatert 2026-08-16 · skrevet av Erik Nilsen

Automatisk er to ganske forskjellige ting

En skanner sammenligner det den finner mot en liste over kjente svakheter. Den stiller ingen spørsmål, og den bruker ikke svaret på ett spørsmål til å bestemme det neste. Den er ferdig når listen er gjennomgått.

En agent gjør noe annet. Den kan foreslå hva som er verdt å prøve, prøve det, lese svaret og la svaret bestemme hva som skjer videre. Den kan holde orden på hva som ble observert hvor, på tvers av hele omfanget, og se at to observasjoner hører sammen.

Blandes de to sammen, blir hele diskusjonen feil. Det meste som er skrevet om at automatisk testing ikke finner logikkfeil, handler om skanneren.

Det maskinen gjør bedre enn et menneske

Ikke bare raskere. Bedre.

Et menneske som skal kontrollere to hundre endepunkter mot den samme listen blir uoppmerksomt rundt nummer førti. Det er ikke en karakterbrist, det er hvordan oppmerksomhet fungerer. En maskin har ikke noe nummer førti.

Bredde: alt blir sett på, ikke bare det som virket interessant først
Repeterbarhet: samme kontroll, på samme måte, hver gang, også ved retest
Utholdenhet: kartlegging av subdomener og sertifikatlogger uten å gå lei
Ferskhet: den kjenner CVE-er som ble publisert i går
Sporbarhet: hvert steg blir loggført, uten at noen må huske å notere det

Det maskinen gjør dårlig

Fire ting, og de er ikke tekniske begrensninger som forsvinner neste kvartal. De handler alle om at maskinen ikke vet noe om virksomheten deres.

Den vet ikke hva et funn er verdt. CVSS gir en teknisk poengsum, og en 9.8 i et system uten data betyr mindre enn en 6.1 i lønnssystemet. Den forskjellen står ikke i noen skala
Den vet ikke hva som er meningen. At bruker A ikke skal se fakturaene til bruker B er en regel som finnes hos dere, ikke i protokollen. Maskinen ser to gyldige svar, ikke et brudd
Den er sjenerøs med funn. Et verktøy som melder for mye er ubrukelig på en annen måte enn et som melder for lite, fordi rapporten da bruker opp tiden til dem som skulle rette noe
Den vet ikke hva den ikke skal røre. Hva som tåler å bli forstyrret i et produksjonsmiljø er en vurdering, ikke en regel

Der mennesket er avgjørende

Erik Nilsen setter omfanget, styrer agentene, avgjør hva som er et reelt funn og skriver rapporten. Det er ikke en formulering for nettsiden, det er arbeidsdelingen.

Agentene får full testkapasitet innenfor avtalt omfang, og aldri utenfor. Ingenting kjøres før scope og skriftlig autorisasjon er signert.

Omfanget, og den skriftlige autorisasjonen som gjør testen lovlig
Avgjørelsen om et funn er reelt. Det er her de falske positive stoppes, før de kommer i rapporten
Alvorlighetsgraden, satt etter hva som faktisk kan skje hos dere
Hva som er verdt å grave videre i, og hva som ikke er det
Rapporten. Den skal kunne brukes av en utvikler som skal rette noe, og av en leder som skal bestemme noe

Hvorfor kombinasjonen er det som gjør fastpris mulig

En fast pris krever at leverandøren vet omtrent hvor lang tid noe kommer til å ta. Timeprisen finnes nettopp for å slippe å vite det.

Bredden er den delen som pleier å sprekke: antall verter, antall endepunkter, antall roller. Når den delen kjøres av agenter, koster den omtrent det samme enten det er tjue endepunkter eller to hundre. Da er det bare skjønnsdelen igjen som varierer, og den varierer mindre.

Det er derfor prisen står på nettsiden i stedet for å komme etter et møte, og derfor en ekstern sikkerhetssjekk kan leveres på tre til fem virkedager til 9 900 kroner. Ikke fordi noen jobber fortere, men fordi den delen som pleide å ta uforutsigbart lang tid ikke gjør det lenger.

Når automatikken alene er nok

Oftere enn de fleste tror.

Er spørsmålet hva som ligger åpent utenfra, eller om noe har endret seg siden sist, er det automatikken som svarer best. Et menneske i loopen legger lite til, og koster en del.

Dere har en nettside uten innlogging. Da finnes ikke mesteparten av det et menneske ville lett etter
Dere vil vite noe i dag. Den gratis eksterne sjekken svarer på minutter
Dere trenger å oppdage endringer, ikke å forstå nyanser: et nytt subdomene, en ny åpen port, et sertifikat som utløper. Overvåking koster 2 490 kroner i måneden og gjør nettopp det
Dere har ikke rettet det forrige runde fant. Da er ikke en grundigere test neste steg

Vi tjener mer på det motsatte rådet. Det gjør det ikke riktigere.

Når et menneske må inn

Når svaret avhenger av hva ting betyr hos dere, og ikke bare av hva som svarer på nettet.

Det finnes en innlogging, og flere roller bak den
Flere kunder deler samme løsning og skal ikke se hverandres data
Det går penger eller personopplysninger gjennom løsningen
Rapporten skal brukes til noe: en kunde, en revisor, et styre, en anbudsrunde
Dere vil vite hvor langt én inngang rekker, ikke hvor mange funn det ble

Det agentene aldri avgjør selv

Denne grensen er ikke teknisk. Den handler om hvem som svarer for det som blir gjort, og svaret er alltid et menneske.

Om omfanget kan utvides. Dukker det opp noe utenfor, spør vi først
Om noe destruktivt kan gjøres. Det er utelukket uansett hva som bestilles
Hva som står i rapporten. Den skrives av et menneske som svarer for innholdet
Hvor mye data som hentes ut. Bare nok til å dokumentere funnet, aldri mer

Uavklart

Det vi ikke vet

Denne siden beskriver en metode som er i endring, og det er ærligere å si det enn å skrive den som om den var ferdig.

Grensen mellom det agentene klarer og det som må gjøres for hånd flytter seg. Den er ikke der den var for et år siden, og vi regner ikke med at den blir stående der den er nå.
Det finnes ingen etablert norsk standard for hvordan AI-assistert sikkerhetstesting skal dokumenteres eller vurderes. Vi skriver ned hvordan vi arbeider fordi ingen har sagt hvordan det skal skrives ned.
Om en revisor eller en innkjøper vurderer en slik rapport annerledes enn en helt manuell test, er ikke avklart som bransjepraksis. Skal rapporten brukes til noe formelt, er det verdt å spørre dem på forhånd.

Kilder

Hvor dette er hentet fra

Primærkilder, slik at dere kan kontrollere hvert punkt uten å spørre oss.

Videre

Les videre

Se også

Andre steder på nettstedet

Hva koster en sikkerhetstest