Zo herkennen we AI

Elke respondent van een SampleLabs-enquête wordt gecontroleerd voordat die meetelt. Onze checker, Dot, zoekt naar bots, door AI geschreven antwoorden, mensen die te snel invullen en mensen die twee keer meedoen. Dit is waar Dot naar kijkt. We leggen elke check in gewone woorden uit, maar de exacte grenzen houden we voor ons, zodat niemand een bot kan bouwen die er net binnen blijft.

In het kort

Dot, de checker in SampleLabs Protect, controleert elke respondent met een steeds langere lijst van honderden checks: op bots, scripts die een echte browser besturen, door AI geschreven antwoorden, te snel invullen en dubbele deelnames, voordat die meetelt. Elke dag testen we Dot op echte mensen die enquêtes invullen op SurveySwap, ons enquêteplatform voor studenten, en elke nacht vallen onze eigen bots Dot aan. We bouwen steeds nieuwe bots om Dot te verslaan, en een check gaat pas markeren als die de bots vangt en de mensen met rust laat. Hieronder staan de belangrijkste in gewone woorden.

De checks

Je zet elke check per enquête aan of uit.

Botval

Elke enquête heeft een verborgen veld dat echte mensen nooit zien. Bots vullen het in, mensen niet. We gebruiken ook de onzichtbare check van Cloudflare, zoals je die op veel websites ongemerkt passeert, en letten op een script dat de browser voor iemand bestuurt (zie hieronder). Google reCAPTCHA kijkt ook mee, maar noteert alleen: het stuurt nooit iemand weg.
Te snelle antwoorden

Sommige mensen vliegen sneller door een enquête dan iemand hem kan lezen. Hebben genoeg mensen jouw enquête ingevuld, dan kent Dot ook het gebruikelijke tempo en ziet wie veel sneller is. Zo'n respondent krijgt het label "Rushed": een kwaliteitslabel, geen botmarkering, want wie snel is, is nog steeds een mens. Jij beslist of je de antwoorden houdt.
Dubbele deelnames

Markeert dubbele deelnames vanaf dezelfde browser of hetzelfde IP-adres.
Controlevraag

Voegt de controlevragen (attention checks) toe die je kiest, verspreid over je enquête. Elke vraag heeft een goed antwoord, zoals "Kies hier Helemaal oneens." Wie niet leest, beantwoordt ze fout. Ze zijn er in dezelfde talen als de enquêtebouwer.
Door AI geschreven antwoorden

Markeert bij open vragen antwoorden die zijn geplakt of klinken alsof ze uit een AI-tool komen.
Sessie-opname

Neemt het scherm op terwijl mensen antwoorden, zodat je de opname van elke respondent kunt terugkijken en zelf kunt oordelen. Alles wat mensen typen, wordt verborgen voordat het hun browser verlaat. Opnames worden na 30 dagen verwijderd.

Een script in een echte browser herkennen

Sommige bots vullen formulieren niet direct in. Ze besturen een echte browser, zoals AI-agents en tools als Browserbase doen, en komen zo door de gebruikelijke "ben je een mens?"-checks. Daarom kijkt de botval ook naar hoe de aanwijzer en het toetsenbord worden gebruikt. Elke check heeft genoeg klikken, bewegingen of toetsaanslagen nodig voordat die oordeelt, dus door één vreemd moment wordt niemand gemarkeerd.

Klikken precies in het midden

Scripts mikken op het exacte midden van een knop. Een hand op een muis komt daar bijna nooit precies terecht. Belanden de meeste klikken van iemand precies in het midden, dan was het een script, of de aanwijzer er nu naartoe sprong of schoof.

In je resultaten staat dit als "Clicked by a script".
Bewegingen als met een liniaal getrokken

Sommige scripts schuiven de aanwijzer naar een knop om menselijk te lijken. Dat doen ze in een volkomen rechte lijn, in stappen van precies dezelfde grootte. Een hand maakt een bocht, versnelt, remt af en corrigeert zichzelf. Dot kijkt naar het laatste stuk voor elke klik.

In je resultaten staat dit als "Clicked by a script".
Typen als een metronoom

Scripts houden elke toets even lang ingedrukt en wachten steeds even lang voor de volgende. Mensen versnellen, vertragen en pauzeren. Dot kijkt alleen naar wanneer toetsen omlaag en omhoog gaan, nooit naar welke toetsen, en markeert alleen als zowel het indrukken als het wachten regelmatig is. Op telefoons en tablets typ je op het scherm, wat geen bruikbare tijden oplevert, dus die worden hier nooit op beoordeeld.

In je resultaten staat dit als "Typed by a script".
Een muis die te netjes meldt

Een echte muis meldt zijn positie vaker dan het scherm ververst, dus de browser bundelt vaak een paar metingen in één beweging. Een script stuurt zijn bewegingen één voor één. Zo vangen we zelfs scripts die de bochten en het typritme van een mens nadoen. Computers en browsers waarop een echte muis zelden bundelt, worden hier nooit op beoordeeld.

In je resultaten staat dit als "Mouse moved by a script".
Metingen opeengepakt

Scripts die hun bewegingen wel bundelen, persen de metingen meestal in vrijwel hetzelfde moment, dichter op elkaar dan een gangbare muis ze stuurt. Een paar browsers doen dat ook met een echte muis, dus Dot slaat de combinaties over waarin de muizen van mensen dat doen.

In je resultaten staat dit als "Mouse readings bunched by a script".
Typen als een dobbelsteen

Scripts die als een mens proberen te typen, kiezen willekeurig uit een bereik hoe lang ze elke toets vasthouden en hoe lang ze wachten voor de volgende. Daardoor zijn de tijden gelijkmatig verdeeld, zoals bij het gooien van een dobbelsteen. Het typen van mensen is scheef verdeeld: vooral snelle toetsen, een lange staart van tragere, en af en toe een toets die veel langer wordt vastgehouden dan de rest. Dot beoordeelt alleen flink wat typewerk, en nooit op telefoons en tablets.

In je resultaten staat dit als "Typen als een dobbelsteen".
Een toetsenbord als een dobbelsteen

Sommige mensen gebruiken alleen het toetsenbord, en dat is op zich prima: ze krijgen een markering om even naar te kijken en worden nooit weggestuurd. Een respondent die alleen het toetsenbord gebruikt en elke toets een willekeurige, gelijkmatig verdeelde tijd vasthoudt, is een script.

In je resultaten staat dit als "Keyboard only, keys held for evenly drawn times".

Wie op een telefoon of tablet tikt, alleen een toetsenbord gebruikt of met een schermlezer werkt, laat geen muisklikken of -bewegingen achter om te beoordelen. De aanwijzerchecks kunnen hen dus nooit vangen. Dot noteert alleen tijden en posities op de enquêtepagina, nooit wat iemand typt. Deze checks werken bij enquêtes die in SampleLabs zijn gebouwd.

Het verslag zelf controleren

De checks hierboven lezen een verslag dat de browser van de persoon zelf schrijft. Een slimme bot kan dus proberen dat te blokkeren of een eigen verslag te schrijven. Dot legt het verslag naast wat Dot zelf weet: onze eigen klok, de antwoorden die binnenkwamen en wat de browser zegt te zijn. Voordat een van deze checks iemand kon markeren, hebben we ze getest op echte enquêteantwoorden, om zeker te weten dat ze mensen met rust laten.

Een verslag dat verdwijnt

Het verslag wordt geschreven terwijl mensen antwoorden, en delen ervan komen onderweg al bij ons binnen, getimed door onze eigen klok. Een bot die het blokkeert of aan het eind een verzonnen verslag invoegt, laat een verslag achter dat niet klopt met wat we al binnen hadden.

In je resultaten staat dit als "Bot check blocked or rewritten".
Antwoorden zonder handen

Sommige bots vullen het formulier vanuit de pagina zelf in, zonder een aanwijzer te bewegen of een toets in te drukken. Er kwamen antwoorden binnen, maar er is niets geklikt, getikt of getypt. Schermlezers en spraakbediening drukken voor mensen op knoppen, dus wie die gebruikt, wordt hierdoor nooit gemarkeerd.

In je resultaten staat dit als "Answered with no hands".
Een verslag dat niet klopt

Het verslag kan niet meer tijd op de vragen claimen dan er op onze klok verstreken was, en flink wat typewerk moet ergens in de antwoorden terechtkomen.

In je resultaten staat dit als "Bot check note doesn't add up".
Een browser die niet klopt

Een telefoon zonder touchscreen, een telefoon waarvan het venster het hele scherm vult, of een browser die zegt dat een script hem bestuurt.

In je resultaten staat dit als "Browser's details don't add up".
Klikken die de pagina zelf maakte

Als een mens klikt, merkt de browser dat aan als echt. Als een bot code in de pagina uitvoert om op knoppen te drukken, merkt de browser die klikken aan als gemaakt door de pagina. Eén zo'n klik bewijst niets, dus Dot heeft meer nodig.

In je resultaten staat dit als "Clicked by the page's own code".
Een scherm dat niet past

Sommige schermformaten bestaan alleen op één soort computer. Een browser die zegt dat hij de ene soort computer is, maar een scherm doorgeeft dat alleen een andere soort heeft, is vermomd.

In je resultaten staat dit als "Screen size doesn't fit the computer".
Een grafische chip die niet past

De browser zegt met welke grafische chip hij tekent. Servers zonder scherm tekenen met software, en een telefoon heeft nooit de chip van een desktopcomputer.

In je resultaten staat dit als "Graphics chip doesn't fit the device".

Wie een hele enquête op een computer alleen met het toetsenbord invult, krijgt de markering "Keyboard only (have a look)", zodat je de antwoorden zelf kunt beoordelen. Die markering stuurt nooit iemand weg: mensen die geen muis kunnen gebruiken, zijn ook echte mensen. Alleen als de browser bovendien op die van een bot lijkt, omdat het venster het hele scherm vult of de eigen code van de pagina doet alsof de persoon wegging, wordt het "Keyboard only, in a bot's browser", en die telt wel.

Waar een respondent vandaan komt

Dot kijkt ook naar waar elke respondent vandaan komt. We testen elke check op onze eigen bots en op echte mensen, zodat een student op een druk campusnetwerk of iemand op vakantie niet per ongeluk wordt gevangen. Een check gaat pas markeren als die bots vangt zonder mensen te vangen. De check op gehuurde servers is door die test gekomen. De andere noteren alleen, tot ze er ook door zijn.

Gehuurde servers

AI-agents en bottools werken meestal vanaf servers die gehuurd zijn bij Amazon, Google en vergelijkbare partijen. Mensen antwoorden thuis, op het werk of op hun telefoon. Dot legt het adres naast de lijsten die die bedrijven publiceren. Deze check markeert wel: in je resultaten staat dan "Came from a cloud server".
VPN's en Tor

Je verschuilen achter een VPN of Tor is een makkelijke manier om één enquête vaak in te vullen vanaf schijnbaar verschillende plekken. Dot controleert openbare lijsten met VPN- en Tor-adressen. Veel eerlijke mensen gebruiken een VPN, dus dit stuurt op zichzelf nooit iemand weg.
Een klok van ergens anders

Een bot die in het ene land is gehuurd, komt vaak via een ander land bij een enquête. Het adres zegt Nederland, maar de klok van de browser zegt Californië. Dot vergelijkt de klok met de stad van het adres, niet alleen met het land, en telt alleen een klok die uren afwijkt. Een Belg op Nederlandse tijd, of iemand die net terug is van een reis, is dus geen probleem.
Hetzelfde apparaat, overal ter wereld

Eén computer die op één dag vanuit meerdere landen antwoordt, springt tussen gehuurde verbindingen. Dot onthoudt elk apparaat over alle SampleLabs-enquêtes heen, dus een bot die één enquête aanviel, is al bekend als hij bij de volgende aankomt.
Steeds weer hetzelfde adres

Meerdere deelnames aan dezelfde enquête vanaf hetzelfde adres op één dag. Een paar is prima: huisgenoten en collega's delen een adres.
De eigen browser van een AI-agent

Sommige AI-agents surfen in een eigen browser, en die zegt dat in de naam die hij aan elke website doorgeeft. Mensen surfen zelden zo, dus Dot noteert het. Op zichzelf stuurt dit nooit iemand weg.

Dot bewaart het adres alleen grof, zonder het laatste deel. Het volledige adres bewaren we alleen in onleesbare vorm, zodat we een herhaling kunnen herkennen maar het adres nooit kunnen teruglezen. Een apparaat onthouden we op dezelfde manier: als een onleesbare code, gemaakt van wat de browser al over zichzelf zegt.

Als Dot iets vangt

Jij beslist wat er gebeurt, en je ziet altijd wat er is gevangen en waarom.

Alleen markeren

Iedereen kan de enquête afmaken. Elke gemarkeerde respondent staat in je resultaten met de reden, zoals "Clicked by a script", en te snelle antwoorden krijgen daarnaast het label "Rushed". Onder "Why Dot flagged it" legt Dot in een paar duidelijke regels uit waarom, zoals waarvandaan het apparaat antwoordde en wat de klok ervan zegt. Jij beslist wat je weglaat.
Wegsturen

Gemarkeerde mensen gaan naar een eindpagina, en te snelle ook als je de check op te snelle antwoorden aan hebt staan. Hun antwoorden blijven buiten je tellingen, je grafieken en je download.

Enquêtes die ergens anders zijn gebouwd

Je enquête gebouwd in Google Forms of Qualtrics? Dot kan hem toch bewaken. Mensen komen eerst op een korte checkpagina met de botval, de check op te snel invullen, dubbele deelnames en een controlevraag, en gaan daarna door naar je enquête. Dot geeft je ook nog twee eigen controlevragen om zelf aan je enquête toe te voegen. Dot kan alleen open antwoorden lezen in enquêtes die in SampleLabs zijn gebouwd, dus voor de check op door AI geschreven antwoorden heb je een SampleLabs-enquête nodig.

Veelgestelde vragen

Kun je zien of een antwoord in een enquête door AI is geschreven?

Dot markeert open antwoorden die zijn geplakt of klinken alsof ze uit een AI-tool komen, en laat zien om welk antwoord het gaat. Dot leest de ingevulde antwoorden, dezelfde die jij in je resultaten ziet, dus deze check werkt bij enquêtes die in SampleLabs zijn gebouwd.

Hoe vangen jullie AI-agents die een echte browser gebruiken?

Aan de manier waarop de aanwijzer en toetsen zich gedragen, door het verslag van de browser naast onze klok te leggen, en aan waar de respondent vandaan komt. AI-agents klikken precies in het midden van knoppen, typen in een vast ritme en werken meestal vanaf gehuurde cloudservers. Mensen niet.

Wordt een echt mens ooit per ongeluk gemarkeerd?

We doen uitgebreid onderzoek om dat te voorkomen. Een check markeert pas als die onze eigen bots vangt zonder de echte mensen te vangen op wie we hem testen. Tot die tijd noteert de check alleen.

Waarom publiceren jullie de exacte drempels niet?

Omdat iemand dan een bot kan bouwen die er net binnen blijft. We leggen in gewone woorden uit waar de belangrijkste checks naar kijken, en bij elke markering in je resultaten staat waarom die is gegeven, zodat je zelf kunt oordelen.

Leggen jullie vast wat mensen typen?

Nee. Dot noteert wanneer toetsen omlaag en omhoog gaan, nooit welke toetsen. Sessie-opnames verbergen getypte tekst voordat die de browser verlaat. De enige woorden die Dot leest, zijn de ingevulde open antwoorden, dezelfde die jij in je resultaten ziet.

Worden mensen met een VPN weggestuurd?

Nee. Veel eerlijke mensen gebruiken een VPN, dus Dot noteert het alleen en stuurt er nooit iemand om weg.

Werkt Dot voor mensen op een telefoon of met een schermlezer?

Ja, en Dot beoordeelt hen nooit op wat ze niet kunnen. Tikken, toetsenborden en schermlezers laten geen muisklikken achter, dus de muischecks slaan die over, en telefoons en tablets worden nooit op typritme beoordeeld.

Is dit een CAPTCHA?

Nee. Een CAPTCHA vraagt mensen te bewijzen dat ze een mens zijn, en AI-agents komen inmiddels door de meeste heen. De meeste checks van Dot vragen niets van mensen: ze kijken naar hoe de enquête is ingevuld.