So erkennen wir KI

Jede Antwort auf eine SampleLabs-Umfrage wird geprüft, bevor sie zählt. Dot, unser Prüfassistent, sucht nach Bots, KI-generierten Antworten, Personen, die durch die Umfrage hetzen, und Personen, die doppelt antworten. Darauf achtet Dot. Wir erklären jede Prüfung in klaren Worten, behalten die genauen Grenzwerte aber für uns, damit niemand einen Bot bauen kann, der knapp darunter bleibt.

Kurz gesagt

Dot, der Prüfassistent in SampleLabs Protect, prüft jede Umfrageantwort mit einer stetig wachsenden Liste aus Hunderten von Prüfungen, bevor sie zählt: auf Bots, auf Skripte, die einen echten Browser steuern, auf KI-generierte Antworten, zu schnelles Ausfüllen und Mehrfachteilnahmen. Jeden Tag testen wir Dot an echten Menschen, die auf SurveySwap, unserer Umfrageplattform für Studierende, Umfragen ausfüllen, und jede Nacht greifen unsere eigenen Bots Dot an. Wir bauen ständig neue Bots, um Dot zu überlisten, und eine Prüfung markiert erst, wenn sie diese Bots erkennt und die Menschen in Ruhe lässt. Im Folgenden erklären wir die wichtigsten in klaren Worten.

Die Prüfungen

Sie können jede einzelne für jede Umfrage ein- oder ausschalten.

• Bot-Falle

  Jede Umfrage hat ein verstecktes Feld, das echte Menschen nie sehen. Bots füllen es aus, Menschen nicht. Wir nutzen außerdem die unsichtbare Prüfung von Cloudflare, die Sie auf vielen Websites unbemerkt passieren, und achten auf ein Skript, das den Browser für jemanden steuert (siehe unten). Auch Google reCAPTCHA schaut mit, protokolliert aber nur: Es weist nie jemanden ab.

• Zu schnelle Antworten

  Manche Menschen rasen schneller durch eine Umfrage, als man sie lesen könnte. Sobald genug Personen Ihre Umfrage beantwortet haben, kennt Dot auch deren übliches Tempo und erkennt alle, die weit schneller sind. Eine zu schnelle Antwort bekommt das Label „Rushed“: ein Qualitätslabel, keine Bot-Markierung, denn wer schnell ist, ist trotzdem ein Mensch. Sie entscheiden, ob Sie die Antworten behalten.

• Mehrfachteilnahmen

  Markiert Mehrfachteilnahmen aus demselben Browser oder von derselben IP-Adresse.

• Aufmerksamkeitsfrage

  Fügt die Aufmerksamkeitsfragen (Attention Checks) hinzu, die Sie auswählen, verteilt über Ihre Umfrage. Jede hat eine richtige Antwort, etwa „Wählen Sie hier ‚Stimme überhaupt nicht zu‘.“ Wer nicht liest, antwortet falsch. Sie sind in denselben Sprachen verfügbar wie der Umfrage-Editor.

• KI-generierte Antworten

  Markiert bei offenen Fragen Antworten, die eingefügt wurden oder klingen, als kämen sie von einem KI-Tool.

• Sitzungsaufzeichnung

  Zeichnet den Bildschirm auf, während Befragte antworten, damit Sie sich jede Antwort ansehen und selbst urteilen können. Alles, was Befragte tippen, wird ausgeblendet, bevor es ihren Browser verlässt. Aufzeichnungen werden nach 30 Tagen gelöscht.

Ein Skript im echten Browser erkennen

Manche Bots füllen Formulare nicht direkt aus. Sie steuern einen echten Browser, wie es KI-Agenten und Tools wie Browserbase tun, und bestehen so die üblichen „Sind Sie ein Mensch?“-Prüfungen. Deshalb beobachtet die Bot-Falle auch, wie Mauszeiger und Tastatur benutzt werden. Jede Prüfung braucht reichlich Klicks, Bewegungen oder Tastenanschläge, bevor sie urteilt, damit ein einzelner seltsamer Moment nie dazu führt, dass ein Mensch markiert wird.

• Klicks genau in die Mitte

  Skripte zielen auf die exakte Mitte einer Schaltfläche. Eine Hand an der Maus trifft dort fast nie. Landen die meisten Klicks einer Person genau in der Mitte, war es ein Skript, egal ob der Mauszeiger dorthin sprang oder glitt.

  In Ihren Ergebnissen erscheint das als „Clicked by a script“.

• Bewegungen wie mit dem Lineal gezogen

  Manche Skripte lassen den Mauszeiger gleiten, um menschlich zu wirken. Sie gleiten in einer vollkommen geraden Linie, in exakt gleich großen Schritten. Eine Hand zieht Kurven, beschleunigt, bremst und korrigiert sich. Dot betrachtet das letzte Stück vor jedem Klick.

  In Ihren Ergebnissen erscheint das als „Clicked by a script“.

• Tippen wie nach Metronom

  Skripte halten jede Taste gleich lange gedrückt und warten gleich lange bis zur nächsten. Menschen werden schneller, langsamer und machen Pausen. Dot achtet nur darauf, wann Tasten gedrückt und losgelassen werden, nie welche Tasten, und es müssen sowohl die Haltezeiten als auch die Pausen gleichmäßig sein. Auf Smartphones und Tablets wird auf dem Bildschirm getippt, was keine verwertbaren Zeiten liefert, daher werden sie danach nie beurteilt.

  In Ihren Ergebnissen erscheint das als „Typed by a script“.

• Eine Maus, die zu ordentlich meldet

  Eine echte Maus meldet ihre Position öfter, als der Bildschirm neu gezeichnet wird, daher bündelt der Browser oft mehrere Messwerte zu einer Bewegung. Ein Skript schickt seine Bewegungen einzeln. Das entlarvt sogar Skripte, die die Kurven und den Tipprhythmus eines Menschen nachahmen. Computer und Browser, bei denen die Messwerte einer echten Maus selten gebündelt werden, werden danach nie beurteilt.

  In Ihren Ergebnissen erscheint das als „Mouse moved by a script“.

• Zusammengepresste Messwerte

  Skripte, die ihre Bewegungen doch bündeln, pressen die Messwerte meist in praktisch denselben Augenblick, dichter, als es eine gängige Maus tut. Einige Browser tun das auch mit einer echten Maus, daher lässt Dot die Kombinationen aus Gerät und Browser außen vor, bei denen echte Mäuse das tun.

  In Ihren Ergebnissen erscheint das als „Mouse readings bunched by a script“.

• Tippen wie gewürfelt

  Skripte, die wie ein Mensch tippen wollen, wählen zufällig aus einem Bereich, wie lange sie jede Taste halten und wie lange sie bis zur nächsten warten. Dadurch verteilen sich die Zeiten gleichmäßig, wie beim Würfeln. Bei Menschen ist das Tippen ungleichmäßig verteilt: meist schnelle Anschläge, ein langer Ausläufer langsamerer und ab und zu eine Taste, die viel länger gehalten wird als der Rest. Dot urteilt erst ab einer größeren Menge Text und nie auf Smartphones und Tablets.

  In Ihren Ergebnissen erscheint das als „Tippen wie gewürfelt“.

• Eine Tastatur wie gewürfelt

  Manche Menschen nutzen nur die Tastatur, und das ist für sich genommen in Ordnung: Solche Antworten werden zur Durchsicht markiert, nie abgewiesen. Eine reine Tastatur-Antwort, deren Haltezeiten gleichmäßig zufällig verteilt sind, stammt von einem Skript.

  In Ihren Ergebnissen erscheint das als „Keyboard only, keys held for evenly drawn times“.

Wer auf einem Smartphone oder Tablet tippt, nur die Tastatur nutzt oder mit einem Screenreader arbeitet, hinterlässt keine Mausklicks oder -bewegungen, die sich beurteilen ließen, daher können die Mauszeiger-Prüfungen diese Personen nie erfassen. Dot erfasst nur Zeiten und Positionen auf der Umfrageseite, nie, was jemand tippt. Diese Prüfungen funktionieren bei Umfragen, die in SampleLabs erstellt wurden.

Das Protokoll selbst prüfen

Die Prüfungen oben lesen ein Protokoll, das der Browser der Person selbst schreibt, also könnte ein geschickter Bot versuchen, es zu blockieren oder ein eigenes zu schreiben. Dot gleicht das Protokoll mit dem ab, was Dot selbst weiß: unserer eigenen Uhr, den eingegangenen Antworten und dem, was der Browser über sich angibt. Bevor eine dieser Prüfungen jemanden markieren durfte, haben wir sie an echten Umfrageantworten getestet, um sicherzugehen, dass sie Menschen in Ruhe lassen.

• Ein Protokoll, das verschwindet

  Das Protokoll entsteht, während Menschen antworten, und Teile davon erreichen uns schon unterwegs, mit Zeitstempel nach unserer eigenen Uhr. Ein Bot, der es blockiert oder am Ende ein erfundenes einsetzt, hinterlässt ein Protokoll, das nicht zu dem passt, was wir schon erhalten haben.

  In Ihren Ergebnissen erscheint das als „Bot check blocked or rewritten“.

• Antworten ohne Hände

  Manche Bots füllen das Formular direkt im Code der Seite aus, ohne einen Mauszeiger zu bewegen oder eine Taste zu drücken. Es kommen Antworten an, aber nichts wurde geklickt, angetippt oder getippt. Screenreader und Sprachsteuerung lösen Klicks für Menschen aus, deshalb werden sie hiervon nie erfasst.

  In Ihren Ergebnissen erscheint das als „Answered with no hands“.

• Ein Protokoll, das nicht aufgeht

  Das Protokoll kann nicht mehr Zeit für die Fragen angeben, als auf unserer Uhr vergangen war, und viel Getipptes muss irgendwo in den Antworten landen.

  In Ihren Ergebnissen erscheint das als „Bot check note doesn't add up“.

• Ein Browser, der nicht stimmig ist

  Ein Smartphone ohne Touchscreen, ein Smartphone, dessen Fenster den ganzen Bildschirm füllt, oder ein Browser, der angibt, dass ein Skript ihn steuert.

  In Ihren Ergebnissen erscheint das als „Browser's details don't add up“.

• Klicks, die die Seite selbst ausgelöst hat

  Wenn ein Mensch klickt, kennzeichnet der Browser den Klick als echt. Wenn ein Bot Code in der Seite ausführt, um Schaltflächen zu drücken, kennzeichnet der Browser diese Klicks als von der Seite ausgelöst. Ein einzelner beweist nichts, deshalb braucht Dot mehr.

  In Ihren Ergebnissen erscheint das als „Clicked by the page's own code“.

• Ein Bildschirm, der nicht passt

  Manche Bildschirmgrößen gibt es nur bei einem bestimmten Gerätetyp. Ein Browser, der sich als ein Gerätetyp ausgibt, aber einen Bildschirm meldet, den nur ein anderer hat, ist getarnt.

  In Ihren Ergebnissen erscheint das als „Screen size doesn't fit the computer“.

• Ein Grafikchip, der nicht passt

  Der Browser gibt an, mit welchem Grafikchip er zeichnet. Server ohne Bildschirm zeichnen per Software, und ein Smartphone hat nie den Chip eines Desktop-Computers.

  In Ihren Ergebnissen erscheint das als „Graphics chip doesn't fit the device“.

Wer eine ganze Umfrage am Computer nur mit der Tastatur ausfüllt, wird als „Keyboard only (have a look)“ markiert, damit Sie die Antworten selbst beurteilen können. Diese Markierung weist nie jemanden ab: Menschen, die keine Maus benutzen können, sind auch echte Menschen. Nur wenn der Browser zusätzlich wie der eines Bots aussieht, weil sein Fenster den ganzen Bildschirm füllt oder der eigene Code der Seite vorgibt, die Person habe sie verlassen, lautet die Markierung „Keyboard only, in a bot's browser“, und die zählt.

Woher eine Antwort kommt

Dot achtet auch darauf, woher jede Antwort kommt. Wir testen jede Prüfung an unseren eigenen Bots und an echten Menschen, damit Studierende in einem vollen Campusnetz oder jemand im Urlaub nicht versehentlich erfasst werden. Eine Prüfung markiert erst, wenn sie Bots erkennt, ohne Menschen zu erfassen. Die Prüfung auf gemietete Server hat diesen Test bestanden. Die anderen protokollieren nur, bis sie ihn ebenfalls bestehen.

• Gemietete Server

  KI-Agenten und Bot-Tools laufen meist auf Servern, die bei Amazon, Google und ähnlichen Anbietern gemietet sind. Menschen antworten von zu Hause, von der Arbeit oder vom Smartphone aus. Dot gleicht die Adresse mit den Listen ab, die diese Unternehmen veröffentlichen. Diese Prüfung markiert: In Ihren Ergebnissen erscheint sie als „Came from a cloud server“.

• VPNs und Tor

  Sich hinter einem VPN oder Tor zu verstecken, ist ein einfacher Weg, eine Umfrage vielfach von scheinbar verschiedenen Orten aus zu beantworten. Dot prüft öffentliche Listen mit VPN- und Tor-Adressen. Viele ehrliche Menschen nutzen ein VPN, deshalb weist diese Prüfung für sich allein nie jemanden ab.

• Eine Uhr von anderswo

  Ein Bot, der in einem Land gemietet ist, erreicht eine Umfrage oft über ein anderes. Die Adresse verweist auf Deutschland, die Uhr des Browsers auf Kalifornien. Dot vergleicht die Uhr mit der Stadt der Adresse, nicht nur mit dem Land, und zählt nur eine Uhr, die um Stunden abweicht. Jemand aus Österreich mit deutscher Uhrzeit oder jemand, der gerade von einer Reise zurück ist, ist also kein Problem.

• Dasselbe Gerät, überall auf der Welt

  Ein Computer, der an einem Tag aus mehreren Ländern antwortet, springt zwischen gemieteten Verbindungen hin und her. Dot merkt sich jedes Gerät über alle SampleLabs-Umfragen hinweg, sodass ein Bot, der eine Umfrage angegriffen hat, schon bekannt ist, wenn er die nächste erreicht.

• Immer wieder dieselbe Adresse

  Mehrere Antworten auf dieselbe Umfrage von derselben Adresse an einem Tag. Ein paar sind in Ordnung: Wohngemeinschaften und Büros teilen sich eine Adresse.

• Der eigene Browser eines KI-Agenten

  Manche KI-Agenten surfen mit einem eigenen Browser und verraten das in der Kennung, die der Browser jeder Website übermittelt. Menschen surfen selten so, deshalb protokolliert Dot das. Allein deswegen wird nie jemand abgewiesen.

Dot speichert die IP-Adresse nur gekürzt, ohne ihren letzten Teil. Die vollständige Adresse wird nur unkenntlich gemacht (gehasht) gespeichert, sodass sich eine Wiederholung erkennen lässt, die Adresse sich aber nie wiederherstellen lässt. Ein Gerät wird genauso gespeichert: als unkenntlicher Code aus dem, was der Browser ohnehin über sich mitteilt.

Wenn Dot etwas erkennt

Sie entscheiden, was passiert, und Sie sehen immer, was erkannt wurde und warum.

• Nur markieren

  Alle können die Umfrage beenden. Jede markierte Antwort erscheint in Ihren Ergebnissen mit dem Grund, etwa „Clicked by a script“, und zu schnelle Antworten tragen daneben das Label „Rushed“. Unter „Why Dot flagged it“ legt Dot in ein paar klaren Zeilen dar, was für den Verdacht spricht, etwa von wo das Gerät geantwortet hat und was seine Uhr sagt. Sie entscheiden, was Sie weglassen.

• Abweisen

  Markierte Personen landen auf einer Endseite, zu schnelle ebenfalls, wenn Sie die Prüfung auf zu schnelle Antworten eingeschaltet haben. Deren Antworten fließen nicht in Ihre Zahlen, Diagramme und Ihren Download ein.

Umfragen, die anderswo erstellt wurden

Sie haben Ihre Umfrage in Google Forms oder Qualtrics erstellt? Dot kann sie trotzdem schützen. Die Befragten kommen zuerst auf eine kurze Prüfseite. Dort laufen die Bot-Falle, die Prüfung auf zu schnelle Antworten und Mehrfachteilnahmen sowie eine Aufmerksamkeitsfrage, bevor sie zu Ihrer Umfrage weitergeleitet werden. Dot gibt Ihnen außerdem zwei weitere Aufmerksamkeitsfragen, die Sie selbst in Ihre Umfrage einbauen können. Dot kann offene Antworten nur in Umfragen lesen, die in SampleLabs erstellt wurden, deshalb braucht die Prüfung auf KI-generierte Antworten eine SampleLabs-Umfrage.

Häufig gestellte Fragen

Lässt sich erkennen, ob eine Umfrageantwort von einer KI geschrieben wurde?

Dot markiert offene Antworten, die eingefügt wurden oder klingen, als kämen sie von einem KI-Tool, und zeigt, welche Antwort den Ausschlag gab. Dot liest die fertigen Antworten, dieselben, die Sie in Ihren Ergebnissen sehen, deshalb läuft diese Prüfung bei Umfragen, die in SampleLabs erstellt wurden.

Wie erkennt Dot KI-Agenten, die einen echten Browser nutzen?

Daran, wie sich Mauszeiger und Tasten verhalten, am Abgleich des Browser-Protokolls mit unserer Uhr und daran, woher die Antwort kommt. KI-Agenten klicken genau in die Mitte von Schaltflächen, tippen in gleichmäßigem Takt und laufen meist auf gemieteten Cloud-Servern. Menschen tun das nicht.

Wird je ein echter Mensch versehentlich markiert?

Wir betreiben umfangreiche Forschung, damit das nicht passiert. Eine Prüfung markiert erst, wenn sie unsere eigenen Bots erkennt, ohne die echten Menschen zu erfassen, an denen wir sie testen. Bis dahin protokolliert sie nur.

Warum werden die genauen Grenzwerte nicht veröffentlicht?

Weil sich sonst ein Bot bauen ließe, der knapp darunter bleibt. Wir erklären in klaren Worten, worauf die wichtigsten Prüfungen achten, und jede Markierung in Ihren Ergebnissen sagt, warum sie vergeben wurde, damit Sie selbst urteilen können.

Wird erfasst, was Menschen tippen?

Nein. Dot erfasst, wann Tasten gedrückt und losgelassen werden, nie welche Tasten. Sitzungsaufzeichnungen blenden getippten Text aus, bevor er den Browser verlässt. Die einzigen Wörter, die Dot liest, sind die fertigen offenen Antworten, dieselben, die Sie in Ihren Ergebnissen sehen.

Werden Personen mit VPN abgewiesen?

Nein. Viele ehrliche Menschen nutzen ein VPN, deshalb protokolliert Dot das nur und weist niemanden allein deswegen ab.

Funktioniert Dot für Menschen am Smartphone oder mit Screenreader?

Ja, und Dot beurteilt sie nie nach dem, was sie nicht tun können. Antippen, Tastaturen und Screenreader hinterlassen keine Mausklicks, daher überspringen die Mausprüfungen sie, und Smartphones und Tablets werden nie nach ihrem Tipprhythmus beurteilt.

Ist das ein CAPTCHA?

Nein. Ein CAPTCHA verlangt von Menschen den Beweis, dass sie Menschen sind, und KI-Agenten bestehen inzwischen die meisten davon. Die meisten Prüfungen von Dot verlangen den Menschen nichts ab, sondern achten darauf, wie die Umfrage ausgefüllt wurde.

Kann ich eine Prüfung ausschalten?

Ja. Jede Prüfung lässt sich in Protect für jede Umfrage ein- oder ausschalten, und Sie entscheiden, ob markierte Personen nur gekennzeichnet oder abgewiesen werden.