Im letzten Jahr haben Regierungen auf der ganzen Welt Druck auf Facebook ausgeübt, seine Pläne für eine End-to-End-Verschlüsselung in seinen Apps aufzugeben, mit dem Argument, dass diese Funktion Kriminellen und vor allem Kinderschändern Schutz bietet. Heute führt Facebook neue Missbrauchserkennungs- und Warnfunktionen im Messenger ein, die dazu beitragen können, diese Kritik zu entkräften, ohne den Schutz zu schwächen.
Facebook kündigte heute neue Funktionen für den Messenger an, mit denen man gewarnt wird, wenn Nachrichten von Finanzbetrügern oder potenziellen Kinderschändern zu stammen scheinen, und die in der Messenger-App Warnungen anzeigen, die Tipps geben und vorschlagen, die Täter zu blockieren. Die Funktion, die Facebook bereits im März für Android eingeführt hat und nun auch für iOS zur Verfügung stellt, nutzt die maschinelle Analyse der Kommunikation der über eine Milliarde Facebook Messenger-Nutzer, um fragwürdiges Verhalten zu erkennen. Entscheidend ist jedoch, dass die Erkennung nur auf der Grundlage von Metadaten und nicht auf der Analyse des Inhalts von Nachrichten erfolgt, damit die Ende-zu-Ende-Verschlüsselung, die der Messenger mit seiner Funktion „Geheime Konversationen“ bietet, nicht untergraben wird. Facebook hat gesagt, dass es diese Ende-zu-Ende-Verschlüsselung schließlich standardmäßig auf alle Messenger-Chats ausweiten wird.
„Wir führen Sicherheitshinweise im Messenger ein, die in einem Chat auftauchen und Tipps geben, die den Nutzern helfen, verdächtige Aktivitäten zu erkennen und Maßnahmen zu ergreifen, um jemanden zu blockieren oder zu ignorieren, wenn etwas nicht in Ordnung zu sein scheint“, heißt es in einem Blog-Post von Jay Sullivan, Director of Product Management für Messenger Privacy and Safety bei Facebook. „Während wir zur Ende-zu-Ende-Verschlüsselung übergehen, investieren wir in Tools wie dieses, um die Privatsphäre zu schützen, ohne auf den Inhalt von Nachrichten zuzugreifen.“
„Ich denke, es ist ein gutes Zeichen, dass sie hier experimentieren.“
Alex Stamos, ehemaliger Chief Security Officer von Facebook
Facebook hat nicht viele Details darüber verraten, wie seine maschinellen Tricks zur Erkennung von Missbrauch funktionieren werden. Ein Facebook-Sprecher erklärte gegenüber WIRED, dass die Erkennungsmechanismen allein auf Metadaten basieren: wer mit wem spricht, wann sie Nachrichten senden, mit welcher Häufigkeit, und andere Attribute der betreffenden Konten – im Wesentlichen alles außer dem Inhalt der Kommunikation, auf den Facebooks Server nicht zugreifen können, wenn diese Nachrichten verschlüsselt sind. „Wir können ziemlich gute Signale erhalten, die wir durch maschinelle Lernmodelle entwickeln können, die natürlich im Laufe der Zeit verbessert werden“, sagte ein Facebook-Sprecher in einem Telefonat mit WIRED. Der Sprecher lehnte es ab, weitere Details zu nennen, auch weil das Unternehmen nicht versehentlich böswilligen Akteuren helfen will, seine Schutzmaßnahmen zu umgehen.
Im Blogbeitrag des Unternehmens wird das Beispiel eines Erwachsenen genannt, der Nachrichten oder Freundschaftsanfragen an eine große Anzahl von Minderjährigen sendet, als ein Fall, in dem seine Mechanismen zur Verhaltenserkennung einen wahrscheinlichen Missbraucher erkennen können. In anderen Fällen, so Facebook, werden fehlende Verbindungen zwischen den sozialen Graphen zweier Personen – ein Zeichen dafür, dass sie sich nicht kennen – oder frühere Fälle, in denen Nutzer eine Person gemeldet oder blockiert haben, als Hinweis darauf gewertet, dass sie etwas Zwielichtiges im Schilde führt.
Ein Screenshot von Facebook zeigt zum Beispiel eine Warnung, die fragt, ob der Empfänger einer Nachricht einen potenziellen Betrüger kennt. Wenn er dies verneint, wird vorgeschlagen, den Absender zu blockieren, und es werden Tipps gegeben, niemals Geld an einen Fremden zu senden. In einem anderen Beispiel erkennt die App, dass jemand einen Namen und ein Profilfoto verwendet, um sich als Freund des Empfängers auszugeben. Eine Warnmeldung zeigt dann das Profil des Betrügers und das des echten Freundes nebeneinander an und schlägt dem Nutzer vor, den Betrüger zu blockieren.
Facebook hat eine Ausnahme von seiner Behauptung, dass es sich den Inhalt von Nachrichten nicht ansieht: Der Mechanismus zur Meldung von Missbrauch im Messenger umfasst seit langem eine Funktion, die Nachrichten an Facebook sendet, wenn ein Nutzer sie markiert. Dies gibt Facebook einen weiteren potenziellen Hinweis darauf, welches andere schlechte Verhalten der Absender an den Tag legen könnte, wird aber im Allgemeinen nicht als Verstoß gegen die Ende-zu-Ende-Verschlüsselung betrachtet, da der Empfänger einer verschlüsselten Nachricht immer die Möglichkeit hat, die entschlüsselte Version mit einer dritten Partei zu teilen.1
Vorerst wird die Funktion „Sicherheitshinweise“ nur explizit vorschlagen, einen möglichen Missbrauch zu blockieren oder zu ignorieren. (Nutzer können missbräuchliches Verhalten nach wie vor mit der üblichen Methode melden, indem sie auf den Namen des Absenders und dann auf „Etwas stimmt nicht“ tippen und dann angeben, was passiert ist). „Wir wollten den Nutzern eine unmittelbare Maßnahme geben, und das Blockieren ist die unmittelbarste Maßnahme, die jemand ergreifen kann, um Schaden zu vermeiden“, sagt ein Facebook-Sprecher. „
Das Hinzufügen von Missbrauchswarnungen durch den Facebook Messenger, die allein auf Metadaten basieren, ist ein „guter Anfang“, sagt Alex Stamos, der ehemalige Chief Security Officer von Facebook. Aber er argumentiert, dass das Unternehmen mehr tun könnte – und sollte. Stamos, der jetzt das Stanford Internet Observatory leitet, hat sich dafür ausgesprochen, dass Facebook, Google, Microsoft, Snap und andere Unternehmen auf Anzeichen von schlechtem Verhalten auf den Geräten der Nutzer achten sollten.
„Ich denke, sie sollten eine clientseitige Inhaltskontrolle haben. Und sobald sie das tun, sollten sie die Leute auffordern, es zu melden“, sagt Stamos. Diese Analyse der Inhalte auf dem Gerät und die Erstellung von Berichten ermöglichen es Facebook, bösartige Akteure schneller zu finden als das bloße Scannen von Metadaten, sagt Stamos, und gleichzeitig die Ende-zu-Ende-Verschlüsselung aufrechtzuerhalten.
Stamos merkt außerdem an, dass, wenn Facebook bei seinen Warnmeldungen den Schwerpunkt auf das Melden statt auf das bloße Sperren legen würde, diese Berichte Beweise liefern könnten, die die Strafverfolgungsbehörden gegen Schwerverbrecher verwenden könnten. „Sie werden niemanden verhaften, weil Ihre Daten zeigen, dass er versucht hat, sich mit einer Gruppe von Teenagern zu ‚befreunden'“, fügt Stamos hinzu. „Wenn aber jemand tatsächlich eine Anfrage nach Nacktfotos an ein Kind schickt, ist das in den meisten Fällen wahrscheinlich illegal. Das könnte dazu dienen, einen Durchsuchungsbefehl zu erhalten und die Person möglicherweise strafrechtlich zu verfolgen. Sie wollen wirklich den Inhalt der Kommunikation, und der beste Weg, dies in der Ende-zu-Ende-Verschlüsselung zu tun, ist einfach, den Empfänger zu ermutigen, die Konversation zu melden.“
Ein Facebook-Sprecher sagte auf die Frage nach der Möglichkeit einer clientseitigen Inhaltsanalyse, dass diese Maßnahme „nicht in Betracht gezogen wurde und für diese Sicherheitsfunktion nicht notwendig ist.“
Facebook, wie auch viele andere Tech-Unternehmen, sind unter wachsenden Druck der Trump-Administration und des Kongresses geraten, Mechanismen in die Verschlüsselung einzubauen, die den Strafverfolgungsbehörden den Zugriff auf die Kommunikation und gespeicherte Daten ermöglichen. Im März wurde ein Gesetzentwurf mit der Bezeichnung EARN IT Act eingebracht, der in der Praxis eine starke Ende-zu-Ende-Verschlüsselung verbieten könnte, wenn er in seiner jetzigen Form verabschiedet wird. Und erst diese Woche kritisierte Generalstaatsanwalt William Barr Apple dafür, dass es nicht bei der Entschlüsselung von zwei älteren iPhones geholfen hat, die dem mit Al-Qaida in Verbindung stehenden Mohammed Saeed Alshamrani gehörten, der bei einer Massenschießerei im vergangenen Dezember drei Menschen getötet hat.
Facebook argumentiert, dass seine neuen Sicherheitshinweise keine Reaktion auf diesen politischen Druck sind – sie waren sogar schon in Arbeit, bevor Mark Zuckerberg im vergangenen Jahr den langsamen Übergang des Unternehmens zu einem einheitlichen, Ende-zu-Ende-verschlüsselten Nachrichtensystem ankündigte.
Aber Stamos argumentiert, dass genau diese Art von Tool notwendig ist, um die Kritiker der Verschlüsselung zu besänftigen – und dass noch mehr sowohl notwendig als auch möglich ist, ohne die grundlegenden Datenschutzgarantien der Verschlüsselung zu gefährden. „Ich denke, es ist ein gutes Zeichen, dass sie hier experimentieren“, sagt Stamos. „Es ist ein Eingeständnis, dass sie glauben, dass sie eine Verantwortung haben, mit einigen der Nachteile umzugehen, was ich nicht nur moralisch richtig finde. Es ist ein Prädikat für das Überleben der Ende-zu-Ende-Verschlüsselung.“
1Aktualisiert am 21.5.2020 um 14 Uhr EST, um zu klären, wie Facebooks Meldeverfahren für verschlüsselte Konversationen funktioniert.
More Great WIRED Stories
- How a Chinese AI giant made chatting—and surveillance—easy
- The confessions of Marcus Hutchins, the hacker who saved the internet
- We’ll learn to sing together when we’re far apart
- 27 days in Tokyo Bay: Was auf der Diamond Princess geschah
- Tipps und Tools für das Haareschneiden zu Hause
- 👁 KI entdeckt eine mögliche Covid-19-Behandlung. Plus: Holen Sie sich die neuesten KI-Nachrichten
- 🏃🏽♀️ Sie wollen die besten Werkzeuge, um gesund zu werden? Schau dir die Auswahl unseres Gear-Teams für die besten Fitness-Tracker, Laufbekleidung (einschließlich Schuhe und Socken) und die besten Kopfhörer an
More Great WIRED Stories
- How a Chinese AI giant made chatting—and surveillance—easy
- The confessions of Marcus Hutchins, the hacker who saved the internet
- We’ll learn to sing together when we’re far apart
- 27 days in Tokyo Bay: What happened on the Diamond Princess
- Tips and tools for cutting your hair at home
- 👁 AI uncovers a potential Covid-19 treatment. Plus: Get the latest AI news
- 🏃🏽♀️ Want the best tools to get healthy? Check out our Gear team’s picks for the best fitness trackers, running gear (including shoes and socks), and best headphones