Under det senaste året har regeringar runt om i världen pressat Facebook att överge sina planer på end-to-end-kryptering i alla sina appar, med argumentet att funktionen ger skydd åt brottslingar och framför allt barnförövare. I dag lanserar Facebook nya verktyg för att upptäcka missbruk och varningar i Messenger som kan bidra till att bemöta den kritiken – utan att försvaga skyddet.
Facebook tillkännagav i dag nya funktioner för Messenger som kommer att varna dig när meddelanden ser ut att komma från ekonomiska bedragare eller potentiella barnmissbrukare, och som visar varningar i Messenger-appen med tips och förslag om att blockera gärningsmännen. Funktionen, som Facebook började lansera på Android i mars och som nu kommer att införas på iOS, använder maskininlärning för att analysera kommunikationen mellan Facebook Messengers mer än en miljard användare för att identifiera skumma beteenden. Men det är viktigt att Facebook säger att upptäckten endast kommer att ske baserat på metadata – inte en analys av meddelandets innehåll – så att den inte undergräver den end-to-end-kryptering som Messenger erbjuder i sin Secret Conversations-funktion. Facebook har sagt att man så småningom kommer att införa denna end-to-end-kryptering i alla Messenger-chattar som standard.
”Vi inför säkerhetsmeddelanden i Messenger som kommer att dyka upp i en chatt och ge tips för att hjälpa människor att upptäcka misstänkt aktivitet och vidta åtgärder för att blockera eller ignorera någon när något inte verkar stämma”, står det i ett blogginlägg från Jay Sullivan, chef för Facebooks produkthantering för Messenger privacy and safety. ”I takt med att vi övergår till end-to-end-kryptering investerar vi i integritetsbevarande verktyg som detta för att hålla människor säkra utan att få tillgång till meddelandets innehåll.”
”Jag tycker att det är ett bra tecken att de experimenterar här.”
Alex Stamos, före detta säkerhetschef på Facebook
Facebook har inte avslöjat många detaljer om hur deras maskininlärningstricks för att upptäcka missbruk kommer att fungera. Men en talesperson för Facebook säger till WIRED att detektionsmekanismerna baseras enbart på metadata: vem som pratar med vem, när de skickar meddelanden, med vilken frekvens och andra attribut för de relevanta kontona – i princip allt annat än innehållet i kommunikationen, som Facebooks servrar inte har tillgång till när dessa meddelanden är krypterade. ”Vi kan få ganska bra signaler som vi kan utveckla med hjälp av modeller för maskininlärning, som uppenbarligen kommer att förbättras med tiden”, sade en talesperson för Facebook till WIRED i ett telefonsamtal. De avböjde att dela med sig av fler detaljer, delvis på grund av att företaget säger att det inte oavsiktligt vill hjälpa dåliga aktörer att kringgå dess skyddsåtgärder.
Företagets blogginlägg erbjuder exemplet med en vuxen som skickar meddelanden eller vänförfrågningar till ett stort antal minderåriga som ett fall där dess mekanismer för beteendedetektering kan upptäcka en trolig missbrukare. I andra fall, säger Facebook, kommer det att väga in en brist på kopplingar mellan två personers sociala grafer – ett tecken på att de inte känner varandra – eller ta hänsyn till tidigare fall där användare rapporterat eller blockerat en person som en ledtråd om att de håller på med något skumt.
En skärmdump från Facebook visar till exempel en varning som frågar om en mottagare av ett meddelande känner till en potentiell bedragare. Om han eller hon svarar nej föreslås att avsändaren blockeras och att tips ges om att aldrig skicka pengar till en främling. I ett annat exempel upptäcker appen att någon använder ett namn och en profilbild för att utge sig för att vara mottagarens vän. En varning visar då den utgivna och den riktiga vännens profiler sida vid sida och föreslår att användaren blockerar bedragaren.
Facebook har ett undantag från sitt påstående att de inte tittar på meddelandets innehåll: Messenger har länge haft en funktion som skickar meddelanden till Facebook när en användare flaggar för dem. Detta ger Facebook ytterligare en potentiell ledtråd om vilket annat dåligt beteende avsändaren kan tänkas ha för sig, men betraktas i allmänhet inte som ett brott mot end-to-end-krypteringen eftersom mottagaren av ett krypterat meddelande alltid kan välja att dela den dekrypterade versionen med en tredje part.1
För tillfället kommer funktionen för säkerhetsmeddelanden endast att uttryckligen föreslå att blockera eller ignorera ett potentiellt missbruk. (Användare kan fortfarande rapportera missbruk med den vanliga metoden genom att trycka på avsändarens namn och sedan ”Något är fel” och sedan ange vad som hänt.) ”Vi ville ge människor en omedelbar åtgärd, och blockering är den mest omedelbara åtgärd som någon kan vidta för att undvika skada”, säger en talesperson för Facebook. ”Rapportering är något som vi också funderar på att införa i funktionen.”
Facebook Messengers tillägg av missbruksvarningar baserade enbart på metadata är en ”bra början”, säger Alex Stamos, tidigare säkerhetschef på Facebook. Men han menar att företaget kan – och bör – göra mer. Stamos, som nu leder Stanford Internet Observatory, har hävdat att Facebook, Google, Microsoft, Snap och andra bör övervaka tecken på dåligt beteende på användarnas enheter.
”Jag tycker att de bör ha en klientsida som tittar på innehållet. Och när de väl gör det bör de uppmana människor att rapportera det”, säger Stamos. Med hjälp av innehållsanalys och rapportering på enheten kan Facebook hitta dåliga aktörer snabbare än genom att bara skanna metadata, säger Stamos, samtidigt som man behåller end-to-end-kryptering.
Stamos påpekar också att om Facebook betonar rapportering i stället för att bara blockera i sina varningar till, skulle dessa rapporter kunna skapa bevis som brottsbekämpande myndigheter skulle kunna använda mot grova brottslingar. ”Du kommer inte att arrestera någon för att dina data visar att han eller hon försökte bli vän med ett gäng tonårsflickor”, tillägger Stamos. ”Men om någon faktiskt skickar en förfrågan om nakenbilder till ett barn är det förmodligen olagligt i de flesta fall. Det kan användas för att få en husrannsakan och eventuellt åtala personen. Du vill verkligen ha innehållet i kommunikationen, och det bästa sättet att göra det i end-to-end-kryptering är att uppmuntra mottagaren att rapportera samtalet.”
En talesperson för Facebook, som tillfrågades om möjligheten till innehållsanalyser på klientsidan, säger att åtgärden ”inte övervägdes och inte är nödvändig för den här säkerhetsfunktionen.”
Facebook, tillsammans med många andra teknikföretag, har utsatts för allt större påtryckningar från Trump-administrationen och kongressen för att bygga in mekanismer i krypteringen som gör det möjligt för brottsbekämpande myndigheter att få tillgång till kommunikationer och lagrade data. I mars lades ett lagförslag kallat EARN IT Act fram som i praktiken skulle kunna förbjuda stark end-to-end-kryptering om det antogs i sin nuvarande form. Och så sent som i veckan kritiserade justitieminister William Barr Apple för att inte ha hjälpt till att dekryptera ett par äldre iPhones som tillhörde den al-Qaida-kopplade Mohammed Saeed Alshamrani, som dödade tre personer vid en masskjutning i december förra året.
Facebook hävdar att dess nya säkerhetsmeddelanden inte är ett svar på dessa politiska påtryckningar – att de i själva verket har varit på gång redan innan Mark Zuckerberg tillkännagav företagets långsamma övergång till ett enhetligt, slut-till-slut-krypterat meddelandesystem förra året.
Men Stamos hävdar att just den här sortens verktyg är nödvändiga för att blidka krypteringens kritiker – och att mer fortfarande kan vara både nödvändigt och möjligt utan att äventyra krypteringens grundläggande integritetsgarantier. ”Jag tycker att det är ett bra tecken att de experimenterar här”, säger Stamos. ”Det är ett erkännande av att de anser att de har ett ansvar för att ta itu med några av nackdelarna, vilket jag inte bara tycker är moraliskt riktigt. Det är en förutsättning för att end-to-end-kryptering ska överleva.”
1Uppdaterad 21/5/2020 kl. 14.00 EST för att förtydliga hur Facebooks rapporteringsprocess för krypterade konversationer fungerar.
More Great WIRED Stories
- How a Chinese AI giant made chatting—and surveillance—easy
- The confessions of Marcus Hutchins, the hacker who saved the internet
- We’ll learn to sing together when we’re far apart
- 27 days in Tokyo Bay: Vad hände på Diamond Princess
- Tips och verktyg för att klippa håret hemma
- 👁 AI avslöjar en potentiell Covid-19-behandling. Plus: Få de senaste AI-nyheterna
- 🏃🏽♀️ Vill du ha de bästa verktygen för att bli frisk? Kolla in vårt Gear-teams tips på de bästa fitness trackers, löparutrustning (inklusive skor och strumpor) och de bästa hörlurarna
.
More Great WIRED Stories
- How a Chinese AI giant made chatting—and surveillance—easy
- The confessions of Marcus Hutchins, the hacker who saved the internet
- We’ll learn to sing together when we’re far apart
- 27 days in Tokyo Bay: What happened on the Diamond Princess
- Tips and tools for cutting your hair at home
- 👁 AI uncovers a potential Covid-19 treatment. Plus: Get the latest AI news
- 🏃🏽♀️ Want the best tools to get healthy? Check out our Gear team’s picks for the best fitness trackers, running gear (including shoes and socks), and best headphones