Как глава Instagram Кевин Систром планирует очистить интернет от троллей и оскорблений

33-летний Систром — высокий, худой мужчина с аккуратной бородой. У него дружелюбное рукопожатие и спокойная манера поведения. Сейчас он миллиардер, однако не строит из себя альфа-самца, как его коллеги по статусу. У него нет яхты, он не разъезжает по штатам со странными целями, вокруг него нет бывших партнеров по бизнесу, которые молчат из-за подписания NDA. Даже личный профиль Систрома — в основном фотографии собак, кофе, велопрогулок и улыбчивых знаменитостей.

​

Пару лет назад издание Valleywag описало его голос как «монотонное звучание человека, зачитывающего собственный некролог», однако он со спокойствием воспринимает прошлое. Если у Кевина случаются неудачи, его критики сразу называют его неудачником: Систром и его кофаундер, Майк Кригер, продали Instagram слишком рано. Они запустили сервис спустя несколько лет после выпуска из Стэнфорда и он сразу набрал небывалую популярность. В результате сделки с Facebook предприниматели получили $1 млрд. Для сравнения, Snap, который отверг предложение от Facebook, сейчас оценивается почти в $16 млрд.

Однако Систром гордится своей репутацией добряка и считает ее основой ДНК Instagram. Во время запуска сервиса в 2010 он и Кригер совместно удаляли хейтерские комментарии. Они даже вручную банили грубых пользователей — такую меру Систром прозвал «укрощением троллей». Систром говорит, что Кригер тоже всегда улыбчив и добр, поэтому он старается перенять его манеру поведения. А тот, в свою очередь, научился подобному от своей жены. Иными словами, Систром действительно прилагает все усилия, чтобы соответствовать показанному в профиле с ником @kevin.

Однажды, после возвращения с конференции VidCon, Систром появился в штаб-квартире Instagram с четким намерением и новой миссией — сделать социальную площадку примером своеобразной утопии. Инженерам предстояло основательно потрудиться. Тем временем, следующей публикацией Кевина стали роскошные крендели домашнего приготовления. Пост сразу получил порцию издевательских комментариев. К примеру, тролли писали: «Классные булочки — прямо как у твоей мамаши».

Но давайте проговорим банальную истину. Технологические платформы — далеко не нейтральное место. Их дизайн и структура поощряют определенное поведение. Плюс алгоритмы, которые еще сильнее усиливают контроль. Нам, может и нравится весловать в своих лодочках, но продолжая эту аналогию — платформы это реки, а их алгоритмы — течения.

Как CEO 700-миллионного сервиса, Систром понимает, что он — некий доброжелательный диктатор в стране, вдвое превышающей по населению США. Его решения влияют на жизнь всех пользователей — среди которых есть и незащищенные подростки, и сформировавшиеся взрослые люди, и рекламодатели, и даже поп-звезды, которым приходится справляться с наплывом «змей».

В середине июля 2016 Систрому удалось наблюдать за таким феноменом. Тогда певица Тейлор Свифт буквально за неделю перессорилась в интернете с Кельвином Харрисом, Кэтти Пэрри и Ким Кардашьян. Свифт обвинили в предательском вероломстве и ее Instagram-фид превратился в филиал Национального зоопарка — его заполонили комментарии с эмодзи змей, порой сменяющиеся свиньями. Однако внезапно они начали исчезать и скоро аккаунт певицы вернулся к нормальному состоянию — в нем красовались лишь фотографии ее привлекательных друзей, а комментаторы писали хвалебные отзывы.

​

Ситуация со Свифт не уникальна. Неделей ранее Систром и его команда создали специальный фильтр, удаляющий определенные слова и эмодзи из пользовательских профилей. «Змеи» Свифт просто стали первым примером его работы. Уже в сентябре CEO анонсировал запуск функции на всемирную аудиторию. Юзеры могли нажать на кнопку «заблокировать нежелательный контент» и это блокировало избранный компанией список слов и выражений, среди которых расистские кричалки и словечки вроде «шлюха». Они также могли самостоятельно добавить ключевые слова и даже эмодзи, вроде, ну конечно же, змей.

Но для инженеров Instagram это было лишь началом. В октябре сервис запустил ряд инструментов, по совокупности напоминающий ситуацию, в которой строгий школьный смотритель взломал бы ваш телефон. Если юзер набирал слово «суицид», его встречала предупредительная табличка, сообщающая, что «Если вы находитесь в непростом положении, мы хотели бы помочь». На следующем экране предлагалась поддержка, включая номера бесплатных горячих линий для оказания психологической помощи. Двумя месяцами спустя, в 2016 году, компания предоставила пользователям возможность просто отключать комментарии под некоторыми постами. Как раз для тех случаев, когда вы предпочитаете монолог, а не диалог.

Циники могут подметить, что все это хорошо для бизнеса настолько же, насколько и для душевного равновесия. Рекламодатели предпочитают тратить деньги в местах, где люди говорят о приятном, а знаменитости не подвергаются издевательствам. Подростки откроют свои аккаунты для публичного доступа, если почувствуют себя в безопасности, и если родители не станут оттягивать их от телефонов.

Однако разговаривая с сотрудниками самого разного уровня, становится понятно — это искренний порыв, а не желание положить больше денег в свой карман. Ники Джексон Колако, директор по политике публичности, говорит от лица собственных детей и множества подростков, чей первый опыт погружения в соцсети приходится на Instagram: «Думаю, мы все говорим об одном, мы хотим быть в другом мире».

Но Instagram не мог ограничиться простым техническим решением, вроде автоматического удаления эмодзи со змеями. Так что, даже несмотря на загруженный график осенних релизов, инженеры принялись за работу над гораздо более сложным проектом.

Для решения проблемы с оскорблениями, Систром прибегнул к алгоритму DeepText, разработанного Facebook. Это технология, основанная на машинном обучении, которая учит новые слова, анализируя окружающий текст. Чем больше у нее данных — тем она умнее. Со стороны похожа на мозг взрослого человека, которому стерли память. Теперь он готов с головой погрузиться в любую поставленную лингвистическую задачу. Facebook, к примеру, использовал это чтобы распознавать, что при общении в Messenger люди хотят заказать такси.

После изучения DeepText Систром понял, что технология поможет им бороться со спамом. Правда, поначалу, словно человеческому дитя, ей потребуется помощь. Так что Систром подрядил целую команду на сортировку шутовских, угрюмых, вымогательских и низкопробных публикаций.

Они отмечали контент как спам или не спам, а потом отдавали эти данные на прокорм DeepText. Алгоритм изучал и категоризировал, что же это за «милые предложения спонсорства из Дубая», и как определить бота от реального человека, просящего обратного фолловинга. Как только система оказалась достаточно аккуратна в определении спама, инженеры отошли от дел, а компания оперативно запустила продукт в прошлом октябре.

Затем Систрому пришла в голову более сложная затея: что если Instagram сможет использовать DeepText для удаления «хитрых» комментариев. Забудьте про любителей сексуальных оскорблений и ботов-фолловеров. Сможет ли AI взять на себя контент посложнее? К примеру, комментарий «Подойди к окну и сделай большой Ш А Г оттуда» не содержит никаких запретных слов, но явно содержит призыв к суициду. Наконец, «хорошие булочки — прямо как у твоей мамы» это тоже грубость, но если ее говорит друг, отдающий должное кулинарии твоей мамы, значение меняется на противоположное.

Другие социальные платформы уже работали над фильтрацией спама, но планы Instagram превратить всю соцсеть в более дружелюбное место оказались гораздо амбициознее. Систром сказал команде поднажать.

​

Instagram — относительно небольшая компания. У нее всего 500 сотрудников — это примерно один на каждые 1,5 млн пользователей. Команда, которая учила алгоритмы доброте, тоже невелика. В июне она составляла около 20 человек. Их работа заключается в определении того, соответствует ли комментарий политике сообщества: конкретно, или как выражается пресс-секретарь компании, по духу. Эти сотрудники имеют доступ к расширенной версии гайдлайнов, публичная версия которых открыта всем и, вкратце, гласит следующее: будьте дружелюбны. Десятки таких оценщиков, большинство из которых владеет двумя языками, проанализировали уже более 2 млн комментариев — и каждый получил как минимум две отметки.

Нюансы важны даже в обращении с самыми оскорбительными выражениями. К примеру, если вы применяете N-слово в качестве ругательства [обзываете темнокожих — прим. ред], это запрещено. Исключения — для описания самого себя или пересказа истории, в которой вы подверглись дискриминации.

После того, как сотрудники сортируют данные, их [данные] вскармливают DeepText. Алгоритм анализирует все комментарии, находит паттерны хороших и плохих выражений. По ходу работы инженеры разработали для программы систему правил для определения оскорблений, куда входят факторы вроде взаимоотношений между комментатором и автором поста. Также они используют метрику под названием «кармический счет», определяющую качество предыдущих постов пользователя. Эти правила были протестированы на одной пятой данных, которые не дают в распоряжение DeepText, чтобы проверить их пригодность в реальных условиях.

Машина присваивает каждому комментарию оценку от ноля до единицы. Скажем, 0,41 или 0,89 — это показатель уверенности Instagram в том, что комментарий оскорбительный или недопустимый. Чем выше отметка, тем хуже комментарий — и после преодоления определенной черты его ждет удаление. Система отлажена так, что достигла ложноположительной ставки в 1%. Это означает, что примерно 1% удаленных ею комментариев не заметили бы люди.

Порой использование бездушной машины кажется самым верным способом решения проблемы. Люди — будто кипящие чаны предрассудков и противоречий, а у компьютеров нет эмоций. Но они хороши ровно настолько, насколько продуманы заданные правила.

К примеру, ранее аналитик компании Luminoso Роб Спир построил алгоритм, который пытался анализировать уровень сентиментальности постов. Он применил его на ресторанные и гастрономические отзывы и внезапно обнаружил, что мексиканские заведения не слишком хорошо проходят проверку. Но людям-то нравятся такие блюда. Покопавшись в данных, он обнаружил, что система изучила значение прилагательного «мексиканский» по записям в интернете, где его обычно ассоциируют с нелегальщиной и преступностью, что расценивается плохо.

Когда журналист пересказал эту историю Систрому, тот сказал: «Звучит ужасно». И следом заверил, что его рейтинг не допустит подобного, поскольку будет базироваться на выводах людей-оценщиков. Но могут ли они быть, в каком-то роде, предвзятыми? Что если какой-то парень в команде, например, беспокоится только о подшучивании над высокими женщинами, игнорируя хохмы в адрес низких? Или считает, что #memelivesmatter — оскорбительный хештег? Предрассудки людей в одной комнате определяют поведение алгоритма, который пробует утихомирить 700 млн людей.

Проект дебютировал в июне и пока что заслужил только положительные отзывы. Правда, некоторые ошибки все же случились — фильтр не идеален. К примеру, ему сложно отследить культурные различия. Он блокировал предложения со словом fag [п***р — гомосексуалист], хотя в британском слэнге так называют сигареты. Блокировки подвергалась фраза «тебе надо проверить индекс массы тела», но только если ее публиковал недавно созданный аккаунт. Алгоритму было сложно справиться со словами песен Канье Уэста. Каждая строка его куплетов улетала в бан, из-за достаточно грубого содержания:

При этом машину совершенно не беспокоили более виртуозные оскорбления Канье, вроде: «Ты оставила холодильник открытым, кто-то забрал бутерброд».

Главный риск для Instagram заключается в том, что фильтр понемногу изменит настрой всей платформы. Эта соцсеть, конечно, построена вокруг фотографий, но что если взвешенные аргументы и содержательная критика станут появляться реже? Лучшие идеи не всегда приходят от позитивных или дружелюбных персонажей. Instagram, как уже упоминалось ранее, не существовал бы без iPhone. И сам Стив Джобс был известен тем, что мог сказать пару словечек, наверняка не прошедших бы фильтр. Возможно, создаваемый Систромом мир не окажется просто дружелюбным — он будет дезинфицирован. По ощущениям станет напоминать Disneyland.

Когда Кевин анонсировал нововведения в июне, то опубликовал изображения из букв, складывающихся в сердечко, а также описал свои намерения. Большинство ответов были позитивными. А ряд критических комментариев не беспокоили фильтр.

Люди в который раз жаловались на безвозвратный уход хронологической ленты. Другие просто говорили, что все это странно. Некоторые читатели, высказывали самые благоразумные опасения: «Хотя я и согласен, что Instagram социальные медиа стали рассадником троллинга, надеюсь, что это не продвинет линию цензуры в отношении комментариев и идей, которые просто не вызывают общего согласия».

В Кремниевой долине с цензурой все туманно. У государства есть конституционно закрепленные рамки для цензуры, но частные платформы им не подчиняются. И все же, идея свободного выражения мыслей долгое время остается одной из главных причин для опасений. Хакерская этика, признанная первыми программистами, поощряла свободный обмен информацией.

В 2009 году Facebook огласил свою миссию сделать мир более открытым и объединенным. Это был тот же год, когда прерванное «Зеленое движение» в Иране прозвали революцией Твиттера. Тогда представители компании говорили, что хотят добиться размещения максимального количества мнений в интернете, ведь большая огласка — лучшее решение для любого вопроса.

Сейчас этот период корпоративной истории Twitter выглядит как момент наивного идеализма — будто ошибка юноши, который не подозревал, насколько глубоко сексизм и порой даже фашизм, окопались в человеческой идентичности. В ту пору призыв к свободному диалогу исходил от людей, которые хотели свалить диктатора. Сейчас подобное говорят люди, старающиеся защитить право высказывать расистские оскорбления без обвинений в расизме.

​

Так что понятие свободы изменилось для компаний, работающих в интернете. Facebook основательно провалился с фейковыми новостями в новостном фиде — свобода слова, в каком-то смысле, способствовала избранию Дональда Трампа. И, наверно, неслучайно компания изменила свою миссию в прошлом июне. Теперь Facebook хочет «дать людям возможность строить комьюнити, а также объединять мир». Первый призыв напоминал эхо слов Джеймса Мэдисона. Нынешний напоминает рекламу Coca-Cola.

Для Систрома все достаточно просто: свобода слова не означает свободу постить чушь. Его социальная сеть это не публичное пространство — это платформа, которую люди выбирают сознательно. Когда его ловят на этом, он отвечает: «Это разве свобода слова, быть язвительным с кем-то?». Джексон Колако проясняет ситуацию точнее: «Если токсичность платформы такова, что людям даже не хочется постить комментарии, делиться идеями, тогда действительно нарушается самовыражение».

В свою очередь, ее слова провоцируют новые вопросы. Как конкретно вы поймете, когда ограничивать свободу слова? Когда это менее вероятно, а когда совсем ели-ели? Это непростые моменты, однако Систром отметает их в сторону замечанием о том, что Instagram нацелен только на худшие комментарии.

Есть и другая история. Десять лет назад Тристан Харрис и Майкл Кригер учились в Стэнфорде, где изучали, как технологии могут менять поведение. Вместе они сделали мокап приложения, названного Send the Sunshine, похожего на грубый скетч нынешних намерений Instagram. Программа предлагала пользователям, у которых сейчас солнечно, отправлять фотографии друзьям из регионов с плохой погодой.

Харрис затем проработал несколько лет в Google, а сейчас руководит некоммерческой организацией Time Well Spent, в которой ведет сражение с социальными медиа. Его оружие: лонгформ-журналистика. Он начал привлекать особенное внимание после появление профайла в The Atlantic, где Харриса назвали «ближайшим к понятию совести во всей Кремниевой долине». По его словам: «Все, что они [технологические компании] делают — увеличивают вовлеченность. Можете заменить вовлеченность на зависимость, смысл сохранится».

Харрис заключил партнерство с приложением Moment. Оно измеряет, сколько времени люди проводят со своими смартфонами и позже спрашивает, довольны ли они результатом. 95% удовлетворены использованием Google Calendar, а 96% рады потраченному в Waze времени. Более половины пользователей, тем не менее, расстроены потраченному времени в Instagram, которое равняется 54 минутам в день. У Facebook дела еще хуже, программа замыкает тройку худших с конца, уступая только дейтингу Grindr и аркаде Candy Crush Saga.

Когда журналист Wired упомянул Харриса в интервью, Систром отреагировал на упреждение: «Извините, я просто смеюсь над идеей, что кто-то здесь разрабатывает вещи для массового появления зависимости. Мы пытаемся решить проблемы людей, и если это означает, что им нравится пользоваться нашим продуктом, значит работаем неплохо».

Но оба стэнфордских выпускника полностью сходятся мнениями в одном — применение технологий человеком может носить нездоровый характер. Харрис, однако, хочет чтобы крупные компании «прекратили угонять человеческий ум ради вовлеченности», а Систром пытается сделать вовлеченность более приятной.

После запуска фильтра комментариев в июне, он принялся за работу над схожей задачей — разработкой для поднятия качественных комментариев. Систром не раскрывает, как будет оцениваться качество, но есть шансы, что все будет как основной лентой, где публикации располагаются по релевантности, а не в хронологическом порядке. Это попытка инициировать эффект мимикрии. Когда люди видят приятные вещи, они и сами начинают говорить вежливее. Так что, вероятно, техникам скоро придется попотеть над новой задачей.

Великие амбиции Систрома не распространяются только на Instagram. Это лишь его первая цель, очистить собственную платформу. Но во времена, когда американский национальный диалог приобретает все более темные тона, он хочет показать всему интернету, что токсичная онлайн-среда — это неприемлемо. И после достижения своих целей в улучшении Instagram, он планирует продолжать: «Я действительно считаю, что все это ради цели сделать интернет лучше».

Действительно ли более спокойный, более добрый интернет, лучше? Возможно. Instagram, зафильтрованный до предела, не планирует избавляться от своей диктатуры. И возможно, не будет таким веселым. Это ведь некое удовольствие, увидеть среди отборных лестных комментариев у Тейлор Свифт эмодзи с зеленой змеей. Однако, сложно придумать контраргументы — особенно в эру Трампа и особенно на площадке, так популярной среди подростков — интернет должен быть лучше воспитан.

Эта позиция подтвердилась вскоре после запуска продукта, в середине июля, когда трагедия поразила сервис. Близкий друг Систрома и один из ведущих дизайнеров компании, умер во время плавания. Убитый горем Систром в открытую заплакал на собрании сотрудников. Instagram — всего лишь мечта о жизни, которая выглядит лучше реальной. Но порой мир получает возможность разрушить барьеры вокруг нас.

Менее недели спустя, Систром опубликовал пост-трибьют о бывшем коллеге. Возможно, сработали фильтры, в возможно — человеческая эмпатия. В комментариях не было ни одной идиотской шутки. Только симпатия, грусть и даже сочувствие — и никто не стал кричать.