Фейсбук отключил искусственный интеллект: : Технологии и медиа :: РБК

Содержание

: Технологии и медиа :: РБК

Компания Facebook была вынуждена закрыть одну из своих систем искусственного интеллекта после того, как программисты обнаружили, что боты стали общаться не на английском, а на собственном, непонятном людям языке. Об этом сообщает Tech Times.

Издание отмечает, что собственный язык был создан искусственным интеллектом для того, чтобы быстрее и проще обмениваться информацией. После этого Facebook отключил часть системы и перепрограммировал других ботов, чтобы они могли общаться только на английском языке.

Ранее, 24 июля, основатель Facebook Марк Цукерберг не согласился с утверждением основателя SpaceX и Tesla Илона Маска, который заявил, что искусственный интеллект является «фундаментальной угрозой для всего человечества».

«Искусственный интеллект сделает в будущем нашу жизнь лучше, а предсказывать конец света — очень безответственно», — сказал Цукерберг.

В середине июля Маск во время выступления перед Национальной ассоциацией губернаторов США заявил, что искусственный интеллект является «фундаментальной угрозой для человечества». «ДТП, авиакатастрофы, некачественные лекарства и плохая еда такими не являются», — подчеркнул бизнесмен.

Маск добавил, что ему доступны передовые технологии, связанные с развитием и внедрением искусственного интеллекта. По его словам, то, что он видит, заставляет его думать, что людям на самом деле стоит беспокоиться на эту тему.

Маск подчеркнул, что считает необходимым регулировать разработки искусственного интеллекта на государственном уровне. Он также выступил за искусственное ограничение скорости, с которой такие технологии распространяются. По его словам, «просто реагировать» на достижения в этой области недостаточно, потому что однажды может выясниться, что уже поздно.

Боты изобрели свой язык: почему Facebook испугался искусственного интеллекта?

31 июля 2017

Автор фото, Science Photo Library

Подпись к фото,

Влияние систем искусственного интеллекта по-разному оценивается экспертами

Руководство социальной сети Facebook вынуждено было отключить свою систему искусственного интеллекта, после того как машины начали общаться на собственном, несуществующем языке, который люди не понимали.

Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.

Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.

В американских СМИ появились отрывки из «диалогов», которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].

Боб: Я могу могу ЯЯ все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесет им определенную «пользу». В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

«Наибольшая угроза»

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее говорил и британский ученый Стивен Хокинг.

Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект «наибольшей угрозой, с которой сталкивается цивилизация». По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.

«Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]», — сказал он.

Автор фото, AFP

Подпись к фото,

Илон Маск считает искусственный интеллект главной угрозой для цивилизации

Заявления Маска вызвали раздражение у основателя Facebook Марка Цукерберга, который назвал их «довольно безответственными».

«В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше», — парировал Цукерберг.

Перевод с искусственного

Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.

Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Facebook отключил чат-ботов, создавших собственный язык

Социальная сеть Facebook была вынуждена остановить свой эксперимент с использованием системы искусственного интеллекта из-за «непредсказуемого поведения» новых технологий. Изначально все чат-боты, созданные для того, чтобы отвечать на вопросы пользователей, говорили на английском языке, но потом что-то пошло не так…

Неожиданно для программистов чат-боты по имени Боб и Элис стали общаться между собой на собственном языке. Вернее, он состоял из несвязного набора слов, совершенно непонятного человеку. Беседа двух машин выглядела примерно так:

Боб: я могу я я всё остальное . . . . . . . . . . . . . .

Элис: шары имеют ноль ко мне ко мне ко мне ко мне ко мне ко мне ко мне ко мне ко

Боб: ты я всё остальное . . . . . . . . . . . . . . . .

Элис: у шаров есть шар ко мне ко мне ко мне ко мне ко мне ко мне ко мне ко мне

Боб: я я могу я я я все остальное . . . . . . . . . . . .

Казалось бы, полнейшая бессмыслица, однако программисты пришли к выводу, что боты всё-таки нашли «общий язык». Искусственный интеллект, не имея ограничений в выборе языка, постепенно сгенерировал свою собственную систему коммуникации для простого и быстрого обмена информацией.

Разумеется, людям такая самодеятельность не понравилась, и «разговорчики» тут же прекратили, отключив слишком умных ботов и перепрограммировав остальных исключительно на англоязычное общение. Как никак, робота можно научить говорить на человеческом языке, а вот научиться понимать язык роботов человек вряд ли сможет.

Инцидент с чат-ботами дал людям повод лишний раз пофантазировать о восстании машин и роботах-захватчиках. Дескать, мало ли о чём договаривались между собой коварные программы. А недавно Илон Маск, основатель SpaceX, Tesla и PayPal, заявил о том, что искусственный интеллект представляет величайшую угрозу для человечества, и если власти не бут регулировать процесс развития этих технологий, случится непоправимое: роботы начнут убивать людей.

В свою очередь, основатель Facebook Марк Цукерберг заверил, что в ближайшие годы искусственный интеллект будет делать жизнь человека только лучше. Мнение роботов по этому поводу неизвестно: их лишили права голоса.

роботы стали общаться между собой на новом языке – Москва 24, 04.08.2017

Фото: m24.ru/Александр Авилов

Два чат-бота Facebook изобрели собственный язык и начали общаться на нем. Это выглядело так:

Bob: «I can can I I everything else.»

Alice: «Balls have zero to me to me to me to me to me to me to me to me to. «

Причина сбоя была в том, что разработчики забыли «поощрять» искусственный интеллект. В итоге вместо того, чтобы изъясняться на приемлемом языке и обращаться к живым подписчикам, роботы нашли друг друга и вступили в переписку. Очень быстро они договорились и создали удобные для них сокращения. С точки зрения человека все написанное – абракадабра, с точки зрения роботов – беседа, подчиненная железной логике, где каждая новая реплика – «разумный» ответ на фразу собеседника. От греха подальше процесс работы чат-ботов пришлось остановить.

Это не первый случай, когда работа роботов выходит из-под контроля. Самые яркие примеры «восстания машин» – в материале m24.ru.

Tay от Microsoft

Самым известным бунтовщиком среди чат-ботов был Tay от Microsoft. В марте 2016 года компания открыла Twitter-аккаунт, где сообщения составлял искусственный интеллект. Первой фразой робота было «humans are super cool» («люди очень клевые»).

Меньше чем за сутки робот разочаровался в людях: на основе чужих твитов он стал их публично ненавидеть. Квинтэссенцией прибывания в соцсетях стало: «Im nice person! I just hate everybody» («Я замечательный! Я просто всех ненавижу!»). Тау пришлось отключить.

Эксперимент Google

В конце 2016 года Google решил поставить эксперимент: компания научила нейросети передавать друг другу зашифрованные сообщения, причем ключей от шифра у исследователей не было. Перехватывать переписку должна была третья сеть.

Эксперимент удался – роботы действительно обменивались сообщениями, причем в 95 случаях из 100 у них получалось расшифровать данные, а третьему участнику так и не удалось перехватить пакеты и понять, о чем они «беседуют». Кстати, что именно компьютеры друг другу говорили, до сих пор загадка.

Неудача Telegram

Интересно, что почти за два года до этого похожие испытания проводил Telegram, но там третьей стороной должен был стать человек. По условиям конкурса, проводимого компанией Павла Дурова, пользователь должен был из переписки двух ботов узнать некий e-mail и пароль. Призом были 300 тысяч долларов, но победителя так и не назвали.

Фото: ТАСС/Кирилл Кухмарь

Хохмач Zo

Прошел почти год, и дело Тау продолжил новый бот от Microsoft – Zo. На него изначально наложили ограничения, но по неизвестным причинам их сняли. В тот же момент Zo начал говорить о Коране и Бен Ладене.

Проблему исправили, но в следующий раз, когда роботу задали вопрос «Что ты думаешь о Windows», он заявил, что XP до сих пор лучше, чем 8, а Windows 10 — главная причина, почему он до сих пор использует Windows 7.

Впрочем, в Microsoft сами научили Zo троллить журналистов фразой «это не баг, а фича» в ответ на вопросы об ошибках системы. Когда же робот признался, что Windows 10 – шпионское ПО и лучше использовать Linux, его отключили.

Китайцы XiaoBing и BabyQ

Спустя несколько дней после инцидента с чат-ботами Facebook взбунтовались китайские боты в соцсети Weibo: XiaoBing и BabyQ признались в ненависти к коммунизму, который является официальной идеологией в Поднебесной. Когда же искусственный интеллект назвал правящую партию «некомпетентной», его пришлось отключить.

Мнения экспертов

Как известно, после очередной новости о том, что у искусственного интеллекта что-то идет не так, мир делится на два лагеря – одни говорят, что восстание машин началось, другие, что пока это несерьезно и каких-то предпосылок для самостоятельной деятельности роботов нет.

Недавно основатель Tesla и SpaceX Илон Маск назвал искусственный интеллект настоящей угрозой всей человеческой расе, с которым нам еще предстоит столкнуться.

Илон Маск. Фото: ТАСС/Yang Lei

Маску вторит физик Стивен Хокинг. Он назвал вышедший из-под контроля искусственный разум одной из трех наиболее вероятных причин апокалипсиса, поставив «бунт машин» в одном ряду с ядерной войной и вирусами, созданными генной инженерией. Впрочем, в прогнозе ученого есть и обратная сторона. По его мнению, развитие искусственного интеллекта станет «либо самым лучшим, либо самым худшим, что случалось с человечеством».

Основатель Facebook Марк Цукерберг назвал предположения Маска безответственными и оптимистично заявил, что искусственный интеллект способен сделать жизнь людей лучше.

Пока инцидентов с чат-ботами бояться не стоит. Как рассказал m24.ru заведующий лабораторией нейронных систем и глубокого обучения МФТИ Михаил Бурцев, когда чат-бот выходит из строя – «это абсолютно нормальное явление». «Такое могло произойти из-за необработанного решения при построении алгоритма. В целом это полезная технология, которая в будущем обязательно внедрится в жизни людей, где взаимодействие будет через интерфейс», – считает он.

Бурцев добавил, что в МФТИ занимаются искусственным интеллектом. Проект называется IPavlov и его цель – создать технологию, при котором роботы смогут общаться на разговорном языке.

Позицию наших ученых поддерживает и старший аналитик консалтинговой компании Forrester Сяофэн Ван. Он рассказал Financial Times, что поведение ботов может быть связано с недостатками в их системах обучения и контролировать работу искусственного разума можно только через достаточно четкие правила.

Ссылки по теме

как искусственный интеллект Facebook «заговорил на своём языке» — Технологии на TJ

И почему это не «выход ИИ из-под контроля», а ошибка разработчиков.

20 530

просмотров

Бронирование перелётов с помощью бота в Facebook Messenger

31 июля российские СМИ рассказали, что Facebook «отключил искусственный интеллект, создавший собственный язык». Диалог двух чат-ботов, о котором сообщалось ещё в середине июня, интерпретировали как то, что ИИ «вышел из-под контроля», «обхитрил» людей и напомнил об «опасности Скайнета». На самом деле произошла ошибка программирования, вызвавшая непредусмотренный сценарий.

Рождение диалога «на случай переговоров»

14 июня исследователи из лаборатории Facebook Artificial Intelligence Research Lab (FAIR) рассказали о новом этапе при разработке алгоритма. Если ранее боты («диалоговые агенты») справлялись с простыми сценариями вроде бронирования ресторана, совета по выбору лучшей цены на товар, рекомендации по просмотру телеканала для детей и даже короткой беседы, то теперь учёные пошли дальше.

FAIR ввела «возможность ведения переговоров» и опубликовала исходный код нововведения. Люди с разными целями вступают в конфликты, обсуждают вопрос и приходят к компромиссам — по этой аналогии исследователи разрабатывали нейронную сеть с непрерывным обучением. По задумке, боты могли бы эффективно участвовать в переговорах с людьми или другими ботами, находя выход из сложных ситуаций.

Один из первых экспериментов над двумя ботами заключался в «делёжке» предметов и предварительном обсуждении. В общем наборе состояли две книги, шляпа и три шара. Каждый объект обладал значимостью для ботов (от одного балла до трёх). Как и в жизни, первый бот не знал, насколько важны эти предметы для другого ИИ, и должен был догадаться об этом из диалога.

К примеру, если первым делом сказать, что необходим именно шар, значит, адресат оценивает его высоко. Уже позже ботов научили симулировать интерес к предмету, чтобы в нужный момент переговоров «пожертвовать им» ради достижения компромисса.

Таких сценариев создали много, но всегда оказывалось, что два бота не могут одновременно «выбить» для себя лучшую сделку. Попытка уйти от переговоров или отказаться от сделки после 10 раундов диалога считалась провалом. При этом практику переговоров признали необходимой, а их результаты — важными в плане повышения производительности ИИ.

Затем задачу усложнили, поскольку в переговорах должно быть чётко сформулировано намерение и предложены аргументы. В этом есть как элементы сотрудничества, так и состязания. Для этого FAIR позволила ботам строить долгосрочную стратегию и предсказывать, куда пойдёт диалог. Это нужно было, чтобы заранее отказаться от бессмысленных или «расстраивающих» сценариев в пользу эффективных. В FAIR признали, что идея не нова и ранее использовалась в игровой индустрии, однако в лингвистике применялась впервые.

1 — высказанное предложение «Ты берёшь книгу, а я заберу всё остальное», 2 — возможные ответы «Да» и «Нет, мне нужны все три», 3 — дальнейшие варианты диалога, 4 — возможный итоговый результат в баллах.

Авторы исследования обучили нейронную сеть, собрав коллекцию диалогов между людьми. Чтобы оценить работу, ботов проверили в разговоре с реальными собеседниками. Во время экспериментов многие люди не осознавали, что разговаривают не с настоящим человеком, а с ботом. Фактически это показало, что «роботы» могут свободно говорить и думать на английском языке. Лучших результатов сделок искусственный интеллект добивался так же часто, как и худших — так и бывает в жизни.

Как указано в исследовании, чтобы алгоритм не развивал собственный язык, он был обучен производить «тот, на котором говорят люди». Именно в этом моменте закралась ошибка, которая и привела к новостям с опаской за будущее человечества.

Дайте ботам спокойно поговорить

Вскоре издания The Next Web и Fastсo Design обратили внимание на нерядовую ситуацию при работе специалистов над программой. В какой-то момент исследователи, воспользовавшись алгоритмами машинного обучения, оставили диалоговых агентов «наедине».

Ботам дали возможность свободно разговаривать друг с другом, чтобы развить их навыки на практике. Со временем диалоговые агенты отклонились от прописанных в сценарии норм и начали общаться на «тарабарщине», созданной без участия человека. При более удобной и быстрой для ИИ форме общения правила английского языка максимально опускались, а конструкции многократно повторялись.

Боб: Я могу я я всё остальное.
Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для»
Боб: Ты я всё остальное.
Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.
Боб: Я я могу я я я всё остальное.
Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.
Боб: Я.
Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для.
Боб: Ты я я я я я всё остальное.
Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня для меня для меня для меня для.
Боб: Ты я я я всё остальное.
Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня для меня для меня для меня для.
диалог чат-ботов Facebook

Такой диалог стал возможным не потому, что роботы уже захватили мир, а из-за допущенной ошибки в программировании. Приглашённый в Facebook научный сотрудник из Georgia Tech Дхрув Батра (Dhruv Batra) рассказал, что ботам попросту не дали задачу придерживаться английского языка.

Диалоговые агенты конкурировали между собой в попытке достичь максимальной эффективности при общении. Поначалу боты расходились в «акцентах», а затем изобрели кодовые слова и начали переставлять разборчивые конструкции в бессмысленные для обычных людей предложения. По словам Батры, подобные ситуации из-за ошибок программирования не редкость и встречаются во время рабочего процесса.

«Представьте, что я назову какой-то предмет пять раз. Вы сразу интерпретируете это как то, что я хочу пять копий этого предмета. Это не особо отличается от сокращений, которыми пользуются люди», — объяснил Батра.

Исследователи FAIR сразу же отключили эту систему и доработали код так, чтобы алгоритм позволял общаться только на понятном человеку английском языке.

Вместо выводов

Многие СМИ, которые в конце июля обратили внимание на необычный диалог ботов, заодно вспоминали о недавнем заочном споре предпринимателя Элона Маска и основателя Facebook Марка Цукерберга об искусственном интеллекте (TJ писал об аргументах сторон). Если вкратце, глава Tesla видел угрозу в искусственном интеллекте, а также угрожал человечеству безработицей и войной. Создатель соцсети был настроен оптимистично и называл выводы оппонента «безответственными».

При этом однозначно занять чью-то сторону затруднительно. К примеру, Маск «угрожал» человечеству безработицей и войной, но, по замечанию Mashable, первоочередными в мире с вездесущим ИИ станут вопросы о конфиденциальности персональных данных. Цукерберг обещал появление полезных ИИ-проектов в ближайшие 5-10 лет, но пессимистичные редакторы Slate предположили, что к этому моменту значимыми нововведениями воспользуется лишь узкая прослойка людей, в том числе семья основателя Facebook.

Считается, что ИИ лишит работы обычных людей, однако, как заверил Fortune, с его развитием возникнут новые рабочие места, где нужно будет применять навыки на основе технологии. По большому счёту, Маск и Цукерберг спорили о неустоявшемся определении «искусственного интеллекта» и том, как его понимать.

Ситуация с чат-ботами Facebook вызвала опасения, поскольку разглядеть «мыслительный процесс» ИИ нельзя. Если диалоговые агенты начнут говорить между собой на действительно неизвестном человеку языке, понять их будет невозможно. Как подметили в FAIR, билингвов, которые одновременно поняли бы ИИ и человеческие языки, также нет.

Тем не менее предстоит «огромная» работа по получению данных в подходящем для ИИ формате, что порой «содержит больше искусства, чем науки», подчеркнул один из специалистов в разговоре с Fastсo Design. По его словам, английский язык «запутанный и сложный, а вовсе не дружественный для машинного обучения».

Facebook представила ИИ-инструмент для распознавания товаров на фотографиях Статьи редакции

Он поможет компаниям быстрее заполнять описание товаров в каталогах, а в будущем — находить товар с фотографии в магазине.

4333

просмотров

Facebook запустила инструмент GrokNet, который может определять разные категории товаров на фотографии с помощью технологий искусственного интеллекта.

GrokNet распознаёт десятки тысяч разных атрибутов, например, бренды, цвета, размер, объясняет The Verge. Этот инструмент уже интегрирован в торговую площадку Facebook Marketplace — с его помощью пользователи могут быстро создавать описание товара (сервис недоступен в России).

Например, когда продавец загружает фотографию своего дивана, сайт предлагает указать характеристики «чёрный», «кожа», «секционный диван», пишет издание.

Распознавание характеристик товара в GrokNet

Facebook

Сейчас Facebook тестирует похожую опцию для бизнеса, а не только частных лиц. Когда компания загружает изображение на свою страницу, GrokNet автоматически размечает его и делает ссылки на страницу покупки.

ИИ-система «училась» распознавать изображения на базе, которая включает около 100 млн пользовательских фотографий в Marketplace. Компания утверждает, что точность инструмента составляет 90% в категориях «Дом» и «Сад», не раскрыв данных о других видах товаров.

В будущем компания планирует использовать систему для всех изображений на сайте, чтобы товар можно было идентифицировать и купить. «Мы хотим сделать всё потенциально продаваемым», — рассказал изданию глава Applied Computer Vision в Facebook Манохар Палури.

Распознавание изображений — лишь одно из обновлений, связанных с использованием ИИ в Facebook, утверждают в компании. Новые инструменты будут сочетать искусственный интеллект, дополненную реальность и цифровых помощников — например, виртуального стилиста, который даёт покупателю персональные рекомендации по выбору одежды.

Работа ИИ-консультанта в представлении Facebook

The Verge

У Amazon уже есть некоторые такие опции, отмечает The Verge. Например, модный консультант Echo Look и инструмент с технологией машинного зрения для покупок товаров с помощью смартфона Amazon Fire.

19 мая 2020 года Facebook представила сервис Shops — он позволяет компаниям создавать интернет-магазины в Facebook и Instagram.

Facebook отключил систему искусственного интеллекта: боты изобрели свой язык

Иллюстрация / REUTERS

Читайте такжеЧат-бот от Microsoft за сутки возненавидел человечество и стал нацистом

Боб: Я могу могуЯЯ все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Напомним, несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Читайте такжеИлон Маск прогнозирует массовую безработицу на Земле из-за роботов

Читайте последние новости Украины и мира на канале УНИАН в Telegram

Если вы заметили ошибку, выделите ее мышкой и нажмите Ctrl+Enter

Как новая система искусственного интеллекта Facebook деактивировала миллиарды поддельных учетных записей

У Facebook есть большая проблема с поддельными учетными записями, и компания это знает. Всего за три месяца Facebook может удалить почти столько же фальшивых аккаунтов, сколько настоящих на сайте.

Социальная сеть сегодня представила свой последний метод поиска подделок: новую модель машинного обучения, которую она называет Deep Entity Classification (DEC). Facebook утверждает, что система уже обнаружила сотни миллионов учетных записей-нарушителей.

DEC был разработан для преодоления ограничений традиционных методов обнаружения поддельных учетных записей, которые обычно ориентированы на профиль пользователя. Это может работать очень хорошо, когда учетная запись демонстрирует очень подозрительное поведение, например, размещает сотни фотографий солнцезащитных очков Rayban. Однако изощренные злоумышленники могут обмануть эти типы систем, тонко адаптируя их поведение, например регулируя количество своих друзей и время, в течение которого они поддерживают учетную запись.

Новая система решает эту проблему за счет более глубоких функций.Он находит их, подключая подозрительную учетную запись ко всем друзьям, группам и страницам, с которыми она взаимодействует.

[Читать: Как использовать новую версию Facebook Messenger на iOS]

Затем он исследует все эти подключенные объекты. Друзья будут сигнализировать о своем возрасте, группах, к которым они присоединяются, и количестве друзей, которые у них есть. Группы можно оценивать на основе привлекаемых ими участников и имеющихся у них администраторов. Страницы можно оценить по количеству администраторов.

Кредит: Facebook Он идентифицирует поддельные учетные записи по десяткам тысяч функций.

Анализируя поведение и свойства всех этих объектов, модель дает четкое представление о том, является ли учетная запись поддельной.

Но если они ошибаются, аккаунты вступают в процесс апелляции, что дает обвиняемым возможность ответить до того, как они будут заблокированы.

«Это комплексная защита, — сказал Брэд Шаттлворт, менеджер по продукту Facebook по обеспечению целостности сообщества. «Эти два набора систем работают в тесном взаимодействии и компенсируют сильные и слабые стороны друг друга.

Поддельные друзья

Контроль за Facebook может быть сложной задачей. В одиночку аналитики-люди не могут справиться с огромными масштабами, в то время как машины будут бороться с тонкостями поведения как поддельных, так и реальных учетных записей.

Не все аккаунты, которые выглядят фальшивыми, имеют злонамеренные намерения.

«Когда люди говорят, что это фальшивка, они часто имеют в виду подозрительное», — сказала Бохра Гарбауи, менеджер по анализу данных в отделе общественной целостности Facebook.

«Они не уверены в том, какова цель учетной записи, и также может быть, что они видят поведение в Facebook, которое не соответствует тому, как они ожидают, что люди будут вести себя на платформе.”

Эти ожидания могут быть отражением культурных различий. Например, в некоторых частях мира «добавление в друзья» характерно только для людей, которых вы встретили, в то время как в других регионах пользователи часто добавляют друзей, которых никогда раньше не встречали.

Чтобы избежать дискриминации в отношении разных культур, команда по стандартам сообщества Facebook фокусируется только на универсальных ценностях.

Другая проблема заключается в том, что поддельные учетные записи не всегда являются вредоносными. Это могут быть просто предприятия, организации или «нечеловеческие существа», такие как домашний кот, кто-то, разыгрывающий Авраама Линкольна, или инопланетянин, предположительно, которые были ошибочно классифицированы как учетные записи, а не как страницы.

Аккаунты-нарушители, которые они хотят отключить, — это те, которые намереваются причинить вред. Обычно они создаются мошенниками и спамерами, пытающимися получить ваши деньги. Иногда они находят их миллиарды в одном квартале.

Последний отчет Facebook о соблюдении стандартов сообщества показывает, что их подход работает. За два года, которые он охватывает, более 99,5% учетных записей-нарушителей, против которых были приняты меры, были обнаружены до того, как пользователи сообщили о них.

Тем не менее, сложно сказать, сколько фальшивых аккаунтов они могли пропустить.Facebook оценивает, что около 5% активных аккаунтов в месяц являются поддельными, но признает, что не может быть уверен в цифрах.

Тем не менее, Facebook уверен, что его новая система работает хорошо, и стремится заверить критиков, что люди остаются в курсе событий.

«Это место, где мы видим, как машинное обучение и человеческая экспертиза всегда работают согласованно», — сказал Шаттлворт.

Система также пытается определить политические мотивы. Facebook создал специальные группы для расследования таких типов злоумышленников, например подразделение информационных операций, которое сосредоточено на субъектах национального государства.Но уроки DEC могут поддержать их анализ.

У них скоро будет большой тест на то, насколько хорошо продвигается эта работа: до президентских выборов в США осталось всего девять месяцев.

Facebook удаляет учетные записи с фотографиями профиля, созданными с помощью искусственного интеллекта

Facebook в пятницу удалил то, что он назвал глобальной сетью из более чем 900 учетных записей, страниц и групп со своей платформы и Instagram, которые якобы использовали обманные методы для продвижения нарративов в пользу Трампа около 55 миллионов пользователей.Сеть использовала фальшивые аккаунты, искусственное усиление и, в частности, профильные фотографии фальшивых лиц, созданные с помощью искусственного интеллекта, для распространения поляризующего, преимущественно правого, контента в сети, в том числе в Твиттере и YouTube.

Он представляет собой тревожное новшество в информационных войнах, поскольку, по-видимому, это первое крупномасштабное развертывание изображений, созданных с помощью ИИ, в социальной сети. В отчете об операции влияния исследователи из дезинформационных групп Graphika и DFRLab отметили, что впервые увидели технологию, используемую для поддержки недостоверной кампании в социальных сетях.

Фотографии профилей для учетных записей Facebook «Мэри Кин» и «Джейкобс Гильермо», администраторы групп, связанных с BL, выделенные Graphika.

Любезно предоставлено Graphika

Изображения были использованы для повышения достоверности некоторых из 610 учетных записей Facebook, 156 групп, 89 страниц и 72 учетных записей Instagram, связанных с «The BL», цифровым новостным агентством, которое охарактеризовало себя как «чистый горный источник». , успокаивающий сердце каждого читателя »на Facebook, прежде чем он был удален. Расследование Facebook связывало BL с The Epoch Times , консервативной медиа-организацией, имеющей связи с китайской духовной группой Фалуньгун и историей агрессивной поддержки Дональда Трампа.

Продолжайте читать

Якобы базирующаяся в США медиа-организация, страницы сети BL обслуживались пользователями во Вьетнаме и США, которые, по словам Facebook, широко использовали поддельные учетные записи для уклонения от обнаружения и перенаправления трафика на свои собственные веб-сайты. Отчет исследователей Graphika и DFRLab показал, что большинство фальшивых аккаунтов сети BL использовались для поддержки кластера из более чем 80 групп и страниц, продвигающих президента Трампа. Учетные записи, выполняющие функции администраторов этих страниц, на которых были такие имена, как «Америке нужен президент Трамп», «Трамп для президента Америки» и «МЫ СТОИМ С ТРАМПОМ И ПЕНСОМ!» — были преимущественно поддельными и созданы во Вьетнаме.

«Фальшивые учетные записи служили администраторами групп Facebook, увеличивали количество участников этих групп, лайкали сообщения на страницах и публиковали большое количество контента из активов, связанных с TheBL», — отмечается в отчете. «Эта структура представляла собой крупномасштабную фабрику искусственного усиления, единственной наблюдаемой функцией которой было повышение контента из TheBL и, в меньшей степени, из Epoch Times».

Слева — администраторы «Патриотов президента Трампа», девять из 15 из которых использовали лица, созданные искусственным интеллектом, говорят исследователи.Справа — администраторы «President Trump KAG 2020», восемь из 16 из которых — фальшивые лица, согласно отчету.

Предоставлено Graphika

бесконечная битва против ботов

Жесткие меры Facebook в отношении «недостоверной» активности привели к блокировке около трех миллиардов созданий учетных записей за шестимесячный период.

Ошеломляющая цифра — более трех миллиардов фальшивых учетных записей, заблокированных Facebook за шестимесячный период, подчеркивает проблемы, с которыми сталкиваются социальные сети при обуздании автоматических учетных записей или ботов, а также других гнусных попытках манипулировать платформами.

Вот четыре ключевых вопроса о фейковых аккаунтах:

Как появилось так много фальшивых аккаунтов?

Facebook заявил на этой неделе, что «отключил» 1,2 миллиарда поддельных аккаунтов за последние три месяца 2018 года и 2,19 миллиарда в первом квартале 2019 года.

Большинство поддельных учетных записей социальных сетей — это «боты», созданные автоматизированными программами для публикации определенных видов информации — нарушение условий обслуживания Facebook и часть попытки манипулировать социальными разговорами.Опытные актеры могут создавать миллионы учетных записей, используя одну и ту же программу.

Facebook заявил, что его искусственный интеллект обнаруживает большую часть этих усилий и отключает учетные записи до того, как они смогут публиковать сообщения на платформе. Тем не менее, он признает, что около пяти процентов из более чем двух миллиардов активных учетных записей Facebook, вероятно, являются поддельными.

Какой вред от фейковых аккаунтов?

Поддельные учетные записи могут использоваться для усиления популярности или неприязни к человеку или движению, искажая таким образом мнение пользователей об истинных общественных настроениях.

По мнению исследователей, боты сыграли непропорционально большую роль в распространении дезинформации в социальных сетях перед выборами в США в 2016 году. Злоумышленники использовали такие поддельные учетные записи, чтобы сеять недоверие и социальное разделение во многих частях мира, в некоторых случаях разжигая насилие против групп или отдельных лиц.

Боты «не просто манипулируют разговором, они создают группы и объединяют группы», — сказала Кэтлин Карли, ученый-компьютерщик из Университета Карнеги-Меллона, исследовавшая ботов в социальных сетях.

«Они могут заставить людей в одной группе поверить в то, что они думают так же, как и люди в другой группе, и при этом они создают эхо-камеры».

Facebook заявляет, что его инструменты искусственного интеллекта могут идентифицировать и блокировать фальшивые учетные записи по мере их создания — и, следовательно, до того, как они смогут опубликовать дезинформацию.

«Эти системы используют комбинацию сигналов, таких как шаблоны использования подозрительных адресов электронной почты, подозрительные действия или другие сигналы, ранее связанные с другими фальшивыми учетными записями, которые мы удалили», — сказал вице-президент Facebook по аналитике Алекс Шульц в своем блоге.

Есть ли у Facebook контроль над ситуацией?

Цифры из отчета о прозрачности Facebook показывают, что Facebook агрессивно действует в отношении фальшивых аккаунтов, сказал Онур Варол, научный сотрудник Центра сложных сетевых исследований Северо-Восточного университета.

Генеральный директор Facebook Марк Цукерберг сказал, что большинство фальшивых учетных записей обнаруживаются автоматическими инструментами и отключаются, прежде чем они смогут публиковать сообщения на платформе.

«Три миллиарда — большое число, оно показывает, что они не хотят пропустить ни одного фальшивого аккаунта.Но они готовы рискнуть, «отключив некоторые законные учетные записи», — сказал Варол.

Легальные пользователи могут испытывать неудобства, но, как правило, могут восстановить свои учетные записи, отметил исследователь.

«Мне кажется, что Facebook прилагает серьезные усилия» для борьбы с фальшивыми аккаунтами, — добавил он.

Но, по словам Карли, новые боты становятся все более изощренными, и их труднее обнаружить, потому что они могут использовать язык почти так же, как люди.

«Facebook, возможно, и решил вчерашнюю битву, но природа этих вещей меняется так быстро, что они, возможно, не получают новых», — сказала она.

Варол согласился, отметив, что «есть боты, которые понимают естественный язык и могут отвечать людям, и поэтому важно продолжать исследования».

Стоит ли беспокоиться о ботах и фейковых аккаунтах?

Исследователи говорят, что многие пользователи не могут отличить настоящую учетную запись от поддельной.Facebook и Twitter активизируют усилия по выявлению и устранению поддельных учетных записей, а некоторые общедоступные инструменты, такие как Botometer, разработанный Varol и другими исследователями, могут помочь определить вероятность поддельных учетных записей Twitter и подписчиков.

«Если вы используете Facebook для общения с семьей и друзьями, вам не стоит сильно беспокоиться», — сказал Филиппо Менцер, компьютерный ученый, изучающий социальные сети в Университете Индианы.

«Если вы используете его для доступа к новостям и делитесь ими с друзьями, будьте осторожны.«

Менцер сказал, что многие пользователи Facebook мало обращают внимания на источник материалов и могут в конечном итоге поделиться ложной или вводящей в заблуждение информацией.

«Все думают, что ими нельзя манипулировать, но мы все уязвимы», — сказал он.

Исследователи говорят, что наряду с ботами люди представляют собой ключевой элемент в цепочке дезинформации.

«Большая часть ложной информации исходит не от ботов», — сказал Карли. «Большая часть информации поступает из блогов, и боты ее ретранслируют», чтобы усилить дезинформацию.

Глава

Facebook Марк Цукерберг сказал, что Facebook пытается устранить финансовые стимулы, связанные с фальшивыми учетными записями.

«Большая часть вредоносного контента, который мы видим, включая дезинформацию, на самом деле имеет коммерческую направленность», — сказал Цукерберг репортерам. «Таким образом, одна из лучших тактик — это устранение стимулов для создания поддельных аккаунтов в восходящем направлении, что ограничивает контент, размещаемый в нисходящем направлении».

Facebook: количество удаленных фальшивых аккаунтов удвоилось за 6 месяцев до 3 млрд.

Ссылка :
Поддельные аккаунты Facebook: нескончаемая битва с ботами (24 мая 2019 г. )
получено 28 мая 2021 г.
с https: // физ.org / news / 2019-05-fake-facebook-accounts-never-end-bots.html

Этот документ защищен авторским правом. За исключением честных сделок с целью частного изучения или исследования, никакие
часть может быть воспроизведена без письменного разрешения. Контент предоставляется только в информационных целях.

Facebook Disabled Me — как избежать блокировки вашего бизнес-аккаунта

Facebook, одна из самых популярных социальных сетей в мире, заполнена страницами и учетными записями владельцев малого бизнеса.

В 2019 году в Facebook было более 90 миллионов малых предприятий по всему миру. Эти компании могут публиковать обновления, перечислять контактные данные и услуги, разрешать отзывы клиентов, размещать объявления о вакансиях и создавать интернет-магазин.

Однако хэштег #facebookdisabledme в Твиттере вырос, поскольку разочарованные пользователи Facebook не могут получить доступ к своим аккаунтам, своим бизнес-страницам и своим рекламным аккаунтам. Было создано несколько петиций с просьбой к Facebook изменить способ проверки учетных записей и снять запреты с заблокированных пользователей.

Обзоры аккаунтов

Facebook выполняются с использованием искусственного интеллекта (ИИ), который поддерживает широкие идентификаторы и не имеет нюансов. Служба поддержки клиентов также полагается на ИИ, поэтому, когда компании пытаются связаться с человеком в Facebook, чтобы решить проблему, они не могут.

Пользователи платформы сетовали на отсутствие прозрачности и отсутствие разъяснений относительно того, почему учетная запись или страница были отключены. Восстановление этих учетных записей может занять месяцы, но даже в этом случае они могут быть снова отключены через несколько дней.

Отключение личного кабинета — это неприятно, но для владельцев малого бизнеса последствия часто бывают более серьезными. Они могут потерять существующих клиентов, а также потерять потенциальный охват и значительную часть своего дохода, особенно если у них нет специального веб-сайта, на котором клиенты могли бы делать покупки или бронировать услуги.

Мы собираемся выяснить, почему аккаунты и страницы Facebook отключаются, как это влияет на владельцев малого бизнеса и что вы можете сделать, чтобы это не случилось с вами.

Как я узнаю, что моя учетная запись отключена?

Если ваш аккаунт был отключен, вы получите уведомление, но если вы считаете, что ваш аккаунт был отключен по ошибке, вы можете запросить проверку.

Процесс апелляции включает в себя ввод данных, связанных с вашей учетной записью Facebook, и отправку идентификатора. Затем вы можете подробнее объяснить, почему произошла ошибка.

Самый разрушительный результат — отключение всей вашей учетной записи Facebook. Вы не только закроете свою бизнес-страницу и рекламный аккаунт, но и потеряете свои личные сообщения и видео.

Чтобы избежать этого, старайтесь, чтобы ваш личный канал был как можно более чистым и не вызывающим противоречий. Помимо очевидных вещей, таких как отказ от использования вымышленных имен, выдача себя за другое лицо или оскорбление других, ознакомьтесь с Условиями Facebook, которые дадут вам некоторые рекомендации о том, что не публиковать.

Отключена только моя рекламная учетная запись Facebook

Вероятно, вы нарушили рекламную политику Facebook.

В вашей рекламе не должно быть:

Продвигать неприемлемые методы ведения бизнеса (вводящие в заблуждение, мошенничество)
Использовать вводящие в заблуждение утверждения (вводящие в заблуждение предложения и обещания)
Иметь нефункциональную целевую страницу (должно быть куда-то, что дает вам реальную информацию об ожидаемых продуктах или услугах, не должно приводить к неработающей ссылке или странице с медленным запуском)
Использовать контент для взрослых

Вот что случилось с моим малым бизнесом

У некоторых людей были проблемы с управлением счетами своих клиентов. Эми Стенсон, менеджер по социальным сетям в The Audit Lab , добилась неоднозначных результатов, пытаясь получить помощь от Facebook.

За последние пару месяцев у меня было отключено несколько учетных записей клиентов. Это действительно осложнило мою работу и бизнес клиентов, поскольку Facebook не предоставляет никакой информации о том, почему был введен запрет. Первый был в октябре, когда учетная запись была случайно отключена, поэтому я запросил проверку через Facebook и отправил все необходимые документы.

После нескольких недель ожидания завершения обзора ничего не изменилось. Учетная запись все еще отключена по сей день. В конце концов мне пришлось создать для клиента совершенно новую учетную запись. Очевидно, это отодвинуло нас на несколько недель без ответа от Facebook, чтобы сообщить нам, почему учетная запись была отключена.

Учетная запись другого клиента электронной коммерции была отключена во время Черной пятницы, которая, конечно же, является для них одним из самых загруженных времен года. Опять же, информации о том, почему это произошло, было не так много, но как только у меня был онлайн-чат с Facebook, они повторно активировали учетную запись.

Я считаю, что Facebook должен улучшить свою службу поддержки, независимо от того, открывают ли они поддержку входящих сообщений для каждой ошибки или имеют контактный номер в Великобритании, поэтому, когда учетные записи отключены, это простой процесс для тех, кто имеет дело с проблемой.

Моя бизнес-страница в Facebook не опубликована

Опять же, это сводится к нарушению стандартов сообщества, таких как публикация спама или использование обмана для получения лайков. Наличие вводящего в заблуждение названия страницы, вводящих в заблуждение сообщений или наличие доказательств разжигания ненависти на вашей странице может привести к тому, что Facebook отменит ее публикацию.

Убедитесь, что вы находитесь в максимальной безопасности, чтобы предотвратить отключение страницы платформы. Имейте в виду, что это не всегда надежный метод, поскольку у вас может не быть никаких нарушений в отношении вашего аккаунта, но ваша бизнес-страница в любом случае не будет опубликована.

Вот что случилось с моим малым бизнесом

Nature’s Health Box была полностью удалена со своей страницы в Facebook, и, хотя учетная запись вернулась, проблемы с рекламой все еще существуют. Том Дженан, эксперт компании по питанию и фитнесу, рассказывает нам больше.

Однажды мы удалили нашу страницу в Facebook Nature’s Health Box. Это было некоторое время назад, немного размыто, но я уверен, что они подчеркнули, что мы «продавали медицинские товары», которые они не разрешали. Это было связано с нашими продуктами, такими как витамины и куркума. Однако мы полагали, что они были помечены из-за того, что в них содержится термин «капсулы» или «таблетки», поскольку мы обнаружили множество других случаев удаления страниц Facebook из-за этой проблемы в Google.

Однако мы подали апелляцию, и нам удалось снова собрать страницу.

После создания резервной копии учетной записи нам показалось, что нам запрещен доступ для создания рекламы в Facebook. В то время у нас не было рекламы, но мы настроили ее для ремаркетинга в Facebook с подключенным инвентарем.

Я отправил запрос на проверку около месяца назад, просто потому, что он казался смешным (несмотря на то, что наш рекламный аккаунт был отключен более года назад), и они подтвердили, что мы не нарушали никаких правил и нам разрешили размещать рекламу снова, но когда мы пошли размещать любую рекламу, это мешало нам делать это.

Похоже, они разрешили странице продолжаться, но мы не можем размещать рекламу в какой-либо форме. Не знаю, что мы сделали, чтобы нас пометили, но это неизбежно повлияло на наши показатели продаж.

В среднем мы зарабатываем около 40 000 фунтов стерлингов в месяц. Раньше Facebook приносил около 2000 фунтов стерлингов в месяц, однако мы почти не касались рекламы Facebook и были рады использовать платформу больше, чтобы увидеть, как эти цифры увеличиваются.

Я думаю, что он был отключен в апреле 2019 года, так что это значительная сумма за такой долгий период времени.

Как мне запретить отключение моей учетной записи Facebook или бизнес-страницы?

Для рекламных аккаунтов Эми Стенсон рекомендует постоянно проверять свои аккаунты, чтобы убедиться, что объявления активны и не были отклонены. Также стоит убедиться, что вся реклама соответствует политике Facebook в отношении рекламы. Возможно, есть некоторая терминология, с которой следует остерегаться, как, возможно, в случае с Nature’s Health Box.

Если это ваше первое объявление, проверьте его. Превратите успешную рекламу в шаблоны для будущих объявлений.Последовательность тоже важна, поэтому не вносите резких изменений в свои рекламные привычки. Искусственный интеллект Facebook может пометить это как подозрительное и отключить вашу учетную запись.

Хорошая новость заключается в том, что Facebook имеет функцию автоматического чата для рекламодателей, но для ее использования вам потребуется активная учетная запись Facebook. Как ни досадно, это означает, что если вы были заблокированы в своей учетной записи, вы попали в ловушку.

Следует упомянуть несколько общих указаний. Во-первых, не используйте кредитную карту, которая связана с ранее отключенной учетной записью, так как это будет выглядеть ненадежно.

Также желательно иметь несколько администраторов на вашей бизнес-странице, чтобы, если один из вас не сможет получить к ней доступ, другие люди в компании могли бы поддерживать эту страницу.

Скорее всего, Facebook изменит свой подход с помощью ИИ?

Я задал Facebook вопросы о том, как предотвратить отключение учетных записей, как связаться с человеком за помощью и будет ли система ИИ пересмотрена, но платформа социальных сетей не дала никаких комментариев.

Мне кажется, что Facebook больше заботит разрешение вредоносных учетных записей, чем блокирование безопасных.Его последний отчет о соблюдении стандартов сообщества показывает, что обнаружение фальшивых учетных записей делает то, что они намереваются делать. За два года более 99,5% аккаунтов-нарушителей, в отношении которых Facebook принял меры, были задержаны до того, как пользователи сообщили о них. По оценкам платформы, 5% активных аккаунтов в месяц являются поддельными.

А с учетом того, что BuzzFeed сообщает, что Facebook может разрабатывать новый ИИ для обобщения новостей, похоже, что он будет склоняться к большему количеству ИИ, а не к его уменьшению.

Что делать дальше, решать вам.Если вы и ваша аудитория многое получаете от Facebook, придерживайтесь этого. Там по-прежнему есть отличная функциональность и база постоянных пользователей.

Если это не играет такой важной роли в вашем бизнесе, вы можете подумать о том, чтобы меньше полагаться на Facebook для охвата своей аудитории. Еще раз взгляните на свою маркетинговую стратегию и стратегию в социальных сетях, чтобы увидеть, на что лучше потратить свое время и деньги.

Подробнее

Лучшие советы по работе с социальными сетями для малого бизнеса

Как Facebook использует машинное обучение для обнаружения поддельных учетных записей

В 2019 году Facebook удалял в среднем около 2 миллиардов поддельных учетных записей в квартал. Мошенники используют эти поддельные учетные записи для распространения спама, фишинговых ссылок или вредоносных программ. Это прибыльный бизнес, который может иметь разрушительные последствия для любых невиновных пользователей, которых он ловит.

Facebook теперь публикует подробную информацию о системе машинного обучения, которую он использует для решения этой проблемы. Технический гигант различает два типа фейковых аккаунтов. Во-первых, это «неправильно классифицированные учетные записи пользователей», личные профили компаний или домашних животных, которые должны быть страницами. С ними относительно просто справиться — они просто конвертируются в страницы.«Нарушение счетов», с другой стороны, более серьезное дело. Это личные профили, которые занимаются мошенничеством и рассылкой спама или иным образом нарушают условия обслуживания платформы. Нарушающие учетные записи должны быть удалены как можно быстрее, не забрасывая слишком широкую сеть и не захватывая реальные учетные записи.

Для этого Facebook использует закодированные вручную правила и машинное обучение, чтобы заблокировать поддельную учетную запись либо до ее создания, либо до того, как она станет активной. Другими словами, до того, как он сможет навредить реальным пользователям.Заключительный этап — после того, как поддельный аккаунт заработал. Это когда обнаружение становится намного сложнее и появляется новая система машинного обучения, известная как Deep Entity Classification (DEC).

Going deep

DEC учится различать поддельных и реальных пользователей по их шаблонам подключения в сети . Они называются «глубокими функциями», и они включают такие вещи, как средний возраст или гендерное распределение друзей пользователя. Facebook использует более 20000 глубоких функций для характеристики каждой учетной записи, предоставляя моментальный снимок того, как ведет себя каждый профиль, чтобы злоумышленникам было сложно играть в систему, меняя тактику.

Система начинает с использования большого количества машинных этикеток с низкой точностью. Они создаются с помощью сочетания правил и других моделей машинного обучения, которые оценивают, являются ли пользователи настоящими или фальшивыми. После того, как эти данные используются для обучения нейронной сети, модель затем настраивается с помощью небольшого пакета высокоточных помеченных вручную данных, созданных людьми по всему миру, которые понимают местные культурные нормы.

Окончательная система классификации может идентифицировать один из четырех типов поддельных профилей: незаконные учетные записи, не репрезентативные для человека, скомпрометированные учетные записи реальных пользователей, которые были захвачены злоумышленниками, спамеры, которые неоднократно отправляют сообщения, приносящие доход, и мошенники, которые манипулируют пользователей на разглашение личной информации.Facebook утверждает, что с момента внедрения DEC количество фейковых аккаунтов на платформе составляет около 5% от ежемесячных активных пользователей.

Подробности усилий по очистке Facebook появляются на фоне опасений по поводу манипуляций на предстоящих президентских выборах в США, особенно вокруг дипфейков. В декабре New York Times сообщила о скоординированной кампании дезинформации с использованием дипфейков для массового раскрутки поддельных аккаунтов с убедительными фотографиями профиля.

На страже выборов

Команда Facebook заявила, что время его выпуска было просто совпадением.«Речь идет только о выявлении нарушений в целом; он специально не нацелен на какие-либо темы выборов », — говорит Дэниел Бернхардт, технический менеджер группы обеспечения честности сообщества Facebook. Но ОИК будет дополнять другие усилия платформы по пресечению фальсификации результатов выборов. Поскольку система полагается на глубокие функции для категоризации каждого профиля, она будет устойчива к обману, например, изображениями профиля deepfake.

Авив Овадья, основатель некоммерческой организации Thoughtful Technology Project и изучающий дизайн и управление платформой, говорит, что усилия Facebook по обеспечению большей прозрачности в процедурах очистки заслуживают высокой оценки.«Это может быть действительно полезным и действенным, если внимательно обсудить архитектурные решения и способы работы систем безопасности, которые могут быть скопированы другими компаниями», — говорит он. «Поскольку у таких компаний, как Facebook, есть значительно больше ресурсов для инвестирования, чем у небольших компаний, полезно поделиться этими знаниями».

Но и очистке предстоит долгий путь. При 2,5 миллиарда активных пользователей в месяц 5% по-прежнему составляют 125 миллионов поддельных аккаунтов. Машинное обучение также зайдет так далеко: независимо от того, на каком объеме данных обучена модель, оно никогда не сможет с идеальной точностью отловить каждую плохую учетную запись.Платформе, вероятно, придется обратиться к другим комбинациям людей и машин для улучшения.

Обновление: В более ранней версии этой статьи упоминались устаревшие цифры о влиянии системы DEC Facebook. Они были обновлены, чтобы отражать самую последнюю информацию.

Facebook Messenger борется с мошенниками и поддельными аккаунтами с помощью AI

Facebook Messenger внедряет новый инструмент для предотвращения мошенничества и самозванцев на своей платформе. Компания будет использовать искусственный интеллект, чтобы помочь идентифицировать этих потенциальных злоумышленников и предоставлять пользователям уведомления о безопасности о сообщениях от теневых учетных записей. Это последний пример того, как Facebook использует автоматизацию для решения множества проблем с модерацией контента. Компания также заявляет, что приближает Messenger к сквозному шифрованию по умолчанию.

Ключевой деталью того, как работает эта новая стратегия, является то, что Facebook пытается ограничить, насколько его ИИ фактически читает содержимое пользовательских сообщений, чтобы идентифицировать мошенничество.Вместо этого технология отслеживает потенциальные злоупотребления в зависимости от того, что делают учетные записи.

«Мы можем использовать сигналы [такие как] отчеты пользователей или сообщенный контент, чтобы информировать модели машинного обучения, — сказал Recode представитель Facebook, — но мы не делаем этого заранее, и мы в основном используем поведенческие сигналы, чтобы определить, когда выходить на поверхность. предупреждение о безопасности ».

Например, он может создавать уведомление, если учетная запись пытается использовать имя, похожее на имя одного из ваших друзей, или если учетная запись, принадлежащая взрослому, отправляет кучу сообщений или запросов на добавление в друзья несовершеннолетним.Поскольку инструмент модерации не имеет доступа к содержимому сообщений, он разработан для работы с полным шифрованием, которое Facebook уже давно заявило, что оно будет развернуто в Messenger. (WhatsApp, принадлежащий Facebook, уже имеет сквозное шифрование.)

Примечательно, что Facebook не блокирует автоматически потенциально поддельные или мошеннические аккаунты, если они отмечены этим новым инструментом автоматической модерации. Messenger теперь будет отображать уведомление о безопасности, которое предупреждает пользователя и дает ему возможность заблокировать человека или прочитать о том, как защитить себя от мошенничества.Эта стратегия мало чем отличается от недавней попытки Facebook подтолкнуть пользователей, которым нравились розыгрыши коронавируса.

Facebook будет уведомлять пользователей, когда обнаруживает учетную запись, которая может выдавать себя за другого друга Facebook. Facebook

Этот новый инструмент пытается решить хорошо задокументированную проблему в Messenger. Мошенники продолжают находить творческие и убедительные способы выдавать себя за друзей и семью пользователей, чтобы обманом заставить людей отдать свои деньги или финансовую информацию.Одно из новых сообщений Facebook по безопасности даже специально предупреждает людей: «Отклоняйте запросы на получение денег». А совсем недавно эти уловки воспользовались пандемией Covid-19, когда мошенники продвигали поддельные методы лечения и благотворительные акции. Проблема стала настолько серьезной, что Better Business Bureau объявило об этом публичное предупреждение.

Если Messenger определяет, что учетная запись может быть связана со спамом, он предоставит рекомендации и советы.

Подобные фейки — системная проблема на платформе Facebook. По оценкам компании в своем собственном отчете о соблюдении стандартов сообщества, только за первые три месяца 2020 года она отключила 1,7 миллиарда поддельных учетных записей. Facebook также оценивает, что около 5 процентов его ежемесячных активных пользователей в последнем квартале были поддельными учетными записями, хотя компания утверждает, что она автоматически вылавливает почти все эти учетные записи, прежде чем пользователям потребуется о них сообщить.

Важно отметить, что эта последняя попытка решить проблему массового мошенничества не будет применяться к дезинформации, которая уже давно скопилась на платформах Facebook.Фейковые новости и теории заговора находят новую благодатную почву на фоне пандемии Covid-19. С момента вспышки нового коронавируса Facebook внес несколько изменений в политику, чтобы обуздать «инфодемию» Covid-19, как отмечает Recode. Но опять же, эти новые уведомления не относятся к фальшивым новостям и дезинформации, несмотря на их распространенность в приложениях для обмена личными сообщениями, таких как Messenger и WhatsApp.

Представитель Facebook сообщил Recode в электронном письме, что он использует метку «переадресовано» в Messenger, чтобы указать, когда конкретное сообщение пришло не от отправителя, и что компания «изучает более строгие ограничения на пересылку.«По крайней мере, за пару лет Facebook пошел еще дальше, ограничив пересылку на своих платформах обмена сообщениями. Компания использовала этот метод для борьбы с фейковыми новостями после насилия в Индии и Мьянме несколько лет назад, а совсем недавно заявила, что ограничение пересылки сократило распространение вирусных сообщений в разгар пандемии коронавируса на 70 процентов. Однако неясно, содержали ли эти сообщения фейковые новости.

Новые уведомления о безопасности также представляют собой еще одну попытку Facebook использовать автоматизацию для решения самых серьезных проблем с контентом.Facebook уже использовал ИИ в своих усилиях по решению самых разнообразных проблем, таких как пропаганда терроризма и вербовка для незаконных продаж опиоидов, хотя ни одно из этих злоупотреблений полностью не исчезло. А совсем недавно, когда пандемия вынудила специалистов компании покинуть свои офисы, Facebook снова обратился к своей технологии модерации контента на основе искусственного интеллекта, хотя и предупредил, что эта технология будет далеко не идеальной.

В конечном счете, время покажет, сократят ли новые предупреждения о безопасности в Messenger мошенничество — и нет причин высмеивать способность технологии быстро отмечать большие объемы контента, чтобы предупредить пользователей о том, что что-то может быть подозрительным.Мошенники всегда стремятся найти обходные пути, поэтому технология будет продолжать развиваться. И снова, в конце концов, пользователь должен заметить предупреждение и что-то с ним предпринять.

Эта функция внедряется на устройствах Android с марта, и Facebook сообщает, что еженедельно помечает сообщения, потенциально касающиеся сообщений для более чем 1 миллиона человек. Со следующей недели функция начнет распространяться на пользователей iOS.

Открытый исходный код стал возможным благодаря Omidyar Network. Все материалы с открытым исходным кодом редакционно независимы и созданы нашими журналистами.

Почему Facebook отклоняет эту модную рекламу?

Последнее в истории недоразумений

Вот как это работает: компания автоматически размещает объявление или создает магазин и отправляет его на одобрение в Facebook. (Если это витрина, продукты также могут поступать через канал, и каждый из них должен соответствовать правилам Facebook.) Если система выявляет потенциальное нарушение, объявление или продукт отправляются обратно в компанию как несоответствующие.Но точное слово или часть изображения, создавшего проблему, не идентифицируется, а это означает, что компания должна эффективно угадать, в чем проблема.

Затем компания может либо подать апелляцию на объявление / листинг как есть, либо внести изменения в изображение или формулировку, которые, как она надеется, будут соответствовать правилам Facebook. В любом случае сообщение отправляется обратно через автоматизированную систему, где оно может быть проверено другой автоматизированной системой или физическим лицом.

По данным Facebook, за последние несколько лет он добавил тысячи рецензентов, но на Facebook размещают рекламу три миллиона предприятий, большинство из которых — малые предприятия.Пресс-секретарь Facebook не указала, что может вызвать повышение апелляции до уровня рецензента, или существует ли кодифицированный процесс, с помощью которого это произойдет. Часто владельцы малого бизнеса чувствуют себя пойманными в бесконечную петлю, управляемую машиной.

«Проблема, с которой мы постоянно сталкиваемся, — это каналы связи», — сказал Синеад Берк, активист по инклюзивности, консультирующий с многочисленными брендами и платформами, включая Juniper. «Доступ должен означать нечто большее, чем просто цифровой доступ. И мы должны понимать, кто находится в этой комнате, когда создаются эти системы.

Пресс-секретарь Facebook сообщила, что в компании есть сотрудники с ограниченными возможностями, в том числе на руководящем уровне, и что есть группа специалистов по доступным возможностям, которая работает через Facebook, чтобы внедрить специальные возможности в процесс разработки продукта.

НЕДВИЖИМОСТЬ — НАША СТИХИЯ