Создатели яндекса: История «Яндекса» от 90-х до наших дней — Маркетинг на vc.ru

: Технологии и медиа :: РБК

По его словам, через два года алгоритмы, управляющие беспилотниками, будут допускать меньше ДТП, чем люди. Машина на автопилоте, сказал глава «Яндекса», способна проехать 100–200 км до первой аварии.

Как отметил Волож, на этой неделе беспилотники компании преодолеют второй миллион километров. «К лету [будущего года] рассчитываем, будем проезжать по миллиону километров в неделю», — сказал он.

Читайте на РБК Pro

Отвечая на вопрос о том, что сотни тысяч водителей могут потерять рабочие места при массовом внедрении беспилотных автомобилей, Волож, обращаясь к сидящим в зале, сказал: «Кто-нибудь в этом зале хочет водить по 12 часов машину по городу в пробках? Это не та работа, которую люди очень хотят. Лучше бы эти люди занимались какой-то другой работой, какой-то более производительной или более интересной».

«Россия не собирается нападать»: главные заявления форума «Россия зовет!»

Глава «Норникеля» Владимир Потанин, отвечая на сказанное, заявил: «Хочу тоже выступить в защиту технического прогресса. Молодое поколение меняет свое отношение к занятости. Они задумываются над тем, какой вклад они вносят в общее дело. Есть ли значимость труда, которым они занимаются. Они легче переучиваются», — сказал он.

Как уточнил представитель «Яндекса» после выхода публикации, 100–200 км — это среднее по индустрии в мире чисто километров между вмешательствами водителя в управление. Вмешательствами считаются те случаи, когда беспилотному автомобилю потребовалась помощь водителя, например в новых для автомобиля ситуациях, с которыми он еще не знает как справиться.

Авто без водителя: мировые концерны в гонке за рынок машин-беспилотников

Аналитики банка UBS ранее заявляли, что «Яндекс» может стать монополистом российского рынка беспилотного транспорта. В случае, если компания будет заниматься только пассажирскими перевозками, то такой бизнес к 2030 году может вырасти до $3,1 млрд. Стоимость всего российского рынка пассажирских беспилотных перевозок (преимущественно это такси и каршеринг) к 2030 году достигнет $4 млрд.

Миллиарды «Яндекса». В процессе поиска

Средний возраст сотрудников компании «Яндекс» — 28 лет. Большинства из них не было на свете, когда генеральный директор компании Аркадий Волож познакомился с техническим директором Ильей Сегаловичем. Они совсем непохожи — сдержанный, рассудительный Волож и громкий, импульсивный Сегалович. Мы сидим в одной из переговорных в московской штаб-квартире «Яндекса», и создатели поисковой системы терпеливо выполняют ее обычную работу: отвечают на вопросы. Может быть, машина знает больше ответов, но отбирать результаты человек пока умеет гораздо лучше. Например, на запрос «почему Google не может победить «Яндекс», «Яндекс» выдает 341 000 ответов. Волож дает один: «Они не умрут, если не завоюют Россию, а мы умрем, если ее потеряем».

Оборону «Яндекс» держит вот уже 10 лет, а недавно перешел в наступление. Yandex.ru — самый посещаемый российский сайт, на который ежемесячно заходит около 28 млн человек, 80% всей аудитории русского интернета. По многим признакам компания готовится выйти на биржу, и уже в этом году мы можем узнать, во сколько миллиардов долларов ее оценят инвесторы. В том, что речь пойдет о миллиардах, не сомневается сегодня никто. Воложа и Сегаловича любые родители могут ставить в пример своим детям: их путь к состоянию в сотни миллионов долларов начался со школьных пятерок.

В середине 1970-х Волож и Сегалович сидели за одной партой в алма-атинской физико-математической школе. «Наша парта выдала 50% золотых медалей школы», — вспоминает Сегалович. Волож занимал призовые места на республиканской олимпиаде по математике, Сегалович — на всесоюзной. В 1981 году они вместе приехали поступать в Московский университет, но медалистов не приняли. Волож поступил на факультет прикладной математики Института нефти и газа, Сегалович — на геофизический факультет Московского геологоразведочного института.

В конце 1980-х, учась в аспирантуре, Волож начал заниматься бизнесом. Сначала, как многие тогдашние предприниматели, торговал, а в 1989 году вместе со своим учителем английского языка, американцем Робертом Стабблбайном учредил компанию CompTek, занявшуюся поставками сетевого и телекоммуникационного оборудования (к концу 1990-х эта компания стала крупнейшим дистрибьютором Cisco Systems в России и СНГ с оборотом десятки миллионов долларов в год).

Помимо торговли компьютерами у математика Воложа был и бизнес «по специальности»: он разрабатывал программы поиска в больших массивах русскоязычной текстовой информации. Страна переводила документацию с бумаги в компьютерные хранилища, и заказчиков хватало: Институт патентной информации, отраслевые НИИ, АвтоВАЗ… «А Илюша [Сегалович] ходил на работу в государственный НИИ, хотя я его все время в бок пинал: посмотри, вокруг жизнь идет!» — вспоминает Волож. В 1991 году Сегалович сдался: советская наука разваливалась, а Волож вместо институтской зарплаты в $5 предложил ему немыслимые $30. В 1993 году Сегалович с командой программистов написал очередную версию программы текстового поиска, которую назвали «Яndex» (от yet another indexer). Для демонстрации возможностей программы решили сделать модельный продукт — в 1994 году появилась цифровая Библия на нескольких дискетах с возможностью поиска. Продукт заметили, и компания получила солидный заказ от Института мировой литературы на изготовление цифровых копий академических изданий Грибоедова и Пушкина. Полученные за работу $20 000, немалая по тем временам сумма, позволили CompTek переехать в новое помещение, вдвое увеличить команду программистов и, самое главное, подключиться к быстрому интернету. «Залезли в интернет на пару месяцев, прочитали все, что там было написано, посмотрели на поиск Altavista и поняли, что надо делать вещи для интернета», — вспоминает Сегалович. На протяжении 1996 года параллельно с изготовлением цифровых копий русской классики шла подготовка к запуску собственной поисковой машины в интернете.

Тогда же в компанию пришел еще один нынешний лидер, вернувшаяся из Америки программист Елена Колмановская (сейчас она — главный редактор «Яндекса»). Ее первым заданием в «Яндексе» стал «промышленный шпионаж»: под видом заказчика Колмановская обошла все московские компании, в том или ином виде занимавшиеся разработкой текстовых поисковых программ. «Выяснилось, что у нас технология лучше, надо было делать продукты для интернета», — вспоминает Волож.

Реклама на Forbes

Продукты представляли собой готовые программы, которые могли установить себе любые интернет-сайты, чтобы позволить пользователям искать информацию на своих страницах, и программные дополнения для действовавших тогда поисковых систем — эти «надстройки» учитывали русскую морфологию (строение слов в их различных грамматических формах) и поэтому позволяли искать в несколько раз результативнее и точнее. Но покупателей на поисковик не нашлось, и в 1997 году Волож решился на крупные инвестиции в создание публичной поисковой машины. На $10 000 были закуплены три сервера с жесткими дисками по 1 Гб. Вскоре на них оказались результаты индексирования всего тогдашнего рунета — все 4 Гб (сейчас в несколько раз больше информации помещается в iPod). Качество поиска понравилось пользователям: к середине 1999 года сайт Yandex.ru уже стабильно держался в семерке самых популярных сайтов рунета.

Аромат кофе и круассанов, несколько столиков в углу фойе Концертного зала им. Чайковского на Триумфальной площади Москвы. Летом 1999 года в популярной тогда кондитерской «Делифранс» началась первая неформальная «ярмарка стартапов» русского интернета. В США был интернет-бум, технологический индекс NASDAQ почти ежедневно обновлял рекорды, и юный русский интернет-рынок манил инвесторов как новый Клондайк. В «Делифранс» собрались основатели главных сайтов того времени: портала InfoArt, почты Mail.ru, магазина Ozon, поисковика «Апорт». «Все со всеми разговаривают, переходят от столика к столику, «обнюхиваются», — вспоминает Аркадий Волож. Ото всех сделанных ему тогда предложений об инвестициях он отказался: деньги ему готовы были дать только в обмен на контроль над компанией.

Одним из первых отвергнутых стал нынешний председатель совета директоров Mail.ru Group, а тогда начинающий инвестор Юрий Мильнер. «Юра был самый активный из всех, он просто давил, давил и давил, говорил: «Надо быстро все делать, время уходит, кто первым успеет, тот и будет первым!» — вспоминает Волож. Мильнер оценил технологии «Яндекса» и предложил создавать проекты вместе: хорошие программисты ему были нужны для реализации его бизнес-идеи — скопировать самые популярные модели американских сайтов и как можно быстрее запустить их в России. За образцы были взяты электронный аукцион eBay и бесплатный веб-хостинг GeoCities, по образцу которых программисты «Яндекса» в бешеном темпе создали Molotok.ru и Narod.ru — у них было шесть недель на каждый проект. По мнению Воложа и Сегаловича, продукты получились сырыми и требовали большой доработки, но Мильнеру важнее была скорость. «Мы думали, так продукты не делают, но возразить, вставить слово было невозможно, и мне уже тогда было понятно, что главную скрипку [в сотрудничестве с Мильнером] будем играть не мы», — говорит Волож. Поэтому когда в феврале 2000 года Мильнер сделал предложение о покупке контрольного пакета «Яндекса», обещая привлечь средства через американский фонд NCH, Волож отказал. Партнеры поделили совместные проекты: Molotok.ru достался Мильнеру, а Narod.ru — «Яндексу».

Помимо Мильнера и NCH зимой 2000 года на роль инвестора поисковой системы претендовала компания Golden Telecom, фонд Baring Vostok Capital Partners (BVCP) и целый ряд более мелких иностранных фондов и российских инвесторов. В апреле 2000 года 35,27% акций «Яндекса» за $5,28 млн купил фонд ru-Net Holdings, основным участником которого был BVCP. Со стороны BVCP за сделку отвечала старший партнер фонда Елена Ивашенцева, с которой Аркадий Волож познакомился в том же самом «Делифранс».

Покупка доли в «Яндексе» за такие деньги весной 2000 года выглядела безумием. За месяц до объявления о сделке индекс NASDAQ, достигнув максимума в 5132 пункта, рухнул на 40%. «Пузырь доткомов» лопнул, инвесторы разорялись, компании объявляли себя банкротами. «Мы шли к сделке семь месяцев, с гордостью объявили о ней, а все вопросы от журналистов были «что вы делаете, куда вы идете, бизнеса же нет», — говорит Елена Ивашенцева, миниатюрная женщина, тщательно обдумывающая каждое слово в ответе на любой вопрос. Еще сложнее было объясняться с инвесторами. «Мы получили массу требований немедленно продать пакеты и в «Яндексе», и в купленном ранее «Озоне», и вообще эту тему закрыть», — вспоминает Ивашенцева. Помогло то, что продать акции интернет-компаний в разгар краха отрасли было невозможно. «Пришлось ждать и терпеть. С тех пор вот 11 лет ждем, покупаем новые акции, и до сих пор BVCP — самый крупный инвестор «Яндекса», — говорит Ивашенцева.

Сам «Яндекс» от кризиса не пострадал, поскольку бизнесом по сути не являлся. Выручка «Яндекса», который до продажи акций инвесторам был просто отделом возглавляемой Аркадием Воложем компании CompTek, в 1999 году составила $72 000. Поисковик выживал за счет других подразделений компании. Но даже этот маленький и убыточный «Яндекс» отстаивал независимость. «Нам нужен был инвестор, который будет именно инвестором, а не хозяином, не будет рулить за нас», — объясняет Волож.

Улица Льва Толстого, 16, огромное семиэтажное офисное здание с фирменной желтой стрелкой по фасаду — новая штаб-квартира «Яндекса», в которую из нескольких старых офисов компания переехала зимой кризисного 2009 года. Ивашенцева вспоминает о десятках звонков от других инвесторов, которые считали переезд в многократно более дорогой офис в разгар кризиса «сумасшествием» и требовали все остановить. Но совет директоров «Яндекса» утвердил переезд, посчитав его важным для бизнеса. В «Яндексе» уверены, что нужно быть максимально привлекательным для сотрудников: ведь конкурировать за мозги ему приходится не только с российскими IT-компаниями, но и со всем миром. «Люди уезжают: мы реально конкурируем с Сиэтлом, Ванкувером и Силиконовой долиной», — говорит Волож. Microsoft и Google задают очень высокие стандарты комфорта для работников, и «Яндексу» приходится «держать планку».

Среди прочих приятных вещей, отмеченных опрошенными Forbes сотрудниками «Яндекса»: зарплата выше средней по рынку, быстрый карьерный рост, оплачиваемые компанией обучение и поездки на международные конференции, нестрогий рабочий график, бесплатные обеды, минимум бюрократии и формализма. «Тут есть некоторая здоровая расслабленность, следование скорее здравому смыслу, чем жестким правилам и строгой иерархии», — говорит программист по имени Артем. В «Яндекс» очень непросто устроиться — процент не прошедших испытательный срок выше, чем в других IT-компаниях, но принятому на работу человеку простят первые промахи и дадут возможность их исправить. «Чтобы заслужить увольнение, надо проявить себя полностью неадекватным человеком», — говорит Александр, сотрудник отдела разработки.

Что взамен? Сумасшедшая скорость, с которой приходится думать и реализовывать проекты, чтобы удержаться на переднем крае поиска. «Работаем в режиме «надо было еще вчера», а то Google, Mail.ru, Bing запустят то же самое завтра. Отсюда повышенный уровень бардака и угара при запусках и периодически случающиеся «факапы», — рассказывает Александр. — В общем, атмосфера стартапа с поправкой на 2500 сотрудников».

Скорость помогает побеждать конкурентов. В начале 2000 года «Яндекс», тогда третья по величине поисковая система рунета, стремительно догонял лидеров — «Рамблер» и «Апорт», которые не только отставали в технологиях поиска, но и испытывали управленческие проблемы. Их основатели не захотели или не смогли удержать контроль в своих руках: «Апорт» достался Golden Telecom, «Рамблер» — альянсу «Русских фондов» и международного фонда Orion Capital Advisors. После того как «пузырь доткомов» лопнул, инвесторы лихорадочно пытались найти способ вернуть собственные вложения, меняя менеджмент и принимая все новые стратегии. «Яндекс», инвесторы которого не имели полного контроля над компанией и, кроме того, сталкивались с буфером в лице Baring Vostok, мог сосредоточиться на развитии.

В 2001 году компания запустила первую в русском интернете систему контекстной рекламы «Яндекс-директ», благодаря которой ее ежемесячная выручка к 2002 году выросла вдвое, до $400 000. И тогда же «Яндекс» оттеснил «Рамблер» с позиции самого популярного поисковика. «Стратегия Аркадия [Воложа] — сфокусироваться на технологиях и качестве поиска и не разбрасываться, пытаясь угнаться за всеми новыми бизнес-моделями интернета, — оказалась правильной», — говорит глава совета директоров инвесткомпании Internet Search Investments и акционер «Яндекса» с 2000 года Леонид Богуславский. Игорь Ашманов, в 1999–2001 годах занимавший руководящие посты в «Рамблере», более важным фактором успеха «Яндекса» считает падение конкурентов. «Сегалович скажет, что причины успеха были технологические, Волож — что управленческие, Колмановская — что маркетинговые, а я считаю, что истинная причина ровно одна: продажа контроля в «Рамблере» и «Апорте» профанам в интернете, все остальное — следствия», — настаивает он.

В 2002 году «Яндекс» первой из всех российских интернет-компаний вышел на самоокупаемость и выплатил дивиденды — $100 000. Будущее можно было бы считать безоблачным, если бы за год до этого русскую версию не запустила самая популярная в мире поисковая машина Google.

«Перед IPO Google, в конце 2003 года, к нам приезжали [создатели американского поисковика] Сергей Брин и Ларри Пейдж, и у нас почти случилась любовь», — рассказывает Сегалович. Брин и Пейдж предложили несколько вариантов покупки «Яндекса» — за деньги и за долю в уставном капитале Google; переговоры продолжались больше года. Но завершились ничем: основатели «Яндекса», как они сейчас утверждают, поняли, что альянс с Google может иметь только один финал — прекращение существования российской компании. Велись переговоры с Microsoft и Yahoo. «Я не буду подтверждать факт переговоров, но могу сказать свое мнение: в какой-то момент у команды возникло ощущение, что им самим не справиться, что они смогут сделать больше, если у них будут какие-то международные ресурсы», — говорит Елена Ивашенцева. Но как только менеджмент «Яндекса» осознал, что большее, на что они могут рассчитывать, это роль маленького отдела большой компании, все переговоры со стратегическими инвесторами прекратились, добавляет она.

Получив отказ, Google улучшила качество русского поиска, открыла офис в России и начала продавать здесь свою контекстную рекламу AdWords, конкурирующую с «Яндекс-директ». «У нас было опасение, что Google может просто забить Россию рекламой», — говорит Колмановская. Американская корпорация наступала: в декабре 2007 года Google обогнал «Рамблер», став вторым по величине поисковиком России. После этого он стал отъедать уже долю «Яндекса», которая продолжила падать и достигла минимума в марте 2008 года — 53,5% всего поискового трафика. «Яндекс» в ответ перестроил структуру управления и стал каждые несколько месяцев запускать новые алгоритмы поиска и новые проекты. В результате его доля снова стала расти и сейчас составляет около 64%. Как российскому поисковику удалось отстоять позиции?

Опрошенные Forbes специалисты по поисковому продвижению сайтов разошлись во мнениях, кто из двух соперников — Google или «Яндекс» — предоставляет сейчас более качественный русский поиск. «Для 99,9% аудитории качество поиска «Яндекса» и Google не верифицируется, обыватель не может сказать, чем один лучше другого», — говорит Герман Клименко, владелец портала Liveinternet и системы медиаконтекстной рекламы MediaTarget. Битва переместилась на другое поле.

«Яндекс» делает огромное количество локальных сервисов, полезных местному потребителю, а Google этим, в общем, не заморачивается, вводит новые сервисы медленно и спустя рукава», — говорит Игорь Ашманов. «Яндекс.Новости» были запущены почти на полгода раньше, чем Google News, «Яндекс.Пробки» — на четыре года раньше аналогичного сервиса Google в России.

С «Яндексом» как оптовым рекламодателем куда более охотно работают интернет-сайты, размещая у себя код рекламной системы «Яндекс-директ» чаще, чем принадлежащей Google системы AdWords. Это приводит в том числе и к тому, что пользователь даже на сторонних сайтах больше сталкивается с «Яндексом», чем с его заокеанским конкурентом. С «Яндексом» работать выгоднее, утверждает Михаил Райцин, директор по технологиям «Корпорации РБС», одного из лидеров в области интернет-маркетинга. Если участник рекламной сети «Яндекса» может получать заработанное очень быстро — через «Яндекс.Деньги» и дальше в один клик на банковскую карту, то заработанное в гугловской системе AdWords до 2008-го можно было получить только отправляемым по почте именным чеком, который обналичивал далеко не каждый банк. И даже введение оплаты через систему переводов «Рапида» не решило проблему, полагает директор РБС. Кроме того, «Яндекс» делится выручкой с рекламными агентствами, чего Google в России не делает. «Размер комиссии в среднем составляет 14–16%, то есть «Яндекс» фактически создал сеть мотивированных профессиональных дилеров собственной контекстной рекламы, а Google — нет», — говорит Райцин.

Яндекс пользуется любой возможностью, чтобы пробраться к пользователю через браузер, отмечает Владимир Исаев, представитель компании Opera Software, создателя браузера Opera. «Как только появилась техническая возможность, «Яндекс» сделал для Opera иконки для экспресс-панели, с помощью которых можно в реальном времени отображать погоду и пробки, а остальные такое почему-то не реализуют», — поясняет он.

Реклама на Forbes

Бурный рост российского интернета позволял «Яндексу» вплоть до 2008 года ежегодно удваивать выручку: $35,6 млн в 2005 году, $72 млн в 2006-м, $167 млн в 2007-м и $300 млн в 2008 году. До 85% выручки «Яндексу» дает контекстная реклама — бизнес-модель, позиции которой не пошатнул даже мировой финансовый кризис. Зимой 2008 года газеты со ссылкой на инвестиционные банки стали писать о намерении «Яндекса» провести IPO, в ходе которого компания рассчитывала получить капитализацию $3–5 млрд. Но тут в планы компании вмешалось государство.

Никто из российских чиновников ни разу не заявил публично, что российские власти задались целью не допустить перехода крупных российских интернет-компаний под иностранный контроль. Сообщения об этом появлялись со ссылкой на анонимные источники в администрации президента. Особенно усилился интерес властей к интернету, как утверждают собеседники Forbes, знакомые с ситуацией в крупных российских интернет-компаниях, после российско-грузинской войны 2008 года: в Кремле посчитали, что интернет «играл» в этом конфликте на российской стороне в недостаточной степени. «Нам транслировали идею о том, что надо вообще все крупные российские интернет-компании собрать в колхоз для противостояния иностранным», — осторожно говорил Волож в начале 2009 года в интервью «Коммерсанту». Появилась (тоже анонимная) информация о том, что «присматривать» за «Яндексом» будет назначена компания с госучастием, которой для этого будет продан небольшой пакет акций. Именно тогда первый вице-премьер Игорь Шувалов заявил, что государство должно иметь небольшие пакеты во всех стратегически важных активах, и «Яндекс», как считалось, был отнесен к таким активам. «Мы оказались в таком подвешенном состоянии, между молотом и наковальней», — говорит Волож. С одной стороны, государство, которое все с большим вниманием посматривает на интернет как на альтернативу традиционным массмедиа, с другой — частные акционеры компании, которые не в восторге от возможного альянса с властями. Запрет, наложенный ФАС на продажу Google крупной российской системы размещения контекстной рекламы «Бегун», наделал много шума среди инвесторов, подтвердив, что иностранные деньги в рунет пускают с ограничениями.

«Я никогда подобными вещами не занимался, стал бегать по всем, спрашивать, что в таких случаях делают»,— говорит Волож. Знакомые посоветовали найти человека, который знает, как входить в высокие кабинеты. Глава «Яндекса» вспомнил о мимолетном знакомстве с бывшим главой президентской администрации Александром Волошиным. Тот после переговоров согласился стать консультантом совета директоров компании, и одновременно «Яндекс» принял положение о «золотой акции», единственной функцией которой является право вето на консолидацию в одних руках более 25% его акций. Акцию передали Сбербанку. «Подвесили в такое место, откуда трудно достать», — комментирует Волож.

В этот период на акции «Яндекса» нашлись и другие претенденты. Летом 2008 года с предложением о продаже 10% акций к акционерам компании обратились представители металлургического магната, участника «Золотой сотни» Forbes Алишера Усманова. «Было предложение о продаже по рыночной цене, которое в конце концов приводило к потере контроля над компанией», — говорит Волож. Переговоры не кончились ничем. Не сумев купить «Яндекс», Алишер Усманов приобрел контрольный пакет акций нынешней Mail.ru Group, которая затем на его деньги стала покупать акции социальной сети Facebook и других американских интернет-компаний, сделав Усманова крупнейшим российским интернет-инвестором.

«Яндекс», в свою очередь, вновь собирается провести IPO. Судя по тому, как тщательно менеджмент и акционеры обходят любые вопросы, связанные со стратегическими планами компании и деталями финансовой отчетности, размещение акций может состояться уже скоро. Игорь Ашманов считает наиболее вероятным сроком вторую половину 2011 года, а рыночную капитализацию компании при размещении оценивает в $5–6 млрд. Mail.ru Group при более скромных, чем у «Яндекса», финансовых показателях, при размещении акций в Лондоне в ноябре 2010 года получила капитализацию $5,7 млрд, а к февралю 2011 года она выросла на 25%. Акции Mail.ru Group пользовались у инвесторов огромной популярностью — спрос в 20 раз превысил предложение. Если акции еще одного лидера российского интернет-рынка будут пользоваться тем же спросом, капитализация «Яндекса» может достичь и больших цифр. «Яндекс» все еще частная компания, поэтому структуру акционеров раскрывает не полностью. Известно, что менеджерам и нынешним сотрудникам компании принадлежит 24% акций. Предполагается, что самая большая часть этого пакета принадлежит Аркадию Воложу, вторая по величине — Илье Сегаловичу, но в компании есть много более мелких акционеров. Сможет ли «Яндекс» похвастаться официальными миллиардерами в случае выхода на биржу? Аркадий Волож говорит, что «несколько десятков миллионеров в компании появится». И, добавим, два обладателя состояний в сотни миллионов долларов — сами Волож и Сегалович.

Основатели компании не собираются терять над ней контроль и при проведении IPO. Акции «Яндекса» разделены на два типа: тип А (1 голос на акцию) и тип Б (10 голосов на акцию). Акциями типа Б владеют только основатели и первые инвесторы компании, в случае любой их перепродажи, в том числе на бирже, они автоматически становятся акциями типа А.

Реклама на Forbes

Популярность среди инвесторов и высокая рыночная цена Mail.ru Group во многом основаны на том, что ей принадлежат акции остромодных интернет-сервисов, в том числе пакеты акций в крупнейших социальных сетях, включая Facebook, а также в сервисах развлечений. За «Яндексом» нет ни крупных социальных сетей, ни развлекательных сервисов, и попытки компании сделать проекты в этом направлении большого успеха не имели. «Придумывают разные теории, почему мы ничего не умеем в социальных сетях. А мы просто не умеем, и все! И покупать пытались — не помогает, нельзя быть везде», — самокритично говорит Волож. «Яндекс» по-прежнему удерживает лидирующие позиции на российском рынке поиска — в январе 2011 года его доля составила 64,4%, у Google — 21,9%; основной статьей его доходов по-прежнему остается контекстная реклама (88% выручки 2010 года, составившей $410 млн.)

Главным полем дальнейшего развития «Яндекса» остается информационно-справочный сектор интернета. «Мы — про информацию, про явно или неявно заданный вопрос и ответ на него», — говорит Сегалович. По его мнению, у компании есть огромные возможности роста как на рынке поисковых услуг, так и в плане географической экспансии. Война с Google, которая и в России далеко не завершена, может перекинуться на другие территории.

В минувшем году «Яндексу» удалось немыслимое — отобрать у Google долю поиска на Украине, чего до этого не удавалось никому ни в одной стране мира, где Google занимает доминирующее положение. Представители Google на прямой вопрос Forbes по этому поводу ответили не очень внятным комментарием о несовершенстве методик оценки поискового трафика, но тут же заявили, что набирают дополнительных сотрудников в украинский офис и будут заниматься «дальнейшей локализацией продуктов».

«Если рассуждать теоретически, мы мечтаем поиграть в украинский сценарий где-то еще, где Google чувствует себя расслабленно», — говорит Сегалович. Ближайшее «где-то» — это Белоруссия и Казахстан, а более далекое — европейские страны, где родным языком является не английский и где Google использует штатные, не оптимизированные для местных языков поисковые алгоритмы.

А если все пользователи интернета уйдут в социальные сети, внутри которых не работают поисковые машины — ни российские, ни западные? В «Яндексе» этого не боятся. «Мир очень большой, интернет очень разнообразный, и я не могу представить людей, которые захотят жить в бункере — им все равно будет хотеться простора», — говорит Колмановская. «Яндекс» не хочет собрать всех пользователей интернета в одном месте и пытаться заработать на этом, и в этом ключевое отличие модели компании от модели, например, холдинга Mail.ru, говорит она. «Если завтра накроется весь интернет и останется один Mail.ru, наверное, он будет абсолютно счастлив — победил всех. А если останется один «Яндекс», нам будет нечего делать — где искать-то будем?» — заключает она.

Умер один из создателей «Яндекса» Илья Сегалович

Опубликовано: 25/07/2013 — 11:11Отредактировано: 25/07/2013 — 14:50

Директор по технологиям и разработке ведущего российского интернет-поисковика «Яндекс» Илья Сегалович скончался в четверг, 25 июля, на 49-м году жизни. О смерти Сегаловича сообщил его друг и генеральный директор компании Аркадий Волож.

Причины смерти не называются, однако как пишет Forbes в последнее время Сегалович болел раком желудка. «Все случилось слишком быстро и неожиданно» — говорится в официальном блоге «Яндекса».

Илья Сегалович родился в 1964 году. В 1993 году он вместе с Аркадием Воложем создал первую версию «Яндекса» и в течение последующих 20 лет оставался одним из руководителей компании.

Помимо своей основной работы, Сегалович активно занимался благотворительностью. Совместно со своей женой Марией он основал проект «Дети Марии».

С 2011 года Сегалович участвовал в протестном движении, посещал митинги на Болотной площади и проспекте Сахарова, помогал в организации выборов в Координационный совет оппозиции.

Он также много занимался благотворительностью. Вместе с супругой Марией они усыновили пятерых детей, а также создали организацию «Дети Марии» — реабилитационный художественный центр помощи детям-сиротам и детям с особыми нуждами. Об этой стороне своей жизни Сегалович рассказывал в декабре прошлого года в интервью телеканалу «Дождь»:

«Это был бесконечно добрый, отзывчивый и чистый человек, которого не могли испортить ни слава, ни деньги, ни investor relations. Илья был из тех, о ком можно сказать, что своим присутствием они делают мир светлей», написал в своем блоге медиадиректор компании SUP Media Антон Носик.

«Яндекс» запустил нейросеть «Балабоба», генерирующую связные тексты

«Яндекс» выпустил в интернет нейросеть, генерирующую связные тексты. Она использует разработанную командой поисковика языковую модель YaLM (Yet another Language Model), аналогичную известной GPT-3 компании Open AI.

Доступный на сайте интерфейс для взаимодействия с YaLM в «Яндексе» назвали «Балабоба». Он позволяет написать слово или фразу, на основе которой будет сгенерирован текст. Реализовать задачу можно по-разному, выбирая стилистику — от телевизионного репортажа или рекламного слогана до тоста, гороскопа или поговорки.

Как и аналогичные языковые модели, YaLM работает, генерируя каждое последующее слово в предложении. Заложенные в «Балабобе» параметры — их 3 миллиарда — помогают выстраивать не нарушающие правил русского языка тексты и подбирать слова так, чтобы фразы получались осмысленными. Всего же YaLM может использовать до 13 миллиардов параметров.

Для сравнения, в полной версии модели GPT-3 могут потенциально применяться до 175 миллиардов параметров машинного обучения. GPT-3 умеет генерировать диалоги персонажей в играх и правдоподобные комментарии в соцсетях, разгадывать анаграммы, придумывать бизнес-идеи, сочинять эссе, песни, стихи и даже подражать стилю автора. Базу для GPT-3 составили полная англоязычная «Википедия», открытая библиотека Common Crawl и другие наборы данных.

Обучали «Балабобу» на терабайтах доступных поисковику «Яндекса» текстовых данных из Интернета — «Википедии», новостных статьях, книгах, а также открытых записях пользователей соцсетей и форумов. При этом создатели нейросети отмечают, что для придания текстам «Балабобы» определенного стиля нейросеть достаточно было обучить в каждом случае на небольшом — от пяти до нескольких десятков — количестве примеров.

В «Яндексе» предупреждают: «нейросеть не знает, что говорит», и может генерировать и «очень странные тексты». Поэтому призывают пользователей «быть разумными» и перед публикацией результата рекомендуют убедиться, что созданный нейросетью текст никого не обижает и, появившись в интернете, не нарушит закон.

В начале июня о создании аналогичного «нейросетевого писателя» — причем, «мощнейшего в мире», заявили в Китае. Нейросеть Wu Dao 2.0 обучили на 1,75 триллиона параметров. Китайская нейросеть умеет делать все то же самое, что и GPT-3, только быстрее, точнее и разнообразнее.

«Яндекс.Дзен» подвел итоги борьбы с фейковым контентом | Digital | Новости

Сервис сотрудничает со специалистами из СМИ и информационных агентств, чтобы пресекать распространение сомнительного контента

«Яндекс.Дзен» подвел итоги первого года работы партнерской программы
фактчекинга, сообщает пресс-служба сервиса. В течение 2021 г. «Дзен» смог
заблокировать или ограничить более 1 млн материалов, нарушающих правила
платформы и относящихся к спаму, кликбейту или оскорблениям.

Программа проверки фактов в публикациях на «Дзене» запустилась в сентябре
2020 г.: специалисты из СМИ и информагентств, а также независимые эксперты
проверяют статьи на возможную недостоверность. Сервис сотрудничает с ТАСС,
«Интерфакс», The Bell, «Ведомостями», проектами «Проверено» и FakeCheck.
Алгоритм проверки материалов разработан при участии специалистов из Высшей
школы экономики.

Под рассмотрение попадают публикации, быстро набирающие популярность или
получающие много жалоб на ложную информацию. Каждый подобный материал проверяют
несколько экспертов, на время проверки он скрывается из ленты «Дзена».
Программа борется с конспирологическими теориями о вакцинации, информацией о
«народных» способах лечения коронавируса, с искажением фактов о публичных
лицах, истории и так далее.

Схемы распространения мошеннической информации совершенствуются постоянно,
отмечает руководитель проекта «Проверка информации» Ольга Прокопова.
Сооснователь FakeCheck Дмитрий Казьмин считает, что проблема фейковых
материалов имеет глобальный масштаб: «С начала эпидемии мы зафиксировали в
России 492 фейковых сюжета, связанных с ковидом, которые распространялись в
социальных и профессиональных медиа. Без участия платформ борьба с фейками
невозможна. <…> Это также важная обратная связь для создателей
сомнительного контента, особенно учитывая быстро прогрессирующие возможности
видео-дипфейков и алгоритмов автоматического создания текстов».

Участники программы фактчекинга проверяют весь контент, размещаемый на
«Дзене», модерация позволяет ограничивать в ленте показы контента, нарушающего
правила платформы. В будущем сервис планирует расширить программу фактчекинга и
увеличивать количество проверяемых публикаций.

Создатель Яндекса

Яндекс – самая популярная среди пользователей интернета поисковая система в России. Кроме того, Яндекс это еще и интернет-портал, который содержит более 30 сервисов. Вы не только можете найти интересующую вас тему или сайт, но и воспользоваться такими услугами как Яндекс. Деньги, Яндекс. Почта, Яндекс. Картинки, Яндекс. Работа и многими другими. Яндекс настолько стал привычным поисковиком, что многие из нас даже не задумываются, кто придумал и создал Яндекс.

Как создавался Яндекс?

В 1988 году предприниматель и программист Аркадий Волож – в будущем, один и создателей Яндекса основал компанию CompTek. Компания занималась продажей персональных компьютеров и автоматизацией рабочих мест.

В 1989 году Аркадий Волож и Аркадий Борковский — специалист по компьютерной лингвистике, основали компьютерную фирму «Аркадия». Через несколько лет сотрудники фирмы написали две информационно-поисковых системы – «Классификатор товаров и услуг» и «Международная классификация изобретений».

В 1993 году фирму CompTek объединили с Аркадией. Еще один создатель Yandex – программист Илья Сегалович пришел в компанию CompTek незадолго до объединения, именно он совместно с другим создателем Яндекса Аркадием Волож и придумал слово Яndex.
Изначально Яндексом назвали программу, написанную руководителями CompTek. Программа Yandex предназначалась для поиска информации на жестком диске компьютера.

Сотрудничая с Институтом проблем передачи информации, сотрудники компании CompTek создали словарь русского языка с поиском и Библейский компьютерный справочник.

Но те, кто придумал и создал Yandex – Аркадий Волож и Илья Сегалович не остановились на достигнутом. Создатели Яндекса в 1995 году решили внедрить свою поисковую программу в сеть Интернет. Программное приложение сначала работало с ограниченными ресурсами, но немного позже охватило всю русскоязычную часть интернета.

В 1997 году была официально запущена поисковая система Яндекс.

В 1999 году, когда пользователей Рунета значительно стало больше, создатели Yandex внедрили нового поискового робота, который оптимизирует процесс поиска требуемой информации.

В 2000 году учредители компании CompTek создают новую компанию Яндекс. Генеральным директором становится Аркадий Волож, а Илья Сегалович занимает должность директора по технологиям и разработке. В этом же году поисковая машина Яндекс расширяет свои возможности. Появляются такие специализированные сервисы как Яндекс. Новости, Яндекс. Почта, аскетический Яндекс, Яндекс. Открытки, Яндекс. Закладки, Яндекс. Гуру.

К 2010 году Яндекс становится самым популярным интернет-порталом в России, и выходит на международный уровень после открытия англоязычной версии поисковой системы. Также открывается портал в Беларуси, становится возможным поиск на татарском и украинском языках. В этом же году Яндекс расширяет ряд специализированных сервисов. Появляются Яндекс. Работа, Яндекс. Карты, Яндекс. Недвижимость и другие.

Чистая прибыль компании Яндекс внушительна, в 2011 году она составила $ 179,3 миллионов. так что те, кто создал Яндекс – Аркадий Волож и Илья Сегалович выполнили огромную работу для того, чтобы их программное детище имело колоссальный успех на просторах интернета.

 

Создатели фильма «про Яндекс» («Стартап») готовят документальный сериал и книгу

17 апреля 2013 в 14:16
Roem.ru

Аркадий Волож, Давид Ян, Илья Сегалович, Интервью, Кино, Книги, Сергей Белоусов, Яндекс
ru-RU
2013
ООО «Роем»
Медиа

15 мая в Газете.ру начнется публикация документального сериала «Стартап: кто сделал Россию современной» по материалам, собранным во время работы над фильмом «Стартап», рассказала продюсер Ирина Смолко на конференции РИФ+КИБ. Кроме

Развитие событий:
Зачем создатели фильма «Стартап» вообще связали себя с «Яндексом»? (9 апреля 2014)

15 мая в Газете.ру начнется публикация документального сериала «Стартап: кто сделал Россию современной» по материалам, собранным во время работы над фильмом «Стартап», рассказала продюсер Ирина Смолко на конференции РИФ+КИБ. Кроме того, идет работа над книгой о выдающихся российских компаниях новейшего времени — кроме истории «Яндекса», туда попадут и неайтишные бизнесы.

Напомним, в основе сюжета фильма «Стартап» лежит история создания российского поисковика. Прототипом считают компанию «Яндекс», хотя, по уверениям создателей, это собирательный сюжет, ставший результатом интервью с множеством российских IT-предпринимателей, таких как Сергей Белоусов, Давид Ян и других. Тем не менее, главные герои фильма, судя по сюжету и подбору актеров, довольно прицельно списаны с Воложа и Сегаловича.

Яндекс, российская история успеха и путинский высокотехнологичный тигр (обзорная статья)

На прошлой неделе Яндекс, гигантская поисковая система и символ российского технического мастерства, отпраздновал свой 20-летний юбилей.

Его основатель Аркадий Волож принимал у себя президента России Владимира Путина, который похвалил Яндекс в его стильной стеклянной штаб-квартире в центре Москвы.

Картина была не совсем идеальной.

Блогеры саркастически отметили, что российский лидер, как известно, не пользуется Интернетом, и однажды назвал его детищем ЦРУ.Кремленологи расценили этот визит как знак того, что у российского лидера формируется новый имидж — от человека, который позирует с обнаженной грудью и согнутыми мускулами, до человека с iPhone в руке — отражение собственного перехода России от жестокой силы к технологическому прогрессу.

Обозреватель Олег Кашин с иронией отметил, что Путину, должно быть, случайно был передан список уловок, уже использованных экс-президентом Дмитрием Медведевым в 2009 году.

На первый взгляд «Яндекс» и Кремль представляют собой две разные России, которые практически не пересекаются.Трудно найти еще две противоположные культуры. Как это принято в других ведущих технологических компаниях, сотрудники Яндекса наслаждаются свободной творческой атмосферой, неформальным дресс-кодом, открытыми офисами и модными кафе, где сотрудники играют в видеоигры.

Как будто для того, чтобы подчеркнуть контраст с Кремлем, многие из этих мест встречи были закрыты перед визитом президента. Сообщается, что сотрудникам не разрешили покидать свои рабочие места в течение 30 минут до визита Путина по приказу Федеральной службы охраны (ФСО).Один программист Яндекса написал в социальных сетях, что в день визита Путина его попросили остаться дома якобы из-за его политических взглядов.

В отличие от унаследованных от Советского Союза нефтяных гигантов, которые существовали за десятилетия до возрождения России, продолжительность жизни Яндекса превышает время пребывания Путина у власти всего на два года.

Компанию основали два математика и близкие друзья: Аркадий Волож и Илья Сегалович. Волож работал генеральным директором компании (он ушел в отставку в 2014 году и стал генеральным директором голландской группы «Яндекс»), а Сегалович отвечал за кодирование и технологии.Волож был бизнес-стратегом, Сегалович — сердцем и двигателем компании.

Компания быстро росла и вскоре обогнала отечественных конкурентов, таких как Рамблер. В какой-то момент Яндекс также обогнал Google в России, став одной из немногих стран, которые сделали это. В 2011 году Яндекс стал публичным и сделал своих основателей мультимиллионерами.

Многие новые миллионеры не являются поклонниками режима Путина, а Сегалович, либерал, был увлечен будущим России. Он и некоторые из его коллег из Яндекса активно участвовали в акциях протеста против результатов парламентских выборов в конце 2011 и 2012 годов.

Он умер от рака в 2013 году в возрасте 46 лет. С тех пор корпоративная культура Яндекса изменилась, поскольку политический импульс России склонился к консерватизму и изоляционизму.

Правительство усилило давление на свободную прессу и интернет-СМИ, и Яндекс не стал исключением.

Чтобы обезопасить себя от враждебного поглощения, владельцы «Яндекса» продали «золотую акцию» Сбербанку, генеральный директор которого, бывший министр экономического развития и знакомый Путина Герман Греф известен как один из самых либеральных в правительственных кругах.

Но это не помогло полностью защитить его от влияния цензуры и общего нормативного давления на свободу слова. С 2014 года Яндекс был вынужден ограничить результаты, которые он показывает на своей новостной странице — российском эквиваленте Новостей Google — СМИ, которые были зарегистрированы в государственной службе по надзору за СМИ.

В последние годы из компании ушли ключевые сотрудники, такие как Лев Гершензон, основатель Яндекс Новости, и Елена Колмановская, его первый главный редактор. За ними последовала глава «Яндекс Новости» Татьяна Исаева, которая сменила работу на оппозиционно настроенный телеканал «Дождь», а затем перебралась в Испанию.

Лидер оппозиции Алексей Навальный недавно пожаловался на то, что Яндекс Новости скрывают сообщения о его недавних общенациональных антикоррупционных протестах из своей ленты новостей. В ответ Яндекс заявил, что его результаты автоматически генерируются алгоритмами, и отрицал возможность каких-либо манипуляций.

Лояльность по отношению к государству и налаженные отношения с властью также принесли компании определенные выгоды.

Яндекс недавно выиграл антимонопольную войну с Google. В России Google не разрешается предварительно устанавливать свои приложения на телефоны Android, что дает «Яндексу» возможность разрабатывать свои продукты.Это может помочь Яндексу сохранить свою рыночную долю, которая весной 2017 года упала до 54 процентов, что является историческим минимумом.

Но победа в этой небольшой битве дома не принесла успеха на мировом рынке. Яндекс пытался расширить свой бизнес в Турции и Германии, но пока не добился значительных результатов.

Несмотря на беспрецедентный успех «Яндекса» у себя дома, его цена за акцию на закрытии в пятницу была примерно такой же, как при публичном размещении «Яндекса» весной 2011 года. Для сравнения: с тех пор цена акций Google выросла втрое, а стоимость китайского интернет-магазина Alibaba — вдвое.

Без иронии: Яндекс — это высокотехнологичное отечественное чудо, и россияне должны гордиться. Никакое лобби не могло бы сделать Яндекс ведущей поисковой системой, если бы продукт был плохим или поддельным.

Но в сегодняшних российских реалиях возможности Яндекса к успеху очень ограничены. Это очень местный домашний тигр, которым удобно управлять. То, с чем Путин мог бы поиграть.

Елизавета Осетинская — российский редактор, управляющая газетой «Ведомости», российским изданием Forbes и медиахолдингом РБК.Она также является основателем , Bell и в настоящее время работает научным сотрудником в Калифорнийском университете в Беркли.

Мнения, выраженные в авторских материалах, не обязательно отражают позицию The Moscow Times.

hendrikbgr / YandexMail-Account-Creator: 🚀 Создайте сотни бесплатных учетных записей электронной почты YandexMail за считанные минуты 🚀

🚀 Создавайте бесконечное количество бесплатных аккаунтов на Яндексе. 🚀

🏗 Управляйте своими бесплатными аккаунтами на Яндексе.🏗

📌 Вер. 0.1 бета 📌

🤖 Полная поддержка прокси 🤖

Характеристики

• Случайные вводы для имени пользователя и пароля ✏️
• Сохранить данные учетной записи после создания в файле .cvs 🧾
• Полное автоматическое создание учетной записи 🤖
• Включить IMAP и POP3

Начало работы

Этот скрипт может создавать учетные записи бесплатной почты Яндекса с использованием прокси.

Эти инструкции позволят вам запустить копию проекта на вашем локальном компьютере в целях разработки и тестирования.

Поддержка 👨‍💻

Любые проблемы с запуском скрипта и любые вопросы, пожалуйста, свяжитесь со мной через Twitter @hendrik_bgr

Предварительные требования

Прежде, чем мы начнем

Вам потребуется доступ к 2Captcha и некоторым премиум-прокси.

Получите доступ к 2Captcha здесь: 2Captcha

Получите дешевые прокси премиум-класса здесь: Webshare

После того, как вы зарегистрируетесь в обоих сервисах, вам необходимо поместить свой API-ключ 2Captcha в файл captcha_config.py файл

После этого поместите свои прокси в proxy_config.py (ip: порт: имя пользователя: пароль)

Получите копию проекта. Откройте свой терминал и введите:

  git clone https://github.com/hendrikbgr/YandexMail-Account-Creator
  

Для установки всех необходимых требований выполните следующую команду в каталоге проекта:

  pip install -r requirements.txt
  

После этого можно переходить к запуску скрипта.

Бег 🏃🏽‍♂️

Чтобы запустить этот сценарий, откройте Терминал в каталоге проекта.

Чтобы запустить скрипт создания учетной записи, введите:

Выход

Вы найдете данные учетной записи в list.csv в этом формате.

Эл. Почта	Пароль	Имя	Фамилия	Контрольный вопрос	Используемый прокси	Пароль приложения (imap)

Авторы

Лицензия

Этот проект находится под лицензией MIT — подробности см. В файле LICENSE.md

Благодарности

• Наконечник шляпы любому, чей код был использован

Список дел 📝

• Добавить случайное имя пользователя и пароль.✅
• Распечатать данные счета в консоли ✅
• Добавить дополнительную информацию в консоль при работе ✅
• Создайте файл requirements.txt для упрощения установки ✅
• Скрипт вылетает при неправильном вводе кода

Банкноты

Этот код предназначен только для использования в образовательных целях.

Grubhub будет использовать роботов российского производства для доставки еды в кампусы колледжей

Grubhub и российский стартап по производству беспилотных автомобилей Яндекс объединились, чтобы использовать роботов для доставки еды в университетские городки США.Он представляет собой последнюю сделку, предусматривающую создание сотен беспилотных шестиколесных роботов, которые, по сути, будут действовать как передвижные ланчбоксы в городах по всей стране.

Роботизированная служба доставки появится только этой осенью, когда студенты колледжа вернутся в кампус. Яндекс, который часто называют российским Google, будет управлять роботами, а также заниматься всем процессом доставки еды. Grubhub, который имеет партнерские отношения с более чем 250 университетскими городками в США, будет служить платформой для транзакций доставки.

Grubhub сослался на экономию средств, которую он получит за счет сокращения работников службы доставки

Grubhub назвал экономию затрат, которую он получит, исключив работника по доставке из уравнения, как потенциальную выгоду от сделки с Яндексом, хотя ни одна из компаний не раскрыла финансовые условия партнерства. «Мы рады предложить эти экономичные, масштабируемые и быстрые возможности заказа и доставки еды для колледжей и университетов по всей стране, которые стремятся адаптироваться к уникальным потребностям студентов в питании», — сказал Брайан Мэдиган, вице-президент по корпоративным вопросам и кампусам. партнеры в Grubhub, в своем заявлении.

Яндекс заявляет, что его роботы-доставщики могут перемещаться по тротуарам, пешеходным зонам и пешеходным переходам, а также достигать районов кампуса, к которым невозможно добраться на машине. «Такая функциональность позволяет роботам выполнять задачи по доставке, которые традиционно выполняются людьми, и обеспечивает эффективную автоматизацию логистики последней мили», — заявляют в компании.

Доставка еды с помощью роботов не является чем-то новым для США. Есть много стартапов, использующих роботов-доставщиков разных размеров — от полноразмерных минивэнов, таких как Udelv, до роботов, которые почти идентичны роботам Яндекса, таких как Amazon и Starship.У Postmates есть робот-доставщик под названием Serve, который может перевозить 50 фунтов груза. Есть даже такие, как Nuro, который сделал то, что можно лучше всего описать как мини-роботизированную машину, которые находятся где-то посередине. Все заявляют, что они автономны, но некоторым требуются человеческие мониторы для отслеживания их перемещений.

Спрос на роботов-доставщиков резко вырос после пандемии, хотя еще неизвестно, сохранится ли это, поскольку экономика снова открывается и все меньше людей полагаются на еду из ресторанов.

Службы доставки

рассматривают использование роботов как один из многих способов сокращения затрат на рабочую силу и достижения рентабельности.Ранее в этом году DoorDash приобрела стартап по приготовлению салатов Chowbotics. Но большинство, похоже, застряло в экспериментальной фазе, и компании не знают, как именно расширить использование этих автоматизированных помощников.

Собственная поисковая система в России, Яндекс — Вашингтонский университет. Политическое обозрение

В настоящее время Google не является доминирующей поисковой системой только в двух странах: Россия (Яндекс) и Китай (Baidu). Успех Baidu в Китае объясняется ограничением свободы слова в стране, что привело к уходу Google из страны в 2010 году.Однако в любой другой стране мира (даже в Северной Корее, согласно сайту Statcounter) Google занимает в среднем 93% доли рынка поисковых систем. Таким образом, возникает логичный вопрос: как российскому провайдеру «Яндекс» удалось не только конкурировать, но и победить Google в России.

Давайте быстро погрузимся в историю двух поисковых систем: обе были созданы студентами колледжей в их общежитиях и выпущены в Интернет в 1996 году. Создатели Google назвали свой онлайн-индексатор в честь «googol», что означает «бесконечный», в то время как происхождение названия «Яндекс» неизвестно.Либо оно произошло от слияния слова «Индекс» и местоимения «Я» в русском языке, представляющего букву «Я», для создания Ya-ndex; или сокращенная форма выражения «Еще один индексатор». Первоначальный слоган Google был «Не делай зла», а «Яндекс» — «Все найдено (здесь)». В июле 2017 года Яндекс добавил к своему первоначальному слогану «Поисковая система номер 1 в России», когда они обогнали Google по доле национального рынка поисковых систем.

Однако Яндекс не имеет большого конкурентного преимущества перед Google: по состоянию на декабрь 2018 года только 54% ​​россиян предпочитали Яндекс, а 42%.69% были лояльны к Google. Однако на телефонах Android Google в настоящее время опережает 66% до 33,4%. В России два из трех пользователей мобильных телефонов имеют телефоны Android. Высокий процент пользователей Google Android в основном объясняется тем, что Google контролирует операционную систему Android и их прежняя способность предварительно устанавливать приложения своей компании на телефоны Android. Итак, что является движущей силой 33,4% пользователей Android, которые не обращают внимания на свою удобно установленную поисковую систему и лояльно загружают вместо нее Яндекс? В более широком масштабе, что побуждает 54% пользователей поисковых систем использовать местного провайдера по сравнению с самым популярным в мире?

Начнем с того, что с точки зрения поисковых систем приоритетное соответствие Яндекса обеспечивает более релевантную информацию, учитывая их более узкую аудиторию и доступные результаты поиска.Google вынужден предоставлять более широкий спектр результатов, чтобы удовлетворить свою международную аудиторию. И Google, и Яндекс имеют эту систему соответствия приоритетов, используя алгоритмы, которые основывают результаты на доказанной релевантности предыдущих пользователей, содержании веб-сайта, местоположении и т.д. меньше, чем международная аудитория Google. Например, хотя информация об американском футболе доступна на Яндексе, как правило, это не то, что россияне ищут, когда ищут «Ковбои.»Следовательно, почему каждый результат на первой странице Google для« Ковбоев »относится к Далласским ковбоям, в то время как менее половины первой страницы результатов в Яндексе относятся к команде по американскому футболу.

Рисунок Мэгги Чуанг

Еще одним ограничивающим фактором является то, что русский язык является основным языком результатов поиска Яндекса: только 2,6% интернет-контента на русском языке, а 25,4% — на английском, согласно сайту Statista. В то время как Google приходится изучать бесчисленное количество языков и международную актуальность, Яндекс в основном фокусируется на 2.6% Интернета, а затем реализует свое приоритетное сопоставление, чтобы сделать свои результаты еще более актуальными. Более того, помимо фактических результатов, поиск конкретной информации на Яндексе выполняется быстрее, поскольку пользователь может просматривать первые шесть строк веб-сайта и / или читать сводку веб-страницы, не открывая ссылку, в то время как Google предоставляет только две строчки на странице результатов. Хотя результаты появляются в Google бесконечно быстрее, отсутствие необходимости открывать ссылки для получения нужной информации позволяет поисковой системе Яндекса более эффективно использовать время.

Помимо поисковых систем, и Google, и Яндекс теперь предлагают широкий спектр специализированных продуктов, от переводчиков до физических технологий. Между двумя технологическими гигантами наблюдается удивительное совпадение продуктов: более тридцати их услуг служат одной и той же цели. Однако Яндекс, как правило, фокусируется на облегчении доступа к уже существующей информации (например, к рабочим местам, фильмам, еде, трафику, людям, недвижимости, прямому телевидению, купонам, учебникам), а также на копировании других успешных предприятий (таких как Yahoo Answers, Pinterest, Google Translate и социальные сети).В отличие от этого, продукты Google ориентированы на инновации: проектирование платформ для совместной работы (документы, листы, чат, учебные классы) и более совершенных физических устройств и платформ (таких как очки виртуальной реальности, планшет, телефон, покрытие телефона и Wi-Fi). [ su_pullquote] Яндекс фокусируется на облегчении доступа к уже существующей информации и копировании других успешных предприятий, в то время как Google сосредоточен на инновациях. [/ su_pullquote]

Это может быть связано с намерениями двух поставщиков: в то время как Google постоянно вкладывает капитал и время в прорывные технологии, Яндекс просто стремится быть лучшим поставщиком ресурсов в России.И он преуспел в бесчисленных отраслях: на местных картах и ​​транспортных ресурсах доминирует Яндекс; его интернет-магазин сделал Amazon неизвестным в России; и слияние Яндекс.Такси с Uber в июне 2018 года сделало последний функционально неактуальным.

Рисунок Мэгги Чуанг

Итак, действительно ли российские интернет-пользователи верят, что Яндекс лучше двух? Я провел онлайн-опрос, чтобы напрямую определить предпочтения студентов местных колледжей в отношении ресурсов. Из 30 респондентов 75% предпочли Яндекс, и только трое использовали ресурсы обоих.Опрос также подтвердил корреляцию между Google и Android, но самым поразительным открытием стали причины, указанные в их предпочтениях.

Я обнаружил, что их причины использовать Яндекс или Google можно разделить на четыре основные категории: дизайн, удобство, доступ к информации и культурная относительность. Хотя только три респондента конкретно указали на актуальность Яндекса для России, подавляющее большинство использовали слово «удобный», означающее «удобный, подходящий», как основную причину своего предпочтения.22-летний Олег обосновал свое предпочтение Яндекс тем, что «Яндекс больше ориентирован на россиян и дает более подробную и точную информацию в нашей стране». Это неудивительно, учитывая масштабы систем приоритетного сопоставления, но это также играет роль в теме национальной гордости за успех компании российского происхождения. Яндекс не только актуален, но и важен для россиян. Эта поисковая система, созданная для нужд их нации, связывает национальную гордость и верность со своей миссией.Это заставило одного из респондентов лаконично ответить: «[Я выбираю] Яндекс, не нужно думать об этом». [Su_pullquote align = «right»] «[Я выбираю] Яндекс, не нужно думать об этом». [ / su_pullquote]

Работа Мэгги Чуанг

У России на протяжении веков были непростые отношения с Западом, а Google — явный символ расширения Запада в мировом сознании. Яндекс как российское творение, ориентированное на национальную аудиторию, имеет удобную рыночную изоляцию, свойственную российским компаниям.Значение этой изоляции стало яснее, когда президент России Путин все чаще поощрял Яндекс в России. Он отпраздновал двадцатилетие компании вместе с генеральным директором Яндекса в сентябре 2017 года и помог компании выиграть антимонопольную войну против Google, запретив Google предварительно устанавливать свои приложения на телефоны Android. Учитывая, что «удобство» было указано в качестве главной причины предпочтения поисковых систем, неудобства для пользователей Google таким незначительным образом заметно помогают «Яндексу» сохранить свою большую долю рынка.

Влияние правительства России на этого поставщика информации остается неопределенным, но Яндекс утверждает, что результаты его поиска определяются алгоритмами без каких-либо манипуляций. К сожалению, это вопиющая неправда. В результате давления со стороны правительства и законодательства в 2014 году Яндекс показывает только одобренные правительством новостные сайты на первой странице результатов. В 2017 году российское правительство усилило цензуру, приняв закон о запрете сайтов, внесенных в национальный черный список.«Яндекс» выполнил, а Google — нет, что привело к штрафу в размере 10 000 долларов. Точно так же, как уход Google из Китая значительно сократил доступ к Интернету в Китае, соблюдение «Яндексом» этих двух мер цензуры позволило ему остаться в благосклонности правительства России с такими же пагубными последствиями. Если Яндекс продолжит доминировать на рынке поисковых систем в России, россияне могут столкнуться с повсеместным подавлением информации в ближайшем будущем.

Дарья Лочер 20 лет учится в Колледже искусств и наук.С ней можно связаться по адресу [email protected].

Яндекс и Facebook заключают сделку

28 октября 2010 г. Яндекс, крупнейшая поисковая система в России, и Facebook подписали соглашение о партнерстве, в соответствии с которым Яндекс будет размещать информацию из социальной сети на своем веб-сайте.

Яндекс делает свои сервисы более привлекательными для пользователей социальных сетей, в том числе имеющих аккаунт в Facebook. Итак, на главной странице портала размещен виджет Facebook и собственная служба обмена мгновенными сообщениями Ya.Online информирует своих пользователей о новых уведомлениях на сетевом веб-сайте. Кроме того, Яндекс теперь будет добавлять данные из Facebook в свой поисковый индекс по блогам, улучшая международный поиск и ускоряя индексацию новых, недавно созданных страниц. В частности, Facebook предоставит Яндексу канал синдикации, который будет собирать информацию об обновлениях на его страницах и профилях, созданных для представления общественных деятелей, предприятий или организаций.

Яндекс уже давно включает социальный контент в свой поиск, индексируя страницы ключевых русскоязычных блоговых сайтов и сервисов микроблоггинга, включая LiveJournal.com, Twitter.com и LiveInternet.ru, так что поисковая система Яндекса в настоящее время выделяет профили пользователей, размещенные в большинстве социальных сетей. Поиск Яндекса может предлагать своим пользователям самый свежий и наиболее полный социальный контент из вышеупомянутых социальных сетей и веб-сайтов с блогами, которые являются партнерами компании, чтобы их данные автоматически добавлялись в индекс поисковой системы.

«Социальные сети становятся все более открытыми для внешнего мира, и это беспроигрышная ситуация для всех», — говорит Роман Иванов, руководитель службы коммуникаций Яндекс.«Сайты социальных сетей получают больше трафика и новых пользователей, а поисковые системы получают массу информации, которая повышает качество поиска. Мы ожидаем, что интерес пользователей к социальному и личному поиску будет продолжать расти ».

«Мы считаем, что это партнерство принесет большую пользу нашим российским пользователям, поскольку мы хотим, чтобы общедоступную информацию на Facebook можно было легко найти через Яндекс», — добавляет Хавьер Оливан, глава международного отдела Facebook.

О Facebook
Миссия Facebook, основанной в феврале 2004 года, — дать людям возможность делиться информацией и сделать мир более открытым и взаимосвязанным.Любой желающий может зарегистрироваться в Facebook и общаться со своими знакомыми в надежной среде. Facebook является частной компанией со штаб-квартирой в Пало-Альто, Калифорния. Facebook® является зарегистрированным товарным знаком Facebook Inc.

Моделирование табличных данных с помощью CatBoost и NODE | by Mikael Huss

В обычном дереве решений как функция для разделения, так и значение отсечения зависят от того, какой путь вы уже прошли в дереве. Это имеет смысл, потому что мы можем использовать уже имеющуюся информацию, чтобы решить самый информативный следующий вопрос (как в игре «20 вопросов»).При неявных деревьях решений история не имеет значения; мы задаем один и тот же вопрос, несмотря ни на что. Деревья называют «забывчивыми», потому что они постоянно «забывают» то, что произошло раньше.

Почему это полезно? Одним из хороших свойств деревьев решений без внимания является то, что пример можно очень быстро классифицировать или оценить — это всегда одни и те же N двоичных вопросов, которые задаются (где N — глубина дерева). Это можно легко сделать параллельно для многих примеров. Это одна из причин, почему CatBoost работает быстро.Также следует иметь в виду, что здесь мы имеем дело с ансамблем деревьев. В качестве автономного алгоритма дерево решений без внимания может работать не так хорошо, но идея ансамблей деревьев заключается в том, что коалиция слабых учеников часто работает хорошо, потому что ошибки и предубеждения «размываются». Обычно слабый ученик — это стандартное дерево решений, а в данном случае это нечто еще более слабое, а именно дерево неосознанных решений. Авторы CatBoost утверждают, что этот конкретный ученик со слабой базой хорошо подходит для обобщения.

Хотя установка CatBoost должна быть простой задачей, набрав

 pip install catboost 

, я иногда сталкивался с проблемами на Mac. В системах Linux, таких как система Ubuntu, в которой я сейчас печатаю, или в Google Colaboratory, она должна «просто работать». Если у вас по-прежнему возникают проблемы с его установкой, рассмотрите возможность использования образа Docker, например

 docker pull yandex / tutorial-catboost-clickhouse 
 docker run -it yandex / tutorial-catboost-clickhouse 

Ссылка на записную книжку Colab с кодом

Давайте посмотрим, как использовать CatBoost для табличного набора данных.Мы начинаем с загрузки слегка предварительно обработанной версии набора данных Adult / Census Income, который в дальнейшем предполагается, что он находится в datasets / adult.csv. Я выбрал этот набор данных, потому что он сочетает в себе категориальные и числовые функции, хороший управляемый размер из десятков тысяч примеров и не слишком много функций. Его часто используют для иллюстрации алгоритмов, например, в Google What-If Tool и во многих других местах.

В наборе данных переписи взрослого населения есть столбцы «возраст», «рабочий класс», «образование», «номер образования», «семейное положение», «род занятий», «родство», «раса», «пол», « прирост капитала »,« потеря капитала »,« часов в неделю »,« родная страна »и« <= 50K ».Задача состоит в том, чтобы предсказать значение последнего столбца «<= 50K», который указывает, зарабатывает ли рассматриваемый человек 50 000 долларов США или меньше в год (набор данных за 1994 год). Мы рассматриваем следующие характеристики как категориальные, а не числовые: «рабочий класс», «образование», «семейное положение», «род занятий», «родство», «раса», «пол», «родная страна».

Код очень похож на scikit-learn, за исключением типа данных Pool, который CatBoost использует для объединения функций и целевых значений для набора данных, сохраняя их концептуально разделенными.(Должен признаться, я действительно не знаю, почему существует Pool — я просто использую его, и, похоже, он работает нормально.)

Код доступен на Colab, но я скопирую его здесь для справки. CatBoost необходимо знать, какие функции являются категориальными, и затем обрабатывать их автоматически. В этом фрагменте кода я также использую 5-кратную (стратифицированную) перекрестную проверку для оценки точности предсказания.

 из catboost import CatBoostClassifier, Pool 
 из hyperopt import fmin, hp, tpe 
 import pandas as pd 
 from sklearn.model_selection import StratifiedKFolddf = pd.read_csv ('https://docs.google.com/uc?' + 
 'id = 10eFO2rVlsQBUffn0b7UCAp28n0mkLCy7 &' + 
 'export = download') 
 label = df.pop ('<= 50K category_names = ['рабочий класс', 'образование', 'семейное положение', 
 'профессия', 'отношения', 'раса', 
 'пол', 'родная страна'] 
 категориях = [df.columns.get_loc (i) для i в category_names] nfolds = 5 
 skf = StratifiedKFold (n_splits = nfolds, shuffle = True) 
 acc = [] для train_index, test_index в skf.split (df, labels): 
 X_train, X_test = df.iloc [train_index] .copy (), \ 
 df.iloc [test_index] .copy () 
 y_train, y_test = labels.iloc [train_index], \ 
 label .iloc [test_index] 
 train_pool = Pool (X_train, y_train, cat_features = categoryoricals) 
 test_pool = Pool (X_test, y_test, cat_features = categoryoricals) 
 model = CatBoostClassifier (итераций = 100, 
 depth_rate = 1, 
 
 loss_function = 'MultiClass') 
 model.fit (train_pool) 
 predictions = model.прогноз (test_pool) 
 точность = сумма (predictions.squeeze () == y_test) / len (прогнозы) 
 acc.append (точность) mean_acc = sum (acc) / nfolds 
 print (f'Средняя точность на основе {nfolds} folds: {mean_acc: .3f} ') 
 print (acc) 

То, что мы обычно получаем от запуска этого (CatBoost без оптимизации гиперпараметров), — это средняя точность между 85% и 86%. В моем последнем прогоне я получил около 85,7%.

Если мы хотим попытаться оптимизировать гиперпараметры, мы можем использовать hyperopt (если у вас его нет, установите его с помощью pip install hyperopt).Чтобы использовать его, вам необходимо определить функцию, которую Hyperopt пытается минимизировать. Мы просто постараемся повысить точность здесь. Возможно, лучше было бы оптимизировать, например. потеря журнала, но это оставлено в качестве упражнения для читателя;)

Основными параметрами для оптимизации, вероятно, являются количество итераций, скорость обучения и глубина дерева. Есть также много других параметров, связанных с переобучением, например ранняя остановка раундов и так далее. Не стесняйтесь исследовать самостоятельно!

 # Оптимизируйте от 10 до 1000 итераций и глубину от 2 до 12search_space = {'итерации': hp.quniform ('итерации', 10, 1000, 10), 
 'глубина': hp.quniform ('глубина', 2, 12, 1), 
 'lr': hp.uniform ('lr', 0,01, 1) 
} def opt_fn (search_space): nfolds = 5 
 skf = StratifiedKFold (n_splits = nfolds, shuffle = True) 
 acc = [] для train_index, test_index в skf.split (df, labels): 
 X_train, X_test = dd. iloc [train_index] .copy (), \ 
 df.iloc [test_index] .copy () 
 y_train, y_test = labels.iloc [train_index], \ 
 labels.iloc [test_index] 
 train_pool = Pool (X_train, y_train, cat_features = categoryoricals) 
 test_pool = Pool (X_test, y_test, cat_features = categoryoricals) model = CatBoostClassifier (iterations = search_space ['итерации'], 
 depth = search_space ['depth'], 
 Learning_rate = search_space ['lr'], 
 loss_function = 'MultiClass', 
 od_type = 'Iter') модель.fit (train_pool, logging_level = 'Silent') 
 predictions = model.predict (test_pool) 
 precision = sum (predictions.squeeze () == y_test) / len (predictions) 
 acc.append (precision) mean_acc = sum (acc ) / nfolds 
 return -1 * mean_accbest = fmin (fn = opt_fn, 
 space = search_space, 
 algo = tpe.suggest, 
 max_evals = 100) 

Когда я последний раз запускал этот код, это заняло более 5 часов, но в результате средняя точность 87,3%, что на одном уровне с лучшими результатами, которые я получил при испытании Auger.AI платформа AutoML.

Здесь мы должны спросить себя, действительно ли нужны эти причудливые новомодные методы. Как будет работать старая добрая логистическая регрессия сразу после оптимизации гиперпараметров?

Я не буду воспроизводить здесь код для краткости, но он доступен в той же записной книжке Colab, что и раньше. Одна деталь реализации логистической регрессии заключается в том, что она не обрабатывает категориальные переменные из коробки, как это делает CatBoost, поэтому я решил закодировать их, используя целевую кодировку, в частности целевую кодировку с исключением одного, которая является подходом, принятым в NODE. и довольно близкий, но не идентичный аналог того, что происходит в CatBoost.

Короче говоря, ненастроенная логистическая регрессия с этим типом кодирования дает точность около 80% и около 81% (80,7% в моем последнем прогоне) после настройки гиперпараметров. Здесь есть интересная альтернатива — попробовать библиотеки автоматической предварительной обработки, такие как vtreat и Automunge, но я сохраню их для следующего сообщения в блоге!

Что у нас есть до того, как попробовать NODE?

• Логистическая регрессия, без настройки: 80,0%
• Логистическая регрессия, с настройкой: 80,7%
• CatBoost, без настройки: 85.7%
• CatBoost, настроено: 87,2%

В недавней рукописи исследователей Яндекса описывается интересная нейросетевая версия CatBoost или, по крайней мере, нейросеть, использующая не обращающие внимания ансамбли дерева решений (см. Технический раздел выше, если вы хотите напомните себе, что здесь означает «не обращать внимания».) Эта архитектура, называемая NODE, может использоваться либо для классификации, либо для регрессии.

Одно из утверждений из аннотации гласит: « Проведя обширное экспериментальное сравнение с ведущими пакетами GBDT на большом количестве наборов табличных данных, мы демонстрируем преимущество предлагаемой архитектуры NODE, которая превосходит конкурентов по большинству задач. .Это, естественно, вызвало у меня интерес. Может ли этот инструмент быть лучше CatBoost?

Вам следует обратиться к статье, чтобы получить полную информацию, но некоторые важные детали:

• Функция активации entmax используется как мягкая версия разделения в обычном дереве решений. Как говорится в статье: « Entmax способно создавать разреженные распределения вероятностей, где большинство вероятностей в точности равно 0. В этой работе мы утверждаем, что entmax также является подходящим индуктивным смещением в нашей модели, которое позволяет дифференцировать построение раздельного решения во внутренних узлах дерева.Интуитивно entmax может изучать решения о разделении на основе небольшого подмножества функций данных (до одного, как в классических деревьях решений), избегая нежелательного влияния со стороны других ». Функции entmax позволяют нейронной сети имитировать систему типа дерева решений, сохраняя при этом дифференцируемую модель (веса могут обновляться на основе градиентов).
• Авторы представляют новый тип слоя, «уровень узлов», который вы можете использовать в нейронной сети (их реализация находится в PyTorch).Слой узлов представляет собой ансамбль деревьев.
• Несколько уровней узлов могут быть сгруппированы, давая иерархическую модель, в которой входные данные передаются через один ансамбль деревьев за раз. Последовательное объединение входных представлений можно использовать для создания модели, напоминающей популярную модель DenseNet для обработки изображений, только специализирующуюся на табличных данных.

Параметры модели NODE:

• Скорость обучения (в документе всегда 0,001)
• Количество уровней узлов ( k )
• Количество деревьев в каждом слое ( м )
• Глубина деревьев в каждом слое ( d )

Чтобы понять, как выглядит аналогия между этой архитектурой нейронной сети и ансамблями дерева решений, здесь воспроизведен рисунок 1.

Как слои NODE связаны с деревьями решений.

В рукописи не так много указаний; авторы предлагают использовать гиперпараметрическую оптимизацию. Они действительно упоминают, что оптимизируют следующее пространство:

• количество слоев: {2, 4, 8}
• общее количество деревьев: {1024, 2048}
• глубина дерева: {6, 8}
• tree output dim: {2, 3}

В моем коде я не выполняю поиск по сетке, а скорее позволяю значениям сэмплов hyperopt в определенных диапазонах.Я думал об этом (что могло быть ошибочным) таково, что каждый слой представляет собой ансамбль деревьев (скажем, один экземпляр CatBoost). Для каждого добавляемого слоя вы можете добавить некоторую репрезентативную мощность, но вы также сделаете модель намного тяжелее для обучения и потенциально рискуете переобучить. Общее количество деревьев выглядит примерно аналогично количеству деревьев в CatBoost / xgboost / random forest и имеет те же компромиссы: со многими деревьями вы можете выражать более сложные функции, но модель займет гораздо больше времени для обучения и рискует переобучиться.Глубина дерева, опять же, имеет тот же тип компромисса. Что касается выходной размерности, честно говоря, я не совсем понимаю, почему это параметр. Читая статью, кажется, что она должна быть равна единице для регрессии и равна количеству классов для классификации.

Авторы сделали код доступным на GitHub. Они не предоставляют интерфейс командной строки, а скорее предлагают пользователям запускать свои модели в предоставленных ноутбуках Jupyter. В этих блокнотах приведены один пример классификации и один пример регрессии.

На странице README репозитория также настоятельно рекомендуется использовать графический процессор для обучения моделей NODE. (Это фактор в пользу CatBoost.)

Я подготовил записную книжку Colaboratory с некоторыми примерами кода о том, как запускать классификацию на NODE и как оптимизировать гиперпараметры с помощью hyperopt.

Пожалуйста, перейдите к записной книжке Colaboratory прямо сейчас, чтобы продолжать читать!

Здесь я просто выделю некоторые части кода.

Проблемы, с которыми я столкнулся при адаптации авторского кода, в основном были связаны с типами данных.Важно, чтобы входные наборы данных (X_train и X_val) были массивами (numpy или torch) в формате float32 ; не float64 или сочетание float и int. Метки должны быть закодированы как длинные ( int64 ) для классификации и float32 для регрессии. (Вы можете увидеть это в ячейке под названием « Загрузить, разделить и предварительно обработать данные ».)

Другие проблемы были связаны с памятью. Модели могут быстро взорвать память графического процессора, особенно при больших размерах пакетов, используемых в ноутбуках, приведенных в качестве примеров.Я решил эту проблему, просто используя максимальный размер партии, с которым я мог уйти на моем ноутбуке (а позже и на Colab).

Но в целом заставить код работать было не так уж и сложно. Документация была немного скудной, но достаточной.

В отличие от CatBoost, NODE не поддерживает категориальные переменные, поэтому вы должны сами подготовить их в числовом формате. Мы делаем это для набора данных Adult Census так же, как это делают авторы NODE, используя LeaveOneOutEncoder из библиотеки category_encoders.Здесь мы просто используем обычное разделение на поезд / тест вместо 5-кратного CV из-за удобства, так как обучение NODE занимает много времени (особенно с оптимизацией гиперпараметров).

 из category_encoders import LeaveOneOutEncoder 
 import numpy as np 
 import pandas as pd 
 from sklearn.model_selection import train_test_splitdf = pd.read_csv ('https://docs.google.com/uc' + 
 '+ 
 'export = download') 
 label = df.pop ('<= 50K') 
 X_train, X_val, y_train, y_val = train_test_split (df, 
 label, 
 test_size = 0.2) class_to_int = {c: i для i, c в перечислении (y_train.unique ())} 
 y_train_int = [class_to_int [v] для v в y_train] 
 y_val_int = [class_to_int [v] для v в y_val] cat_features = ['рабочий класс', 'образование', 'семейное положение', 
 'профессия', 'отношения', 'раса', 'пол', 
 'страна происхождения']
 cat_encoder = LeaveOneOutEncoder () 
 cat_encoder.fit (X_train [cat_features], y_train_int) 
 X_train [cat_features] = cat_encoder.transform (X_train [cat_features]) 
 X_val [cat_features] = cat_encoder.transform (X_val [cat_features]) значения
 должны быть как float32 в некоторых точках 
 X_train = X_train.values.astype ('float32') 
 X_val = X_val.values.astype ('float32') 
 y_train = np.array (y_train_int) 
 y_val = np.array (y_val_int) 
 y_val = np.array (y_val_int)
 Теперь у нас есть полностью числовой набор данных.
 Остальной код по сути такой же, как и в репозитории авторов (за исключением части гиперопт).Они создали слой Pytorch под названием DenseBlock, который реализует архитектуру NODE. Класс под названием Trainer содержит информацию об эксперименте, и существует простой цикл обучения, который отслеживает лучшие показатели, наблюдаемые до сих пор, и строит обновленные кривые потерь.
 С минимальными методами проб и ошибок мне удалось найти модель с точностью проверки около 86%. После оптимизации гиперпараметров с помощью hyperopt (которая должна была работать в течение ночи на графическом процессоре в Colab, но на самом деле время ожидания истекло примерно после 40 итераций) лучшая производительность была 87.2%. В других пробегах я достиг 87,4%. Другими словами, NODE действительно превзошел CatBoost, хотя и немного, после настройки Hyperopt.
 Однако точность - это еще не все. Неудобно проводить дорогостоящую оптимизацию для каждого набора данных.
 Кажется, что можно получить немного лучшие результаты (на основе статьи NODE и этого теста; я обязательно попробую много других наборов данных!)
 Намного быстрее
 Меньше необходимости в оптимизации гиперпараметров
 Работает нормально без GPU
 Имеет поддержку категориальных переменных
 Какую из них я бы использовал в своих следующих проектах? Вероятно, CatBoost по-прежнему будет моим основным инструментом, но я буду иметь в виду NODE и, возможно, попробую его на всякий случай ...
 Также важно понимать, что производительность зависит от набора данных и что набор данных о доходе взрослого населения не является репрезентативным для все сценарии.Возможно, что более важно, предварительная обработка категориальных функций, вероятно, довольно важна в NODE. Я вернусь к теме предварительной обработки в одном из следующих постов!
 Скачать AdGuard для Android - бесплатно 
 Adguard - это  бесплатный блокировщик контента для Android  для браузеров Samsung и Яндекс. Он работает так же, как Adguard и Google Chrome Extension, защищая ваши данные и предотвращая появление нежелательной рекламы. Разработчики разработали его специально для использования только в этих браузерах.
 Что такое AdGuard: блокировщик контента для Samsung и Яндекс? 
 Если вы просматривали Интернет или играли в онлайн-игры на своем телефоне, вы знаете, насколько неприятными могут быть всплывающие окна с рекламой. AdGuard: блокировщик контента для браузеров Samsung и Яндекс устраняет это препятствие, обеспечивая приятное взаимодействие с телефоном,  предотвращая кражу данных и вредоносное ПО .
 Основные возможности Adguard: Content Blocker 
 Помимо блокировки рекламы, приложение также предлагает несколько других решений.Хотя некоторые из них более полезны, чем другие, они обеспечивают дополнительную защиту от вредоносной рекламы:
  Список блокировок рекламы:  Содержит существующий список фильтров наиболее распространенных рекламных объявлений для мгновенной блокировки
  Белый список:  У некоторых создателей контента есть веб-сайты, которые сразу идентифицируются как рекламные сайты, но вы можете добавить их в свой белый список, если вы часто посещаете их
  Настроенные фильтры:  Вы можете создавать правила для фильтров, определяющие, какие типы блокировать
  Открытый исходный код:  Приложение полностью прозрачно , и вы можете просмотреть код на GitHub
 Использование батареи 
 Контент с большим объемом ресурсов, в частности видеореклама, имеет тенденцию разряжать аккумулятор вашего телефона больше, чем необходимо.Поскольку Adguard блокирует этот контент с вашего устройства, вы получите  больше времени автономной работы . Конечно, это зависит от того, увеличите ли вы активность на телефоне после того, как исчезнет реклама.
 Защита вашей конфиденциальности 
 Некоторые хакеры создают рекламу для кражи ваших данных и информации или вторгаются в вашу конфиденциальность, шпионя за вашей деятельностью. AdGuard: Content Blocker для Samsung и Yandex предотвращает это, гарантируя, что ваша информация  останется в безопасности от посторонних глаз.
 Наше взятие 
 AdGuard: Content Blocker для Samsung и Яндекс делает больше, чем рекламируется. Он защищает ваши данные и позволяет создавать правила для типов рекламы, которые вы хотите заблокировать, обеспечивая безопасность вашего телефона. Хотя он ограничен определенными браузерами, есть множество инструментов, которыми можно воспользоваться.
 Стоит ли его скачать? 
 Да, если на вашем телефоне Android установлены браузеры Samsung и Яндекс, и вы ненавидите рекламу.