Последнее время в лекциях и рассказах про машинное обучение постоянно приходится повторять: это не рассказ про причуды богатеев, это не из рубрики "их нравы" - это абсолютно доступная бизнесу любого размера или стартапу технология. Но вот совсем красивого кейса, реального примера не хватало. Спасибо @scum_sum за присланную ссылку на историю японского фермера.
Малый семейный бизнес: выращивание огруцов. Необходимость эти огурцы сортировать, поскольку они вырастают разные, и надо одного типа и сорта в один ящик складывать. Это полный рабочий день матери фермера, занятый, скажем прямо, не самым интересным трудом. Конечно, есть индустриальные решения, старинные, традиционные - с фотоэлементами, калиброванными отверстиями, весами и пр.
А есть современный мир: Arduino, Raspberry Pi, Open CV, TensorFlow. Если правильно их скомбинировать, то можно обучить систему классифицировать движущиеся по конвейеру огурцы по их изображениям - и правильно сталкивать их в разные ящики. Видео под названием TensorFlow powered cucumber sorter by Makoto Koike - одно из самых мотивирующих, которые смотрел за долгое время - да и вся заметка с фотографиями хороша.
https://cloud.google.com/blog/big-data/2016/08/how-a-japanese-cucumber-farmer-is-using-deep-learning-and-tensorflow

В Азии дико популярны приложения с фильтрами для автоматического улучшения селфи - в восточной культуре красота лица очень важна, поэтому никто не постит фото без фильтров*. В Китае люди даже покупают отдельные камеры специально для красивых селфи**.

Благодаря Snapchat эта мода частично пробралась на Запад, причем в довольно необычной форме. Бьютификация селфи не стала здесь такой популярной, как в Азии (не тот культурный фон), но проявилась в другом. Если раньше люди приходили к пластическим докторам насмотревшись на идеальные фото в Instagram, то теперь идеалы красоты задают фильтры Snapchat. Люди платят немалые деньги, чтобы стать похожими на свое улучшенное отображение в приложении - с чистой кожей, большими глазами и вытянутым лицом: http://www.huffingtonpost.co.uk/entry/social-media-influencing-plastic-surgery_uk_57bc5803e4b0f78b2b4b9c15
по-русски: https://lenta.ru/articles/2016/09/06/magic_snap/

Увидел эту ссылку в фейсбуке у дизайнера линз Snapchat с комментарием "И вот тут ты понимаешь всю ответственность за свой дизайн". И это, похоже, не шутка - люди действительно потом делают операции, насмотревшись на себя в образе цветочных фей в Snapchat. Удивительно.

* http://motherboard.vice.com/read/selfie-retouching-apps-popular-in-asia-are-moving-into-the-west
** https://telegram.me/brodetsky/222

Что произошло когда я перевёл мою компанию на 5-часовой рабочий день

Совсем недавно российские соцсети с упоением обсуждали новость о том, что Швеция официально переходит на 6-часовой рабочий день. Мнения высказываются разные: кто-то обвиняет шведов в лени, другие же считают идею более короткого рабочего дня прогрессивной, напоминая, что когда-то и 8-часовой день считался немыслимым. Но автор сегодняшнего материала, бизнесмен Стефан Аарстол пошел ещё дальше и ввёл в своей компании 5 рабочих часов: его сотрудники приходят в офис в 8 а уходят уже после обеда в час дня. Каков же результат? Прибыль растёт, производительность труда повысилась, люди довольны а Стефан получает сотни резюме от тех, кто хочет у него работать. То, что начиналось как эксперимент, продемонстрировало свою эффективность в качестве метода мотивации и привело к корневой реорганизации труда. Как всё получилось и с каким трудностями пришлось столкнуться Стефану - читайте в материале, перевод которого публикует @theidealist

"Конечно я шёл на большой риск: мне требовалось, чтобы каждый член моей команды стал в два раза более продуктивным чем средний работник. До этого у нас был довольно высокий уровень продуктивности, и он не изменился. Я сказал сотрудникам, что им придётся придумать, как всё успевать за 5 часов — нам всем придётся это решить вместе. Если кто-то не сможет, то будет уволен. Давление было реальным, однако стимул был очень серьёзным: рабочая неделя моих сотрудников внезапно стала проходить лучше, чем отпуск у многих людей"

https://theidealist.ru/5hourworkday/

#Fastcompany #общество #бизнес #работа

Настя Черникова из Секрета фирмы сделала интервью с техническим директором компании Vocord. Если вы пропустили: алгоритм от Vocord на днях стал лучшим на конкурсе распознавания лиц Megaface. Технологии Vocord используют в ФСБ, МВД, Газпроме и других серьезных компаниях.

Интересное интервью, почитайте.

"У нас есть продукт «Видеоэксперт» для криминалистов, который позволяет из очень плохих фотографий вытаскивать какую-то информацию. Например, распознавать лицо человека в полной темноте. Это востребовано спецслужбами. Недавно нам принесли убитую запись, из которой нужно было вытащить лицо. Мы даже не надеялись, что получится. В итоге достали и оказалось, что в тюрьму посадили невиновного. Его после этого выпустили."

http://secretmag.ru/longread/2016/09/08/aleksej-kadejshvili-vocord/

Масштабный эксперимент по введению безусловного базового дохода в Кении столкнулся с неожиданными трудностями - многие кенийцы отказываются от участия в программе. Это не первая подобная программа организации GiveDirectly, и отказ от участия - обычное дело. Но если в соседних Уганде и Руанде от денег отказываются 4-6% населения, то в некоторых регионах Кении уровень отказа достигает 45%. Бедные кенийцы не верят, что незнакомая организация дает им деньги просто так, и придумывают другие объяснения. Например, распространяют слухи о том, что эти деньги связаны с поклонением дьяволу.

👹

http://www.businessinsider.com/givedirectly-basic-income-experiment-unexpected-trouble-2016-9

Большое эссе о том, как алгоритмы дискриминируют людей при приеме на работу. Много текста, есть спорные места (как верно подметил Лев Манович в ФБ, автор сгущает краски для большей броскости, не стесняясь при этом писать чепуху, например "некоторые алгоритмы были созданы с благими намерениями" - но разве есть алгоритмы, созданные с плохими намерениями?), но в целом довольно интересно.

Для примера отмечу одну интересную мысль из текста. Алгоритмы для подбора людей в команду используют не только при найме в компании, но и в спорте. В НБА при каждой команде работают аналитики, составляющие математические модели игры и подбирающие оптимальный состав команды. Но если в спорте алгоритм имеет обратную связь (послушали алгоритм, обменяли Джонсона в другую команду, а он там стал звездой - значит алгоритм работает неверно, надо его корректировать), то в случае с ненаймом людей на работу система лишена такой обратной связи. Вы не узнаете, что не принятый вами на работу человек добился успеха в другой компании, а значит не сможете откалибровать свой хайринговый алгоритм. А значит, продолжите отказывать потенциально полезным сотрудникам.

Или вот еще интересная цифра: 72% резюме в США никогда не просматривают живые люди - только компьютерные программы.

https://www.theguardian.com/science/2016/sep/01/how-algorithms-rule-our-working-lives

Вообще это фрагмент из новой книги математика и дата саентиста Кэти О'Нил "Weapons of Math Destruction" о том, как неправильно построенные алгоритмы и математические модели вредят людям в самых разных сферах. Подробнее об этом можно почитать в её блоге https://mathbabe.org/ и в твиттере https://twitter.com/mathbabedotorg

Классный текст о том, как рушился карточный домик Элизабет Холмс - основателя скандального стартапа Theranos, оказавшегося пустышкой. История правда удивительная - не имея рабочего продукта (стартап работал над диагностикой рака по капле крови), Холмс удалось получить миллионы инвестиций и сделать свой стартап одним из самых загадочных и обсуждаемых в Кремниевой долине. Theranos оценивали в $9 млрд, а состояние самой Холмс - в $4 млрд. При этом в самой компании соблюдалась атмосфера строгой секретности, так что одни сотрудники не знали, чем занимаются другие, а общая картина была только у самой Холмс - даже сами сотрудники не знал, что их компания торгует воздухом. В центре повествования, конечно, фигура самой Холмс - волевой и целеустремленной молодой женщины с нездоровым культом Джобса. Сюжет закручен драматично, есть там и трагическая смерть - технического руководителя проекта, который в некотором роде стал на пути Холмс. Но главное впечатление от текста - это, конечно, удивление от того, как Холмс удавалось так долго водить за нос стольких людей - инвесторов, СМИ, регуляторов, и даже собственных сотрудников. Взлет и падение Theranos - один из самых интересных сюжетов из мира технологичного бизнеса последних лет. Почитайте обязательно.

http://www.vanityfair.com/news/2016/09/elizabeth-holmes-theranos-exclusive.

Хороший текст - длинный, но понятно написанный - о сложностях, связанных с непрозрачностью алгоритмов машинного обучения.

Никто не знает, как именно работают нейросети. А значит, никто не может сказать, когда они сработают неправильно.

Некоторые бизнесы отказываются от решений, основанных на нейросетях, в пользу других решений - менее эффективных, но зато с понятной схемой работы.

В попытке понять, как работают нейросети, разработчики и исследователи пытаются "заглянуть" в них, понять, как они "видят" входные данные - и это, пожалуй, самая интересная часть текста.

Автор заключает: возможно, глубинные сети окажутся такими же сложными для понимания, как и жизнь.

Там больше и интереснее, чем я здесь пересказал тремя предложениями, если интересуетесь темой - почитайте обязательно:
http://nautil.us/issue/40/learning/is-artificial-intelligence-permanently-inscrutable
перевод: https://geektimes.ru/post/280488/

#whatsapp
Забавный кейс. Два студента из Индии подают в суд на ФБ из-за изменений в политике конфиденциальости с формулировкой:
«у большинства индийцев нет достаточного образования и подготовки, чтобы прочитать или понять последствия изменения политики конфиденциальности».

Интересный может выйти прецедент.

http://www.bloomberg.com/news/articles/2016-09-20/facebook-faces-indian-court-challenge-on-whatsapp-privacy-policy

Одна из важных проблем машинного обучения состоит в том, что такие алгоритмы легко подвергаются искажениям, иногда - неочевидным. Обучите алгоритм на некорректно сбалансированном наборе данных - и он легко станет расистом, сексистом, или же просто будет выдавать искаженные данные.

В компании Spare5 провели небольшой эксперимент, показывающий, что при настройке алгоритмов машинного обучения есть еще один важный фактор - это размеченные вручную данные, которые алгоритму дают как ориентир при обучении ("ground truth") . Когда женщин и мужчин попросили оценить милых щенков по 5-балльной шкале, женщины в среднем оценивали их выше на 0.16 баллов. Даже на такой простой задаче в данных проявляется гендерное искажение. А теперь представьте, сколько подобных факторов нужно учитывать разработчикам алгоритмов, чтобы минимизировать все возможные искажения.

https://techcrunch.com/2016/09/11/a-cautionary-tale-about-humans-creating-biased-ai-models/

О расизме юридических алгоритмов в США: https://telegram.me/brodetsky/379

О сложностях, связанных с непрозрачностью алгоритмов машинного обучения: https://telegram.me/brodetsky/510

В 2016 году даже хадж должен быть технологичным. И если селфи, инстаграмы и снэпчаты верующих людей уже давно никого не удивляют, то некоторым инновациям мусульман можно только позавидовать. В этом году все посетители хаджа получили специальные электронные браслеты с GPS и личными данными паломника. В прошлом году от давки погибли 800 паломников, и теперь власти Саудовской Аравии решили обезопасить людей таким высокотехнологичным способом. Кроме того, для паломников выпустили специальные мобильные приложения с картой, важными контактами, чеклистом паломника и другими полезными фичами.

Каждый раз удивляюсь, читая новости про такое проникновение технологий в религию, хотя пора уже перестать удивляться.

http://www.bloomberg.com/news/articles/2016-09-08/how-selfies-and-wearables-are-transforming-hajj

Как калифорнийские церкви принимают пожертвования через смартфоны: https://telegram.me/brodetsky/212

Как религии используют технологии в собственных нуждах: https://telegram.me/brodetsky/238

Очередная пугающая новость про нейросети и распознавание лиц. Специалисты по машинному обучению из США с помощью опенсорсных библиотек и данных (и это пугает) создали алгоритм, способный узнавать людей на заблюренных и пикселизированных фото. После использования стандартного инструмента для размывания лиц от YouTube алгоритм узнал людей в 57% случаев, а c пяти раз и вовсе в 85% случаев. На некоторых наборах данных процент узнавания достигал 80-90%. Причем алгоритм умеет узнавать не только лица, но и рукописный текст. Идентифицировать незнакомых людей алгоритм не может - он узнаёт только лица, которые уже видел и знает.

Скоро благодаря таким технологиям нам придётся переосмыслить понятие "скрывания" личной графической информации с помощью искажений: блюр и пикселизация уже не справляются с этой задачей.

https://www.wired.com/2016/09/machine-learning-can-identify-pixelated-faces-researchers-show/ (здесь подробнее)

http://qz.com/779625/none-of-your-pixelated-or-blurred-information-will-stay-safe-on-the-internet/ (здесь проще)

Кажется, что-то похожее есть у российской компании Vocord, которая недавно выиграла конкурс алгоритмов распознавания лиц: https://telegram.me/brodetsky/495

Люблю новости про предиктивную полицию, люблю исследования социальных медиа. Здесь комбо: ученые из Кардиффа будут три года анализировать данные из соцсетей лос-анжелесцев и пробовать прогнозировать преступления на почве ненависти.

http://www.latimes.com/local/lanow/la-me-ln-predicting-hate-crimes-20160922-snap-story.html

В апреле Economist писал, что израильские спецслужбы успешно используют анализ соцсетей для выявления потенциальных террористов из Палестины. Израильские спецслужбы подробно анализировали профили молодых террористов в Facebook и Twitter, таким образом определив признаки потенциального террориста в соцсетях: территориальные претензии к Израилю, критика палестинских властей, причисление себя к "потерянному поколению", наличие погибших от рук Израиля близких, личные и социальные проблемы. Молодых палестинцев, которых алгоритм посчитал подозрительными, посещали представители израильских спецслужб и сообщали, что подозреваемый и его семья теперь находятся под наблюдением. Таким образом, пишет Economist, Израилю удалось избежать нескольких реальных терактов.

http://www.economist.com/news/middle-east-and-africa/21697083-new-paradigm-intelligence-israel-using-social-media-prevent-terrorist

Как российские компании используют анализ соцсетей для выявления потенциальных сторонников ИГ: https://telegram.me/brodetsky/298

Основатель Bigpicture Сергей Барышников рассказывает о том, как смог благодаря созданию сайта избавиться от долга в 2 миллиона долларов. Очень искренний материал. Почитайте: https://goo.gl/Ngq1pi

Забавная история от редактора Buzzfeed Чарли Уорзела. Ради эксперимента он несколько недель следовал всем подсказкам Facebook: подписывался на страницы, вступал в группы, отправлял заявки друзьям, отмечал все праздники, постил автоматически сгенерированные слайдшоу из фотографий и так далее. Естественно, выглядело всё это максимально глупо, если не сказать по-идиотски. Картину абсурда довершает эпизод, когда автору пришлось создать событие - вечеринку ко дню рождения его знакомого, с которым он виделся всего дважды в жизни.

Вывод простой и очевидный: Facebook нужно побольше действий и взаимодействий между пользователями, потому что взаимодействия - это данные о пользователях, а данные - это деньги. И ради этих денег компания заставляет своих пользователей вести себя как полных идиотов.

https://www.buzzfeed.com/charliewarzel/i-let-facebooks-algorithms-run-my-life-for-weeks

Вспомнился похожий эксперимент, когда журналист Wired два дня лайкал в ленте Facebook буквально всё подряд; вполне ожидаемо его лента превратилась в бездну ада.

https://www.wired.com/2014/08/i-liked-everything-i-saw-on-facebook-for-two-days-heres-what-it-did-to-me/

Wall Street Journal пишет о китайском феномене видеостримеров, точнее об их заработках.

Видеостримеры - молодые люди, которые часами общаются со своими фанатами через сервисы для трансляций: поют, дурачатся, разыгрывают сценки.

В Китае более 200 платформ для видеостриминга. Общая оценка рынка - $1,3 млрд. Стримы смотрит половина китайского интернета.

С помощью встроенной системы доната и виртуальных подарков успешные блогеры зарабатывают тысячи долларов. Самые успешные могут заработать миллион юаней в месяц - это $160 000.

Стримы ведут звезды спорта (популярный пинг-понгист во время одного стрима положил сервер - его смотрели слишком много людей) и даже военные. В одном колледже ввели учебный курс видеостриминга. Власти пробуют регулировать стримы: они просят стримеров не материться под угрозой блокировки.

Самый интересный вопрос: зачем люди это смотрят и зачем тратят на это деньги?

Two main reasons for the popularity of live streaming are boredom and loneliness, said Mr. Gu Feng, former manager of entertainment platform YY. Fans “pay internet celebrities to talk to them”, he said.

http://www.wsj.com/articles/chinas-internet-stream-queens-are-being-showered-with-cash-1474970694
по-русски: http://apparat.cc/news/china-stream-cash/

Ранее СМИ писали о рекордном контракте популярной видеоблогерши Папи Джианг - она продала рекламу косметики в своем видео за $3,4 млн https://telegram.me/brodetsky/338

Все ждал что про это как-то внятно напишут в русской прессе и не дождался. Фейсбук, Амазон, Гугл, Твиттер, IBM и Майкрософт решили объединиться и начать собирать исследования и общие практики для искусственного интеллекта. Что это cкорее всего значит на самом деле: централизованный банк, куда каждый игрок будет вносить свой кусок данных, позволяющий еще больше знать как о каждом человеке по отдельности, так и массах людей. В современном AI вторичны, а первичны данные и приемы по работе с ними.

Еще больше меня в моей теории убеждает тот факт, что Эппл (единственные, кто публично сообщают о заботе о прайвеси последние годы) в эту игру не играет и отделались общими словами "молодцы ребята". Короче не знаю как вы, а я уже начал бояться. https://techcrunch.com/2016/09/28/facebook-amazon-google-ibm-and-microsoft-come-together-to-create-historic-partnership-on-ai/

Идея для стартапа: нанять литературных негров за копейки, накрутить написанным ими книгам рейтинг с помощью ботов на Amazon, и стать миллионером.
3 миллиона долларов за 2 года на фейковых книгах.

PS. А вы говорите, журналистика...
http://apparat.cc/news/catfishing-amazon/

Вот очень интересное исследование: учёные научились делать реверс ижиниринг закрытых алгоритмов ИИ, то есть буквально воровать сложные алгоритмы из "чёрного ящика". Звучит сложно, сейчас объясню.

Есть закрытый алгоритм ИИ, которым можно пользоваться за деньги. Допустим, он распознаёт цифры в рукописном тексте и выдает ответ в формате "С достоверностью 0.65 это цифра 3". Вы покупаете доступ к алгоритму через API, скармливаете ему свой набор данных, а потом начинаете показывать данные по одному, записывать его ответы и искать в них закономерности с помощью машинного обучения. Оказалось, что всего после 650 ответов этот закрытый алгоритм можно практически полностью скопировать.

На Quartz эту схему хорошо объясняют с помощью аналогии. Обращение к API машинного обучения можно сравнить с перепиской с другом о моде. Вы спрашиваете: "Эта рубашка подходит к этим штанам?", ваш друг отвечает: "Да, на 100%", и так далее. Получив нескольких тысяч таких ответов, вы сможете обнаружить в ответах вашего друга закономерности - как он оценивает комбинации рубашек с брюками, любит ли шарфы, сколько цветов сразу считает нормальным надеть. Вы сможете полностью смоделировать модные предпочтения вашего друга. Аналогично можно скопировать алгоритмы ИИ, обращаясь к ним тысячи раз и находя в их ответах закономерности с помощью машинного обучения.

Угон закрытого алгоритма из "черного ящика" - звучит вообще круто, реально по киберпанку.

https://www.wired.com/2016/09/how-to-steal-an-ai/

Поотнимаю-ка я хлеб у канала @thedailyprophet. Вот не новый, но весьма нашумевший текст из журнала New York — известный политблоггер Эндрю Салливан выступил с развернутым полотном о том, как гаджеты и постоянная к ним подключенность испортили жизнь ему (и всем нам). Тема не нова, но тут важны две вещи: Салливан — вполне величина, правоконсервативный колумнист, прошедший через все большие редакции, от The New York Times до The Daily Beast; тэтчерист-рейганист, активнейший сторонник войны в Ираке и вместе с тем открытый гей и защитник прав ЛГБТ. Ну и во-вторых, тут довольно ловко заплетены все сегодняшние страхи, касающиеся гаджетов; проницательный читатель нет-нет да и вздрогнет — это же про меня. Семейный обед, где каждый уткнулся в свой телефон и оказадся где-то "не здесь", постоянный зуд, заставляющий тебя лезть в карман за айфоном, проверить, не пришли ли новые уведомления, нервическое желание отметиться комментарием или лайком в популярном треде — а ну как забудут, что ты есть. Айфон подсаживает тебя на микроинъекции допамина, который выбрасывается в кровь при каждом обновлении ленты, айфон сводит общение к перебрасыванию эмоджи, а флирт — к перелистыванию тиндера, айфон заставляет постоянно заниматься недо-делами, которые никогда невозможно закончить, и которые не приносят радости. Айфон, в конце концов, лишает нас тишины и сосредоточения — ради которых люди веками придумывали храмы, медитации, шаббат и еще сто тысяч ухищрений, без которых мы буквально теряем себя. В общем, впечатляющий текст; хочется тут же выбросить айфон в окно — но вместо этого ты сразу же лезешь гуглить Салливана, читаешь полдюжины его интервью, перелистываешь его твиттер (он вполне активен) и проводишь в сети еще больше времени, чем провел бы без этого текста. Впрочем, и сам Салливан пишет, что интернет-аддикция — это болезнь, от которой он сам не в состоянии избавиться; проблема в том, что большинство пользователей вовсе не считают, будто что-то пошло не так, а ведь отойти на шаг в сторону и посмотреть на себя, уткнувшегося в айфон, было бы как минимум не вредно. http://nymag.com/selectall/2016/09/andrew-sullivan-technology-almost-killed-me.html