Мы уже довольно давно занимаемся оценкой релевантности и качества поиска. Даже сделали отдельную страничку на нашем сайте.
Оценка качества поиска - это очень интересная задача. Благодаря собираемым оценкам поисковые движки учатся подбирать наиболее релевантную поисковую выдачу под каждый запрос пользователя. Таким образом все подходящие ссылки/документы оказываются сверху страницы, а неподходящие на страницу не попадают.
Если вы хотите более детально разобраться в принципах работы, советую посмотреть курс от МФТИ на Coursera.
В вебинаре "Crowdsourcing с механической поддержкой” Игорь Кураленок (руководитель Yandex.Cloud ML) рассказывал что раньше для оценки качества поиска Яндекс использовал внутренних асессоров и им для работы приходилось изучать инструкцию из более чем 100 страниц. Сейчас же Яндекс довольно много оценок собирает с помощью краудсорсинга, чем сильно упростил и отмаштабировал процесс получения новых данных. А вы пробовали выполнять в Толоке задания от Я.Массалия и Я.Юпитер?
Почему я решил рассказать вам об этом?
Недавно я наткнулся на инструкцию для асессоров из Google. Прикрепляю ее, чтобы вы могли оценить масштаб и сложность задачи. Инструкция состоит из 175 страниц, а чтобы получить работу, необходимо пройти 4 уровня отбора.
Забавно, что для такой работы до сих пор нанимают в штат людей по всему миру, платят по 5-23 доллара за час, хотя эту же задачу можно было решить быстрее, дешевле и качественнее с помощью краудсорсинга.
Оценка качества поиска - это очень интересная задача. Благодаря собираемым оценкам поисковые движки учатся подбирать наиболее релевантную поисковую выдачу под каждый запрос пользователя. Таким образом все подходящие ссылки/документы оказываются сверху страницы, а неподходящие на страницу не попадают.
Если вы хотите более детально разобраться в принципах работы, советую посмотреть курс от МФТИ на Coursera.
В вебинаре "Crowdsourcing с механической поддержкой” Игорь Кураленок (руководитель Yandex.Cloud ML) рассказывал что раньше для оценки качества поиска Яндекс использовал внутренних асессоров и им для работы приходилось изучать инструкцию из более чем 100 страниц. Сейчас же Яндекс довольно много оценок собирает с помощью краудсорсинга, чем сильно упростил и отмаштабировал процесс получения новых данных. А вы пробовали выполнять в Толоке задания от Я.Массалия и Я.Юпитер?
Почему я решил рассказать вам об этом?
Недавно я наткнулся на инструкцию для асессоров из Google. Прикрепляю ее, чтобы вы могли оценить масштаб и сложность задачи. Инструкция состоит из 175 страниц, а чтобы получить работу, необходимо пройти 4 уровня отбора.
Забавно, что для такой работы до сих пор нанимают в штат людей по всему миру, платят по 5-23 доллара за час, хотя эту же задачу можно было решить быстрее, дешевле и качественнее с помощью краудсорсинга.
Уже больше года я общаюсь с людьми из Random Coffee. Узнаю у них что-то новое, рассказываю про себя.
И довольно часто от них слышу один и тот же вопрос:
Вот вы размечаете данные, чтобы обучать нейронные сети. А что вы будете делать, когда все нейронные сети будут обучены?
Большинство людей уверены, что скоро человечество создаст нейронные сети под любые задачи и разметчики больше будут не нужны.
Отчасти они правы. Я уже четвертый год занимаюсь разметкой данных и вижу как меняется рынок.
Да, нейронные сети с каждым годом решают все больше задач. И если несколько лет назад у нас заказывали простую разметку для задач Face Detection, License Plate Recognition, то сейчас разметку для таких задач практически не заказывают, так как уже есть множество хорошо работающих решений. Зачем самому обучать нейронную сеть находить лица людей, если можно купить LUNA SDK?
При этом область AI активно развивается. Но чем же ученые занимаются сейчас?
Ученые перешли на более сложные задачи, которые раньше не могли решить.
Как вы можете узнать из рассказа Ольги Мегорской, AI сейчас держится на трех китах:
1. Алгоритмы
2. Вычислительные мощности
3. Данные
За последние несколько лет алгоритмы продвинулись далеко вперед, появились BERTы, трансформеры, дипфейки. Развитие вычислительных мощностей тоже не стояло на месте. Если раньше для обучения ResNet требовалось более 1000 видеокарт и несколько месяцев, то теперь любой может обучить ResNet за 40$ и 18 минут.
А что же с данным? Тренды интересные)
Для обучения более сложных алгоритмов теперь нужно еще больше данных.
Например, BERT обучали на корпусе, состоящим из более 3х миллиардов слов. А для обучения ASR наша команда транскрибировала более 30 000 часов аудио, потратив на это более 120 000 человеко-часов.
При этом и сама разметка стала еще сложнее.
Все чаще приходится размечать данные высококвалифицированными специалистами. У нас в штате уже более 20 врачей размечают опухоли головного мозга на МРТ, детектируют пораженные участки легких на КТ, классифицируют больные зубы на рентгеновских снимках.
А недавно мы начали размечать данные с лидаров (лидары - это такие приборы, похожие на локаторы, благодаря которым беспилотные автомобили могут видеть объекты вокруг себя).
Так что разметчики еще не скоро останутся без работы.
И довольно часто от них слышу один и тот же вопрос:
Вот вы размечаете данные, чтобы обучать нейронные сети. А что вы будете делать, когда все нейронные сети будут обучены?
Большинство людей уверены, что скоро человечество создаст нейронные сети под любые задачи и разметчики больше будут не нужны.
Отчасти они правы. Я уже четвертый год занимаюсь разметкой данных и вижу как меняется рынок.
Да, нейронные сети с каждым годом решают все больше задач. И если несколько лет назад у нас заказывали простую разметку для задач Face Detection, License Plate Recognition, то сейчас разметку для таких задач практически не заказывают, так как уже есть множество хорошо работающих решений. Зачем самому обучать нейронную сеть находить лица людей, если можно купить LUNA SDK?
При этом область AI активно развивается. Но чем же ученые занимаются сейчас?
Ученые перешли на более сложные задачи, которые раньше не могли решить.
Как вы можете узнать из рассказа Ольги Мегорской, AI сейчас держится на трех китах:
1. Алгоритмы
2. Вычислительные мощности
3. Данные
За последние несколько лет алгоритмы продвинулись далеко вперед, появились BERTы, трансформеры, дипфейки. Развитие вычислительных мощностей тоже не стояло на месте. Если раньше для обучения ResNet требовалось более 1000 видеокарт и несколько месяцев, то теперь любой может обучить ResNet за 40$ и 18 минут.
А что же с данным? Тренды интересные)
Для обучения более сложных алгоритмов теперь нужно еще больше данных.
Например, BERT обучали на корпусе, состоящим из более 3х миллиардов слов. А для обучения ASR наша команда транскрибировала более 30 000 часов аудио, потратив на это более 120 000 человеко-часов.
При этом и сама разметка стала еще сложнее.
Все чаще приходится размечать данные высококвалифицированными специалистами. У нас в штате уже более 20 врачей размечают опухоли головного мозга на МРТ, детектируют пораженные участки легких на КТ, классифицируют больные зубы на рентгеновских снимках.
А недавно мы начали размечать данные с лидаров (лидары - это такие приборы, похожие на локаторы, благодаря которым беспилотные автомобили могут видеть объекты вокруг себя).
Так что разметчики еще не скоро останутся без работы.
Перевел статью "How to Organize Data Labeling for Machine Learning: Approaches and Tools” и выложил на хабр. Статья состоит из двух частей: “Методологии разметки" и “Инструменты для разметки”. Эту статью я прочитал еще в 2018 году, и именно она меня вдохновила перейти из ML в разметку.
К сожалению, за 3 года большинство описанных в статье инструментов устарели. При этом методологии разметки на мой взгляд до сих пор не утратили актуальность. Так что всем интересующимся рекомендую к прочтению)
Ссылка на перевод: https://habr.com/ru/post/572508/
К сожалению, за 3 года большинство описанных в статье инструментов устарели. При этом методологии разметки на мой взгляд до сих пор не утратили актуальность. Так что всем интересующимся рекомендую к прочтению)
Ссылка на перевод: https://habr.com/ru/post/572508/
Всем привет!
Давно не писал в ТГ канале. Причина проста: работы очень много и не доходят руки рассказать вам о чем-то интересном. А за последние 2 месяца много чего произошло, уж поверьте)
А раз работы много, то мы расширяем команду TrainingData.ru!
Итак, ищу человека, который будет моей правой рукой и будет помогать настраивать, мониторить и оптимизировать проекты в Толоке.
Если вы хотите стать крутым Crowd Solutions Architect, то это отличная возможность прокачать свои навыки. Каждый месяц мы запускаем десятки новых проектов на тысячи долларов в Толоке и создаем нетривиальные пайплайны по разметке данных.
Условия: 20 часов в неделю, гибкий график, удаленная работа. Можно без проблем совмещать с учебой/основной работой.
Зарплата: от 40к руб в месяц за part-time.
Заинтересовались? Пишите в ЛС @roman_kucev
P.S. Репост приветствуется
Давно не писал в ТГ канале. Причина проста: работы очень много и не доходят руки рассказать вам о чем-то интересном. А за последние 2 месяца много чего произошло, уж поверьте)
А раз работы много, то мы расширяем команду TrainingData.ru!
Итак, ищу человека, который будет моей правой рукой и будет помогать настраивать, мониторить и оптимизировать проекты в Толоке.
Если вы хотите стать крутым Crowd Solutions Architect, то это отличная возможность прокачать свои навыки. Каждый месяц мы запускаем десятки новых проектов на тысячи долларов в Толоке и создаем нетривиальные пайплайны по разметке данных.
Условия: 20 часов в неделю, гибкий график, удаленная работа. Можно без проблем совмещать с учебой/основной работой.
Зарплата: от 40к руб в месяц за part-time.
Заинтересовались? Пишите в ЛС @roman_kucev
P.S. Репост приветствуется
Недавно общался со своим другом Ринатом, который работает в Boston Consulting. Разговор зашел о трендах в разметке и куда движется отрасль. Вместе пришли к выводу, что индустрия разметки данных в 2021 очень похожа на индустрию колл-центров в 2000-х годах.
А что же было с колл-центрами 20 лет назад?
Бизнес только зарождался, процессы были не оптимальны, автоматизации практически не было. Но был дикий спрос на эти услуги! Каждая фирма, каждый магазин, банк имел свой внутренний колл-центр, в котором сотни людей 24/7 отвечали на входящие звонки.
Что же происходит с колл-центрами сейчас?
Забавно, но пару лет назад я работал в Тинькофф и занимался задачами по оптимизации процессов в колл-центре. И что я могу точно сказать: колл-центры медленно умирают.
И главная причина этому: автоматизация. Людей просто заменили. Заменили на машин. Машинам не нужно платить зарплату, машины не берут больничный, отпуск, они работают 24 на 7. В отличии от людей.
Голосовые помощники, роботы, чат-боты стали обыденностью. Они уже без проблем решают простые вопросы (которых процентов 80), а на оставшиеся 20% сложнейших робот переводит на оператора.
Таким образом, бизнесу удается уменьшить штат операторов в несколько раз. И если раньше компаниям нужно было 20-30 операторов колл-центов, то сейчас достаточно 3-4 человек и подписки на NLab или Twin.
То же самое ждет и разметку данных.
Благодаря автоматизации получится повысить производительность разметчиков в десятки раз. Всю простую разметку будет делать машина, а задача человека - проверять за машиной и размечать сложные кейсы.
И самое интересно, что эра автоматизации уже наступила.
На этих выходных я обнаружил офигенный стартап Hasty.ai.
Идея стартапа максимально проста - упростить и ускорить разметку.
Фича, которая мне больше всего понравилась: после разметки 30 картинок, на них моментально обучается нейронка и все следующие картинки размечает уже она, а ты просто сидишь и проверяешь за ней.
Я попробовал уже разметить пару своих проектов и технология на них себя просто офигенно показала.
У Hasty.ai есть два наглядных демо. Если вы хотите увидеть как будет происходить разметка 90% данных через пару лет, рекомендую зарегистрироваться в Hasty.ai и с ними ознакомиться.
А как вы думаете, что ждет область разметки данных через пару лет?
А что же было с колл-центрами 20 лет назад?
Бизнес только зарождался, процессы были не оптимальны, автоматизации практически не было. Но был дикий спрос на эти услуги! Каждая фирма, каждый магазин, банк имел свой внутренний колл-центр, в котором сотни людей 24/7 отвечали на входящие звонки.
Что же происходит с колл-центрами сейчас?
Забавно, но пару лет назад я работал в Тинькофф и занимался задачами по оптимизации процессов в колл-центре. И что я могу точно сказать: колл-центры медленно умирают.
И главная причина этому: автоматизация. Людей просто заменили. Заменили на машин. Машинам не нужно платить зарплату, машины не берут больничный, отпуск, они работают 24 на 7. В отличии от людей.
Голосовые помощники, роботы, чат-боты стали обыденностью. Они уже без проблем решают простые вопросы (которых процентов 80), а на оставшиеся 20% сложнейших робот переводит на оператора.
Таким образом, бизнесу удается уменьшить штат операторов в несколько раз. И если раньше компаниям нужно было 20-30 операторов колл-центов, то сейчас достаточно 3-4 человек и подписки на NLab или Twin.
То же самое ждет и разметку данных.
Благодаря автоматизации получится повысить производительность разметчиков в десятки раз. Всю простую разметку будет делать машина, а задача человека - проверять за машиной и размечать сложные кейсы.
И самое интересно, что эра автоматизации уже наступила.
На этих выходных я обнаружил офигенный стартап Hasty.ai.
Идея стартапа максимально проста - упростить и ускорить разметку.
Фича, которая мне больше всего понравилась: после разметки 30 картинок, на них моментально обучается нейронка и все следующие картинки размечает уже она, а ты просто сидишь и проверяешь за ней.
Я попробовал уже разметить пару своих проектов и технология на них себя просто офигенно показала.
У Hasty.ai есть два наглядных демо. Если вы хотите увидеть как будет происходить разметка 90% данных через пару лет, рекомендую зарегистрироваться в Hasty.ai и с ними ознакомиться.
А как вы думаете, что ждет область разметки данных через пару лет?
👍2
Небольшой камень в сторону Толоки.
Я являюсь сооснователем компании TrainingData.Solutions
Мы занимаемся сбором и разметкой данных для обучения ML.
Обычно мы размечаем данные двумя способами:
1. Внутренним штатом исполнителей
2. Через краудсорсинг, а именно через Толоку
Перед каждым проектом мы выбираем, каким способом его оптимально решить: inhouse или через краудсорсинг.
Inhouse команда в основном используется, когда нужно работать с NDA данными, либо когда для разметки требуются узкоспециализированные специалисты, например, врачи онкологи.
Краудсорсинг отлично заходит, когда необходимо что-то сделать очень быстро, или массово. Через Толоку мы проводим UX исследования, оценку качества поиска, антиспуфинг атаки, простую детекцию, сегментацию, транскрибацию, сбор данных.
Мы работаем официально, у нас в РФ зарегистрирована ООО на УСН, внутренние разметчики устроены по договору как самозанятые. В Толоке мы зарегистрированы как юр лицо из РФ.
И тут возникает довольно остро вопрос налогообложения.
Предположим у нас есть Вася, который работает у нас как самозанятый и толокер Петя. И каждому мы хотим выплатить на руки 100 руб.
Чтобы заплатить Васе 100 руб, нам нужно 106.38 руб (100 Васе и 6% налог на самозанятого).
С Петей все интереснее. Чтобы Петя получил 100 руб, мы должны заплатить 130 руб Яндексу (комиссия 30%). Но это не финальные траты. Так как договор у нас с российским Яндексом, то по закону мы сверх всей суммы должны платить НДС 20%. Таким образом, чтобы заплатить Пете 100 руб, мы должны потратить 152 руб. При этом Толока сама пытается перевести всех исполнителей из РФ на самозанятость и Петя получит 94 руб.
В таком случае Вася получит 94% от суммы, которую мы потратили, а Петя 61%.
Если, вдруг, Яндекс сделает комиссию 50%, то Петя уже получит 52%
Мои подписчики, у меня к вам вопрос: какие есть лазейки с этим НДС? Может ли РФ компания заключиться на прямую с иностранным Яндексом? Есть ли фирмы посредники из-за границы?
Сейчас из-за этого НДС появляется дискриминация заказчиков из РФ (физлиц и юр лиц на УСН), для них услуги выходят на 20% дороже, чем для иностранных заказчиков.
Я являюсь сооснователем компании TrainingData.Solutions
Мы занимаемся сбором и разметкой данных для обучения ML.
Обычно мы размечаем данные двумя способами:
1. Внутренним штатом исполнителей
2. Через краудсорсинг, а именно через Толоку
Перед каждым проектом мы выбираем, каким способом его оптимально решить: inhouse или через краудсорсинг.
Inhouse команда в основном используется, когда нужно работать с NDA данными, либо когда для разметки требуются узкоспециализированные специалисты, например, врачи онкологи.
Краудсорсинг отлично заходит, когда необходимо что-то сделать очень быстро, или массово. Через Толоку мы проводим UX исследования, оценку качества поиска, антиспуфинг атаки, простую детекцию, сегментацию, транскрибацию, сбор данных.
Мы работаем официально, у нас в РФ зарегистрирована ООО на УСН, внутренние разметчики устроены по договору как самозанятые. В Толоке мы зарегистрированы как юр лицо из РФ.
И тут возникает довольно остро вопрос налогообложения.
Предположим у нас есть Вася, который работает у нас как самозанятый и толокер Петя. И каждому мы хотим выплатить на руки 100 руб.
Чтобы заплатить Васе 100 руб, нам нужно 106.38 руб (100 Васе и 6% налог на самозанятого).
С Петей все интереснее. Чтобы Петя получил 100 руб, мы должны заплатить 130 руб Яндексу (комиссия 30%). Но это не финальные траты. Так как договор у нас с российским Яндексом, то по закону мы сверх всей суммы должны платить НДС 20%. Таким образом, чтобы заплатить Пете 100 руб, мы должны потратить 152 руб. При этом Толока сама пытается перевести всех исполнителей из РФ на самозанятость и Петя получит 94 руб.
В таком случае Вася получит 94% от суммы, которую мы потратили, а Петя 61%.
Если, вдруг, Яндекс сделает комиссию 50%, то Петя уже получит 52%
Мои подписчики, у меня к вам вопрос: какие есть лазейки с этим НДС? Может ли РФ компания заключиться на прямую с иностранным Яндексом? Есть ли фирмы посредники из-за границы?
Сейчас из-за этого НДС появляется дискриминация заказчиков из РФ (физлиц и юр лиц на УСН), для них услуги выходят на 20% дороже, чем для иностранных заказчиков.
Посмотрел сегодня Tesla AI Day.
https://youtu.be/j0z4FweCy4M
Больше всего впечатлил блок про
1:24:35 - Manual Labeling
1:28:11 - Auto Labeling
Интересные факты:
• Тесла имеет внутренний штат разметчиков из 1000+ человек и собственную инфраструктуру для разметки данных
• Тесла перешла от 2D разметки к 4D, что позволило ускорить разметку в 100 раз
• Тесла использует синтетические данные для обучения своих моделей
• По реальным данным Тесла научилась генерировать виртуальный мир
Как мне кажется, Тесла сейчас на передовой IT индустрии, и мне было интересно узнать какие фишки и идеи они внедряют)
https://youtu.be/j0z4FweCy4M
Больше всего впечатлил блок про
1:24:35 - Manual Labeling
1:28:11 - Auto Labeling
Интересные факты:
• Тесла имеет внутренний штат разметчиков из 1000+ человек и собственную инфраструктуру для разметки данных
• Тесла перешла от 2D разметки к 4D, что позволило ускорить разметку в 100 раз
• Тесла использует синтетические данные для обучения своих моделей
• По реальным данным Тесла научилась генерировать виртуальный мир
Как мне кажется, Тесла сейчас на передовой IT индустрии, и мне было интересно узнать какие фишки и идеи они внедряют)
YouTube
Tesla AI Day 2021
Join us to build the future of AI → https://www.tesla.com/ai
0:00 - Pre-event
46:54 - AI Day Begins
48:44 - Tesla Vision
1:13:12 - Planning and Control
1:24:35 - Manual Labeling
1:28:11 - Auto Labeling
1:35:15 - Simulation
1:42:10 - Hardware Integration …
0:00 - Pre-event
46:54 - AI Day Begins
48:44 - Tesla Vision
1:13:12 - Planning and Control
1:24:35 - Manual Labeling
1:28:11 - Auto Labeling
1:35:15 - Simulation
1:42:10 - Hardware Integration …
👍1
Всем привет! Ровно через час буду выступать на онлайн конференции DataStart c докладом
"Методы оптимизации процесса разметки для обучения нейронных сетей”
Расскажу:
• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных
Регистрация на конференцию бесплатная. Кому интересно присоединяйтесь 😉
P.S Записи не будет, но материал моего доклада на 80% пересекается с материалом, который я читаю в ШАДе и ВШЭ, вот ссылка на него: https://youtu.be/mUI-I74_ydU
"Методы оптимизации процесса разметки для обучения нейронных сетей”
Расскажу:
• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных
Регистрация на конференцию бесплатная. Кому интересно присоединяйтесь 😉
P.S Записи не будет, но материал моего доклада на 80% пересекается с материалом, который я читаю в ШАДе и ВШЭ, вот ссылка на него: https://youtu.be/mUI-I74_ydU
👍1
Выложил перевод статьи про концепцию Human-in-the-Loop. На мой взгляд статья довольно толковая, на пальцах объясняет плюсы данного подхода и отличия от модели Waterfall.
https://habr.com/ru/post/596353/
А вы используете Human-in-the-Loop для своих задач? Как организуете процесс?
В рамках курса "Сбор и обработка данных с помощью краудсорсинга" мы рассказали студентам ВШЭ и ШАДа, как внедрять HITL, а также сделали интересную домашку. Если вам тоже интересно ознакомиться, вот ссылка: github.com/Kucev/human_in_the_loop_task
https://habr.com/ru/post/596353/
А вы используете Human-in-the-Loop для своих задач? Как организуете процесс?
В рамках курса "Сбор и обработка данных с помощью краудсорсинга" мы рассказали студентам ВШЭ и ШАДа, как внедрять HITL, а также сделали интересную домашку. Если вам тоже интересно ознакомиться, вот ссылка: github.com/Kucev/human_in_the_loop_task
Хабр
Методика машинного обучения Human-in-the-Loop
Human-in-the-loop AI — это технология автоматизации, устраняющая многие проблемы разработки и внедрения машинного обучения. Большинство проектов создания ИИ завершается провалом. 80% никогда не...
Итак, наш 2021 год подходит к концу. Количество подписчиков за год выросло в 7 раз. Мне очень приятно, что вы подписываетесь, комментируете и обсуждаете мои посты. Это значит, что я рассказываю о чем-то интересном и полезном для вас.
Обещаю и в 2022 радовать вас интересным контентом!
И в предверии нового 2022 года я хочу вам рассказать об одной привычке, которую я внедрил в этом году.
У меня есть две интересные особенности:
•Я крайне любознательный и очень люблю изучать все новое
•Мне интересна разметка данных, и можно сказать, что я живу этим
Поэтому я очень много читаю про эту область. Раньше я просто читал, что-то выписывал, брал к себе на заметку.
Но потом подумал, а почему об этом должен знать только я? И решил все статьи, которые я прочитал и они мне понравились, переводить и выкладывать на хабр. Таким образом за год я перевел 23 интересных статьи. Сейчас решил собрать все ссылки на них в одном месте.
Так что вот мой подарок для вас в виде интересного контента:
· 5 трендов в аннотировании данных в 2021 году
· Как организовать разметку данных для машинного обучения: методики и инструменты
· 6 правил по обеспечению качества данных для машинного обучения
· 5 этапов, гарантирующих успешную разметку данных
· Методика машинного обучения Human-in-the-Loop
· Как создать эффективный план разметки данных?
· Семантическая сегментация 4D сцен с лидаров и прогресс в разработке беспилотных автомобилей
· Зачем вам нужно использовать активное обучение при обучении нейронных сетей
· Как избавиться от проблем при разметке данных для обучения ML моделей?
· Оптимизация разметки данных с помощью активного обучения
· Способы обеспечения качества данных для машинного обучения
· Почему 87% проектов data science не добираются до продакшена?
· Пять альтернатив Scale AI
· Почему за автоматической разметкой данных будущее?
· Как Hasty использует автоматизацию и быструю обратную связь для обучения моделей ИИ
· Как размечать данные для машинного обучения
· Руководство по типам аннотирования изображений
· Аннотирование текста для машинного обучения
· Лучшие платформы аннотирования изображений для компьютерного зрения на 2019 год
· Лучшие инструменты разметки изображений для компьютерного зрения 2020 года
· Лучшие инструменты аннотирования для компьютерного зрения в 2021 году
· 7 способов получить качественные размеченные данные для машинного обучения
· Топ-5 инструментов для разметки данных в 2021 году
И мой авторский контент:
· Создаем датасет для распознавания счетчиков на Яндекс.Толоке
· Создаем свой датасет с пришельцами
· Как создать свой датасет с Киркоровым и Фейсом на Яндекс.Толоке
· Обзор инструментов для разметки в CV
· Кейс: как с помощью чат-бота создать датасет из более 10 тысяч изображений за пять недель
· Как стать сертифицированным партнёром Толоки
· Собираем датасет для системы антиспуфинга
· Примеры использования краудсорсинга в бизнесе
· Разметка лиц с помощью краудсорсинга
· Методы оптимизации процесса разметки для обучения нейронных сетей
· Как мы выиграли первый в России хакатон по краудсорсингу
· Как собрать данные с помощью Толоки
· Вебинар по сегментации изображений в Толоке
Обещаю и в 2022 радовать вас интересным контентом!
И в предверии нового 2022 года я хочу вам рассказать об одной привычке, которую я внедрил в этом году.
У меня есть две интересные особенности:
•Я крайне любознательный и очень люблю изучать все новое
•Мне интересна разметка данных, и можно сказать, что я живу этим
Поэтому я очень много читаю про эту область. Раньше я просто читал, что-то выписывал, брал к себе на заметку.
Но потом подумал, а почему об этом должен знать только я? И решил все статьи, которые я прочитал и они мне понравились, переводить и выкладывать на хабр. Таким образом за год я перевел 23 интересных статьи. Сейчас решил собрать все ссылки на них в одном месте.
Так что вот мой подарок для вас в виде интересного контента:
· 5 трендов в аннотировании данных в 2021 году
· Как организовать разметку данных для машинного обучения: методики и инструменты
· 6 правил по обеспечению качества данных для машинного обучения
· 5 этапов, гарантирующих успешную разметку данных
· Методика машинного обучения Human-in-the-Loop
· Как создать эффективный план разметки данных?
· Семантическая сегментация 4D сцен с лидаров и прогресс в разработке беспилотных автомобилей
· Зачем вам нужно использовать активное обучение при обучении нейронных сетей
· Как избавиться от проблем при разметке данных для обучения ML моделей?
· Оптимизация разметки данных с помощью активного обучения
· Способы обеспечения качества данных для машинного обучения
· Почему 87% проектов data science не добираются до продакшена?
· Пять альтернатив Scale AI
· Почему за автоматической разметкой данных будущее?
· Как Hasty использует автоматизацию и быструю обратную связь для обучения моделей ИИ
· Как размечать данные для машинного обучения
· Руководство по типам аннотирования изображений
· Аннотирование текста для машинного обучения
· Лучшие платформы аннотирования изображений для компьютерного зрения на 2019 год
· Лучшие инструменты разметки изображений для компьютерного зрения 2020 года
· Лучшие инструменты аннотирования для компьютерного зрения в 2021 году
· 7 способов получить качественные размеченные данные для машинного обучения
· Топ-5 инструментов для разметки данных в 2021 году
И мой авторский контент:
· Создаем датасет для распознавания счетчиков на Яндекс.Толоке
· Создаем свой датасет с пришельцами
· Как создать свой датасет с Киркоровым и Фейсом на Яндекс.Толоке
· Обзор инструментов для разметки в CV
· Кейс: как с помощью чат-бота создать датасет из более 10 тысяч изображений за пять недель
· Как стать сертифицированным партнёром Толоки
· Собираем датасет для системы антиспуфинга
· Примеры использования краудсорсинга в бизнесе
· Разметка лиц с помощью краудсорсинга
· Методы оптимизации процесса разметки для обучения нейронных сетей
· Как мы выиграли первый в России хакатон по краудсорсингу
· Как собрать данные с помощью Толоки
· Вебинар по сегментации изображений в Толоке
👍2
Всем привет! Сегодня в 18:00 буду рассказывать как ускорять и улучшать качество разметки. Кому интересно присоединяйтесь)
🔥1
Forwarded from ml.log | AI, ML & MLOps (Alexander C)
🚀 @SBERLOGA online seminar on machine learning:
👨🔬 Роман Куцев (TrainingData.Solutions) «Методы оптимизации процесса разметки для обучения нейронных сетей.»
⌚️ Четверг 13 января, 18.00 по Москве
Описание:
• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных
Ссылка на зум будет доступна в чатах: https://t.me/sberlogadataclub ближе к началу доклада.
👨🔬 Роман Куцев (TrainingData.Solutions) «Методы оптимизации процесса разметки для обучения нейронных сетей.»
⌚️ Четверг 13 января, 18.00 по Москве
Описание:
• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных
Ссылка на зум будет доступна в чатах: https://t.me/sberlogadataclub ближе к началу доклада.
👍11
На прошлой неделе поучаствовал в подкасте Антона Мальцева, автора ТГ канала "Заметки Computer Vision инженера”.
Обсудили с Антоном тренды в разметке, inhouse разметку, краудсорсинг, предразметку и многое другое.
На записи звук у меня получился немного 💩 . Прошу понять и простить.
Прикладываю ссылку на подкаст: https://youtu.be/FH6nwtFR9nU
И таймлайн, чтобы проще найти нужный материал:
0:58 - Роман Куцев, о себе
1:30 - in-house или краудсорсинг
2:21 - Критерий перехода от in-house на краудсорсинг
3:25 - Подходы для разметки данных на примере
3:40 - Подход с in-house отделом
4:20 - Подход с краудсорсингом
5:39 - Краудсорсинг или in-house?
8:40 - Обзор краудсорсинговых платформ
13:10 - Инструменты для in-house разметки
18:35 - Когда стоит использовать предразметку
21:58 - О защите данных заказчика
24:00 - Часто ли попадаются повторяемые задачи
26:14 - Какие по размеру фирмы чаще заказывают разметку
29:15 - Много ли встречается сложных/хитрых задач
32:14 - О работе с зарубежными заказчиками
35:24 - Продажа готовых датасетов
39:08 - О найме людей для разметки
41:53 - Как происходит работа над проектом
Обсудили с Антоном тренды в разметке, inhouse разметку, краудсорсинг, предразметку и многое другое.
На записи звук у меня получился немного 💩 . Прошу понять и простить.
Прикладываю ссылку на подкаст: https://youtu.be/FH6nwtFR9nU
И таймлайн, чтобы проще найти нужный материал:
0:58 - Роман Куцев, о себе
1:30 - in-house или краудсорсинг
2:21 - Критерий перехода от in-house на краудсорсинг
3:25 - Подходы для разметки данных на примере
3:40 - Подход с in-house отделом
4:20 - Подход с краудсорсингом
5:39 - Краудсорсинг или in-house?
8:40 - Обзор краудсорсинговых платформ
13:10 - Инструменты для in-house разметки
18:35 - Когда стоит использовать предразметку
21:58 - О защите данных заказчика
24:00 - Часто ли попадаются повторяемые задачи
26:14 - Какие по размеру фирмы чаще заказывают разметку
29:15 - Много ли встречается сложных/хитрых задач
32:14 - О работе с зарубежными заказчиками
35:24 - Продажа готовых датасетов
39:08 - О найме людей для разметки
41:53 - Как происходит работа над проектом
YouTube
Как делать разметку в 2022 - разбираем с профессионалом
0:00 - Начало
0:58 - Роман Куцев, о себе
1:30 - in-house или краудсорсинг
2:21 - Критерий перехода от in-house на краудсорсинг
3:25 - Подходы для разметки данных на примере
3:40 - Подход с in-house отделом
4:20 - Подход с краудсорсингом
5:39 - Краудсорсинг…
0:58 - Роман Куцев, о себе
1:30 - in-house или краудсорсинг
2:21 - Критерий перехода от in-house на краудсорсинг
3:25 - Подходы для разметки данных на примере
3:40 - Подход с in-house отделом
4:20 - Подход с краудсорсингом
5:39 - Краудсорсинг…
👍8
В последнее время замечаю, как ML отделы различных компаний переходят от Model-Centric подхода к Data-Centric. Считаю это правильным трендом, который позволит делать ML продукты еще лучше.
Для нас в TrainingData.Solutions от этого конечно хлопот добавляется: все чаще размечаем данные небольшими итерациями, в несколько этапов обсуждаем и дорабатываем инструкцию по разметке, версионируем данные и внедряем новые фишки по контролю качества. Но хороший результат этого стоит)
Специально чтобы осветить новый тренд, на хабре выложил перевод статьи, в которой рассказывается отличие датацентрического подхода от моделецентрического.
https://habr.com/ru/post/661457/
Для нас в TrainingData.Solutions от этого конечно хлопот добавляется: все чаще размечаем данные небольшими итерациями, в несколько этапов обсуждаем и дорабатываем инструкцию по разметке, версионируем данные и внедряем новые фишки по контролю качества. Но хороший результат этого стоит)
Специально чтобы осветить новый тренд, на хабре выложил перевод статьи, в которой рассказывается отличие датацентрического подхода от моделецентрического.
https://habr.com/ru/post/661457/
Хабр
Датацентрический и моделецентрический подходы в машинном обучении
Код и данные — фундамент ИИ-системы. Оба эти компонента играют важную роль в разработке надёжной модели, но на каком из них следует сосредоточиться больше? В этой статье мы сравним методики, ставящие...
🔥15
Всем привет!
В эту пятницу буду выступать на конференции mergeconf с докладом "Краудсорсинг - новый подход к организации работы в 21 веке”, на нем расскажу:
• О концепции краудсорсинга
• Какие задачи можно решить с помощью крауда
• Бесконечное масштабирование: главные плюсы и минусы краудсорсинга
• Почему это тренд 21 века?
Если вы тоже будете на этой конференции, пишите, с радостью встречусь и пообщаюсь с вами вживую😉
В эту пятницу буду выступать на конференции mergeconf с докладом "Краудсорсинг - новый подход к организации работы в 21 веке”, на нем расскажу:
• О концепции краудсорсинга
• Какие задачи можно решить с помощью крауда
• Бесконечное масштабирование: главные плюсы и минусы краудсорсинга
• Почему это тренд 21 века?
Если вы тоже будете на этой конференции, пишите, с радостью встречусь и пообщаюсь с вами вживую😉
👍6🔥6❤1
Media is too big
VIEW IN TELEGRAM
Все же люблю Теслу за их data-driven подход и то, как они эффективно используют свои данные.
Выше видосик, в котором они рассказывают о том как собирают у пользователей данные для улучшения моделей.
Выше видосик, в котором они рассказывают о том как собирают у пользователей данные для улучшения моделей.
👍7
Всем привет!
Я решил воспользоваться своим положением админа канала и запостить интересную вакансию к себе в команду😀
Ищу backend разработчика к нам в TrainingData.Solutions.
Наша команда собирает и размечает данные на заказ для обучения нейронных сетей.
Мы уже больше 4 лет на рынке, в нашем штате 450 разметчиков и 20 кураторов, каждый год растем в несколько раз и сейчас расширяем IT команду. В связи с этим открылась новая позиция.
Наши разметчики работают через CVAT и Label Studio, это open source инструменты для разметки данных.
Требуется поддержка этих инструментов, а именно:
• Контроль и разворачивание инфраструктуры в Yandex Cloud
• Поддержка работоспособности CVAT и Label Studio на наших серверах
• Написание скриптов по переносу данных и конвертации разметки в разные форматы
• Написание микросервисов по автоматизации рутинных процессов
• Техническая поддержка кураторов проектов
Какие навыки требуются:
• уверенные знания docker для разворачивания инструментов
• python для написания скриптов и микросервисов
• git, s3, bash, FastAPI
Условия:
• гибкий график, главное чтобы задачи делались к дедлайну и CVAT не падал
• удаленная работа, хоть на Бали, хоть в Воронеже
• если вы в РФ, то оформляем как самозанятого, а если нет, то платим с нашего юр лица в ОАЭ
• 20 часов в неделю - идеально, если вы студент или имеете основную работу
За успешную рекомендацию дарим AirPods Pro
По всем вопросам смело пишите в ЛС😉
Я решил воспользоваться своим положением админа канала и запостить интересную вакансию к себе в команду😀
Ищу backend разработчика к нам в TrainingData.Solutions.
Наша команда собирает и размечает данные на заказ для обучения нейронных сетей.
Мы уже больше 4 лет на рынке, в нашем штате 450 разметчиков и 20 кураторов, каждый год растем в несколько раз и сейчас расширяем IT команду. В связи с этим открылась новая позиция.
Наши разметчики работают через CVAT и Label Studio, это open source инструменты для разметки данных.
Требуется поддержка этих инструментов, а именно:
• Контроль и разворачивание инфраструктуры в Yandex Cloud
• Поддержка работоспособности CVAT и Label Studio на наших серверах
• Написание скриптов по переносу данных и конвертации разметки в разные форматы
• Написание микросервисов по автоматизации рутинных процессов
• Техническая поддержка кураторов проектов
Какие навыки требуются:
• уверенные знания docker для разворачивания инструментов
• python для написания скриптов и микросервисов
• git, s3, bash, FastAPI
Условия:
• гибкий график, главное чтобы задачи делались к дедлайну и CVAT не падал
• удаленная работа, хоть на Бали, хоть в Воронеже
• если вы в РФ, то оформляем как самозанятого, а если нет, то платим с нашего юр лица в ОАЭ
• 20 часов в неделю - идеально, если вы студент или имеете основную работу
За успешную рекомендацию дарим AirPods Pro
По всем вопросам смело пишите в ЛС😉
🔥6👍1
14 июня выступаю на онлайн конференции DataStart, расскажу “Как получать высокое качество размечаемых данных” . Конференция бесплатная, регистрируйтесь😉