Каким будет будущее нейросетей в 2024 году
Узнали у экспертов, каким будет будущее нейросетей в 2024 году: сохранится ли спрос, нужны ли ML-инженеры и сколько тем готовы платить.
Предыдущий 2023 год был охвачен нейросетями. Кажется, не произошло ничего более значимого за целый год в мире ИТ. Но сохранится ли этот спрос в 2024 году? Какое у нейросетей будущее?
Мы задали экспертам несколько вопросов:
- Почему в 2023 году все были без ума от нейросетей?
- Сохранится ли интерес к нейросетям в 2024 году? Почему?
- Как спрос на нейросети повлиял на рынок ML-инженеров в России и СНГ? Стали ли искать больше специалистов?
- Стали ли больше платить ML-инженерам? Как конкретно изменились зарплаты?
- Хватает ли ML-инженеров в России? Что со спросом на специалистов?
- Что нужно знать ML-инженеру, чтобы быть востребованным специалистом в 2024 году? Какими языками и технологиями он должен обладать?
- Есть ли узкопрофильные области ML, в которых не хватает специалистов?
Вот, что они ответили.
На самом деле, то что сейчас называется ИИ, а точнее его составляющие, используется уже давно. ML, нейросети, компьютерное зрение уже несколько лет используются в бизнесе и производстве. Просто с появлением генеративных нейросетей: ChatGPT, Midjourney, это стало доступнее обычному пользователю, что привело к большей популярности в обществе.
Нейросети могут помочь с рутинной работой человеку, сэкономив его время: перевести текст, создать изображение, подсказать идею, написать код и даже дипломную работу. Люди всегда стремились к упрощению своей деятельности, поэтому нейросети — настоящий тренд в обществе.
По прогнозам, 314 млн человек будут использовать ИИ в 2024 году.
Интерес к нейросетям сохранится в 2024. Эта тема будет привлекать все больше специалистов, потому что нейросети находят все больше практического применения. Я бы сказал, что сейчас мы находимся в самом начале пути, интерес к нейросетям будет расти экспоненциально. Сейчас активно развиваются мультимодальные модели. Например, есть попытки скрестить сегментаторы изображений с чат-ботами для создания пайплайна автоматической разметки данных для задач компьютерного зрения.
Из-за спроса на нейросети в России, выросла потребность и в специалистах этой сферы. ИИ уже применяют в образовании, финансовом секторе, ритейле, медицине. Для наглядности, помотрим на статистику hh.ru: в августе 2022 было доступно 312 вакансий для ИИ-специалистов, а в феврале 2022 года уже 506. Однозначно спрос на ИИ-специалистов растет. К 2030 году России может понадобится 70 000 кадров.
Спрос на ИИ-специалистов растет во всем мире. Согласно исследованию McKinsey, с 2021 по 2022 годы количество вакансий в трендовых технологических областях выросло на 400 тысяч (15%). Быстрее всего росла сфера генеративного ИИ. С 2018 по 2022 годы в сфере разработки прикладного ИИ и ПО следующего поколения было опубликовано почти 1 млн вакансий.
По данным исследовательского сервиса Glassdoor в 2021, средняя зарплата ML-инженера в США — $123 тыс. в год. Это чуть больше $10 тыс. в месяц.
В 2023 средняя зарплата ML-инженера в 2023 в США — $152 тыс. в год. Это чуть больше $12 тыс. в месяц. Данные исследовательского сервиса Glassdoor.
Зарплаты ML-инженеров варьируются от $125 000 в год до $186 000 в год, в среднем специалисты получают $152 000 (Фото: Glassdoor).
По данным Dream Job, средняя зарплата на должности ML Engineer в России в 2023 составляет 104 000 рублей. Минимальная зафиксированная зарплата — 32 000 рублей, максимальная — 348 000 рублей.
Спрос на ML-инженеров, как и на ИИ-специалистов в целом, растет. В 2023 число вакансий для специалистов в области в машинном обучении выросло на 21% относительно 2022. Но спрос в ближайшие годы будет превышать предложение.
Требования к ML-инженеру не изменились и остаются такими же, как и в 2023. К тому же в этом году в общем доступе появилось много моделей текстовых (чат-боты, в частности, chatGPT), моделей компьютерного зрения. Полезно иметь иметь навыки применения и дообучения подобных моделей.
Для этих специалистов важна математическая подготовка (математический анализ, статистика, теория вероятностей).
Если говорить про языки и библиотеки, то можно выделить: Python, SQL, Pandas, NumPy, TensorFlow, PyTorch, Scikit-learn.
В России можно выделить нехватку специалистов Big Data, обработки естественного языка и компьютерного зрения в направлении ML. Дефицит кадров по этим направлениями есть в области медицины, инфобеза и финансов.
ИИ был в центре бизнеса последние несколько лет. Но сейчас ситуация стала еще более поразительной. Новые алгоритмы и нейросети позволяют внедрить искусственный интеллект практически в любые сферы. Я – старший геймдизайнер и руководитель проектов в игровой компании. В этом году 90% наших сотрудников начали использовать ИИ на регулярной основе для повседневных задач. Художники используют его для прототипирования концепт-артов и интерфейса, продакты чтобы составлять документацию и работать с большим количеством информации. Моделлеры используют сетки для создания текстур к моделям. По статистике программисты, которые используют нейросети в своей работе на 50% эффективнее.
Благодаря нейросетям сильный толчок в 2023 году получило zero-code направление. Нейросети начали активно использовать для создания рекламы, улучшения качества изображения, поиска информации и даже для диагностирования заболеваний. Область применений практически безгранична. На текущий момент мы находимся только в начале пути. Перспективы роста сохраняются и на 2024 и включают в себя создание новых профессий и перестройку множества текущих. Этот процесс с нами на долгие годы, потому что ИИ полезен для бизнеса. Он повышает эффективность работы и снижает издержки.
В целом в 2023 году наблюдался революционный прорыв в технологиях машинного обучения. Успешные кейсы были зафиксированы практически во всех ключевых областях и особенно в разработке. Сильно вырос интерес к автоматизации и интеллектуализации бизнес-процессов. Спрос на нейросети естественным образом увеличил потребность в ML-инженерах и повлек рост зарплат для специалистов в этой области. В 2024 году ML-инженерам будут нужны глубокие знания в машинном обучении, владение программными инструментами и языками (PyTorch, TensorFlow и т.д.), глубокое понимание принципов работы нейросетей и умение их настраивать.
Утверждение, что в 2023 все были без ума от нейросетей – не совсем верное. Восхищались нейросетями только пионеры, но есть огромное количество людей, которые замерли и думают о том, что ИИ уйдет из их жизни. При этом они забывают о том, что уже все банки и приложения давно работаю с помощью ИИ и с нами давно общаются боты.
Почему нейросети выстрелили именно 2023 год? Можно сравнить с бамбуком. Он набирает корневую систему -56 лет и потом за 40 дней вырастает до 5 метров. Тут тоже самое. У ИИ база накапливалась годами и сейчас она просто стала видна.
Интерес к нейросетям сохранится и он будет только нарастать. Потому что это не хайповая история, это технологическая революция, которая произошла, как факт.
Интерес будет набирать ход, все больше людей будут сокращать, все больше позиций работников будет заменять ИИ. Ожидается, что человеку придется пересмотреть свою роль в жизни.
Интерес сохранится, потому что это выгодно бизнесу. С ИИ выгоднее и проще работать, чем с людьми. ИИ не болеет, у него нет перепада настроения, он четко выполняет ТЗ. Единственная задача собственник – правильно поставить задачу. У человек есть эмоции, не всегда он работает на 100%. Поэтому с точки зрения бизнеса, ИИ будет набирать ход. С точки зрения государства – это очень быстрая обработка данных. Государству выгодно быстро и качественно собирать налоги, начислять и вычислять. Ни для кого ни секрет, что решения о выдаче кредитов в банке давно принимает ИИ, а не человек.
ML-инженеры, как пользовались, так и пользуются колоссальным успехом. И это будет продолжаться дальше. Это происходит во всем мире, не только в России и СНГ. Все больше людей обучается, появляются свои платформы. Потому что кто владеет качественной платформой по ИИ, тот владеет практически миром. К ним приходят запросы, данные и т. д.
Прилагаю исследование МIТ о данных в разных сферах (Massachusetts Institute of Technology, MIT) — университет и исследовательский центр, расположенный в Кембридже (пригороде Бостона), штат Массачусетс, США.
Таблица №1 показывает, как увеличивается уровень производительности по hr. Без ИИ 3.8, с ИИ 4,5. Это огромный прорыв. По таблице №2 тоже видим рост с 7% до 12.2% с использованием ИИ.
3 слайд — расширение работы с большими данными, смотрит на 2035 год. Сейчас мы находимся в движении к 2025 году. Использование терабайтов в мире будет в 4 раза больше, чем в 2020 году.
4 файл — увеличение количества данных, все больше пользователей подключается к ИИ. ML-инжиниринг будет востребован все больше. Они без работы точно не останутся.
5 слайд — зрелость ИИ.
Что нужно знать:
- У Python активное сообщество и огромное количество свободных МL-инструментов: TensorFlow, Keras, Scikit-learn, Pandas.
- Многие слышали о JavaScript только в связке с HTML и CSS — когда речь идёт о веб-дизайне и фронтенде. JS часто используют для разработки пользовательских интерфейсов. Но в JS есть и немало ML-библиотек: Brain.js, Deeplearnjs и ConvNetJS ― для нейронных сетей, Compromise ― для NLP, TensorFlow.js ― для всего понемногу.
- Синтаксис Java похож на синтаксис С/C++. Но это высокоуровневый язык программирования, который не требует ручного управления памятью. У тех, кто занимается разработкой для ML на Java, есть отличные библиотеки: Weka, MOA, MALLET.
- C# — универсальный, гибкий и многофункциональный язык от Microsoft. Он позволяет программистам писать всё — от системных приложений до сайтов. Microsoft активно поддерживает C# и даже создала для него библиотеку ML.NET, которая содержит всё необходимое для работы с машинным обучением.
2023 год ознаменовал расцвет в области генеративных сетей искусственного интеллекта. Компании научились создавать большие языковые модели (LLM – Large Language Model) с миллиардами параметров. Такие модели могут генерировать разный тип контента: писать текст, создавать картинки, аудио и видео, отвечать на текстовые сообщения в чате, распознавать аудио и отвечать на телефонные звонки, а также отвечать на вопросы пользователей, в том числе с поиском информации в интернете в режиме реального времени. Если раньше результат от общих моделей ИИ, таких как GPT, выглядел довольно примитивно, то сейчас ответы ничем не хуже специализированных моделей в конкретной области.
В 2024 году продолжится бум ИИ. Компании поняли насколько можно сократить расходы на создание контента, например, при написании новостей или маркетинговых статей. Дизайнеры начали активно использовать помощь ИИ при редактировании и создании изображений, например, Adobe Photoshop позволяет изменить задний фон картинки, развернуть проекцию изображения лица, а также генерировать и вставить части изображения. ИИ активно применяется при обучении, при создании заданий, проверке ответов и помощи студентам через разъяснение ответов. Так DuoLingo, приложение для обучения языкам, использует ИИ для распознавания речи, сверки с правильностью произношения, и проверке ответов.
Бизнес с энтузиазмом смотрит на возможность упростить создания программного обеспечения. Данная сфера требует высокого порога вхождения и больших трудозатрат для достижения профессионального уровня, что сказывается на высоких заработных платах в сфере ИТ и в конечном итоге на высоких затратах компании. Идут активные разработки с покрытием тестами ПО при помощи ИИ. Покрытие End-2-End тестами web сайтов показывает хорошие результаты, а генерация Unit тестов отстает.
Также идут попытки улучшить создание простых приложений с ИИ с Low-code решениями. Например, FlutterFlow, программа для создания мобильных приложений, и Vercel V0, утилита для создания Web страниц, позволяют генерировать UI по описанию требований в чате. Программистам также представлены такие утилиты как Github Copilot и Tabnine, позволяющие дописывать код функций во время написания кода.
Все крупные провайдеры ввязались в гонку создания больших генеративных моделей. OpenAI с поддержкой от Microsoft скоро выпустит модель GPT-5, Meta работает над моделью Llama 3, Google недавно выпустил модель Gemini, Яндекс потихоньку догоняет зарубежные компании с моделью YaGPT. При этом компании ставят следующей целью создание Общего Искусственного Интеллекта (AGI – Artificial General Intelligence). Такой интеллект должен быть лучше человека в способности обучения и выдачи большинства ответов. Open AI GPT-5 уже назван AGI-подобным.
Многих такая бурная перспектива развития ИИ пугает, и возможно это стало причиной по которой Илья Суцкевер, один из основателей OpenAI, был одним из идеологов увольнения Сэма Альтмана. Альтман, вместе с Microsoft, придерживается идеи быстрого развития и прихода к AGI с получением прибыли от захвата рынка, а Илья в недавнем выступлении TED предостерегает от таких действий.
Рынок труда испытывает недостаток в ML специалистах, как на медународном уровне, так и на российском. Крупные компании, такие как Яндекс, Сбербанк, Тинькофф, МТС, Билайн, Озон, или нанимают ML инженеров, или хотят видеть знания из этой области в смежных вакансиях.
От кандидата требуется опыт работы с ML моделями, базовые знания соответствующих областей в математике и понимания построения моделей ИИ, опыт работы с языком Python, а также с одним из других, например C++ или Java, знание фреймворков машинного обучения, таких как TensorFlow или PyTorch, опыт обработки больших данных.
Основные области работы ML инженера это или создания собственных моделей искусственного интеллекта, например в Яндексе и Сбербанке, или до-настройка существующих моделей под требования бизнеса. В обеих сферах сейчас большой недостаток специалистов.
2023 год был охвачен нейросетями. Кажется, не произошло ничего более значимого за целый год в мире IT. Но сохранится ли этот спрос в 2024 году? Какое будущее у нейросетей? 5 лет назад об этом нам говорил Герман Греф в СберУниверситете, и тогда это было по-визионерски.
За последние 20-30 лет мы несколько раз пережили смену технологической парадигмы: персональные компьютеры и интернет, смартфоны и приложения, данные и искусственный интеллект, ML модели и нейросети.
Сейчас мы находимся в цикле доминирования нейросетей, ML моделей и АI.
В трендах технологического развития 2023 год многое поменял. Это был год хайпа AI, развития LLM (Large Language Models), особенно OpenAI. Нейросети открыли новые возможности перед человеком и бизнесом в области практических решений и монетизации. По данным исследования McKinsey по AI) нейронные сети и модели AI уже применяют 1500+ глобальных компаний, и этот тренд будет только усиливаться.
Объем данных достиг достаточного уровня, чтобы появился масштаб, возросла бизнес-ценность практических кейсов, и это выстрелило.
Спрос [на ML-инженеров] вырос, а уровень квалификации снизился, так как российские специалисты с высокими компетенциями ушли на международный рынок. Рост спроса на ML-инженеров в России приводит к тому, что компании готовят специалистов со студенческой скамьи, квотируя ресурсы на стадии поступления будущих специалистов в ВУЗы.
Их доход начинается на уровне 300 тыс. руб. и выше в зависимости от квалификации. Ниже доход у тех, кто является бывшим аналитиком или только недавно переучился.
Спрос, однозначно, растет. Есть 2 источника пополнения ML-инженеров: бывшие аналитики данных и студенты.
В B2B, B2B2C все специалисты работают с розничными моделями. В B2B прогресс заметен в отрасли агрокультуре. В других бизнесах много специфики и отсутствует универсальная экспертиза B2B, поэтому здесь точно сложился дефицит специалистов, и нет готовых решений у интеграторов и цифровых экосистем.
Отбор кандидатов с помощью нейросетей — именно так выглядит рынок аутстафа сегодня. «Бездушная машина откинет твою кандидатуру» — это не фраза из фантастического фильма, это наша реальность.
Цифровизация и тренд на нейронные сети вносят свои изменения в сложившийся алгоритм работы в аутстаффинге. Если раньше данные обрабатывались вручную, то сейчас уже никого не удивишь тем, что прогоняешь резюме через нейросети, чтобы те сравнили информацию о кандидате с текстом вакансии. Наивно полагать, что, если напишешь «я опытный senior», то все навыки считаются по умолчанию: бездушная машина моментально откинет вашу кандидатуру. Конечно, рекрутеры не полностью отказываются от просмотра резюме и портфолио, но тем не менее нужно держать в голове, что информация о вас может до HR-специалистов и не дойти.
Позиции лидов и руководителей подразделений особенно сложно закрывать. И особенно в сфере разработки и тестирования. Любопытно, что вместе с тем заказчики предоставляют аутстаферам больше свободы. В IT Test нередки случаи, когда аутстаф-сотрудники приходят в команду заказчика на временное усиление, и, опираясь на свою экспертизу, предлагают нестандартные решения. Важно не стесняться проговаривать то, что можно улучшить, не бояться индивидуальных решений.
Ключевым моментом, обусловившим всплеск популярности нейросетей, стало появление и триумф LLM (больших языковых моделей) и самого яркого их представителя — ChatGPT. Увеличение размера моделей и числа параметров привело к совершенно фантастическому результату — нейросеть оказалась способна решать задачи, которые ранее были под силу исключительно человеку. Ответы на вопросы, написание текстов, программирование и даже создание музыки — все оказалось в сфере компетенций нейросетей. Благодаря этому внезапно оказалось, что можно почти мгновенно и без квалификации (достаточно лишь правильно написать подсказки для нейросети) создавать то, для чего раньше требовались время, ресурсы и деньги.
Однозначно, сохранится. Кривая Гартнера для новых технологий гласит, что технология будет расти до предела популярности, чтобы далее испытать резкое снижение интереса и выход на плато эффективного использования. В настоящий момент рынок наблюдает исключительно положительные результаты от использования нейросетей: повышение эффективности, снижение издержек, цифровизацию. Чтобы интерес стал снижаться, должна накопиться «критическая масса» негативных сценариев, когда применение нейросетей оказалось неэффективным или вообще неудачным. Однако такие кейсы на рынке сейчас отсутствуют, соответственно, в 2024 году интерес будет лишь расти.
Спрос на нейросети не привел к фундаментальным изменениям на ИТ-рынке в России и СНГ. В течение длительного времени этот рынок испытывает нехватку квалифицированных специалистов, в особенности уровня senior. Появление онлайн-курсов изменило ситуацию лишь с junior-специалистами, не оказав влияния на ML/DS и другие сложные сегменты. Поэтому можно сказать, что спрос на такие кадры остался на прежнем, очень высоком уровне.
На ИТ-рынке весь год прошел под знаком роста зарплат, и интерес к нейросетям и ML только усилил данную тенденцию. Скорее всего, в следующем году зарплаты в этой сфере продолжат повышаться, а недавно наметившийся тренд на «перекупку» наиболее ценных специалистов и команд может дополнительно ускорить этот рост, усиливая кадровый дефицит в сегменте ML и DS, в особенности в отношении квалифицированных сотрудников.
Основные hard skills для таких специалистов — это написание кода на языке Python (умение программировать на других языках, например, R, Java или C++, станет дополнительным плюсом), знание линейной алгебры, теории вероятностей и статистики, в том числе методов оценки и тестов гипотез, а также глубокое понимание фреймворков ML (например, PyTorch, TensorFlow, Keras) и библиотек для обработки данных (Pandas, NumPy).
Также крайне важны навыки в области моделей и алгоритмов ML — знание разных видов моделей, а также опыт применения и совершенствования алгоритмов машинного обучения. Немаловажны и умение работать с большими массивами данных, в том числе предобрабатывать их, владение средствами визуализации данных, знание баз данных и языка SQL, а также навыки использования облачных сервисов (Azure, AWS, Google Cloud).
Во-первых, все более актуальной становится задача по адаптации нейросетей общего назначения (та же ChatGPT и ее аналоги) к применению в узких областях, таких как эффективное написание программного кода. Во-вторых, одним из предполагаемых трендов ближайшего будущего станут нейросети узкого назначения — например, для управления рисками, управления объектами IIoT в промышленности и так далее. И если на рынке в целом наблюдается нехватка ИТ-специалистов, то в узкопрофильных областях она будет еще более ощутима.
Напоминаем, что вы можете задать свой вопрос экспертам, а мы соберём на него ответы, если он окажется интересным. Вопросы, которые уже задавались, можно найти в списке выпусков рубрики.
Если вы хотите присоединиться к числу экспертов и прислать ответ от вашей компании или лично от вас, то пишите на experts@tproger.ru, мы расскажем, как это сделать.