Подборка полезных инструментов для повседневной работы от специалиста по Data Science

Специалист по Data Science поделился списком проверенных инструментов и сервисов, которые помогают ему решать разные задачи.

Дмитрий Пухов

Технический директор Cleverbots

Обзор инструментов для Data Scientist и ML-инженеров, которые упрощают ежедневную работу, повышают продуктивность и просто делают опыт использования разных сервисов приятнее.

TIG

Удобный CLI-интефрейс для гита: помогает легко ориентироваться во всех изменениях в репозитории. Визуал, доступный в терминале: можно смотреть последовательность коммитов, заглянуть в каждый из них, и это можно сделать очень быстро, буквально в один клик. Удобный просмотр дерева коммитов и многое другое, что ускоряет работу с гитом.

И главное — всё это может быть доступно на любом сервере.

PyCharm

Любимая IDE для Python-проектов и не только. Полезна для анализа и рефакторинга кода, подходит для запуска юнит-тестов. Из коробки есть интеграция с AWS, огромное количество плагинов, а также возможность разработать своё расширение.

TunnelBlick

Open Source графический интерфейс для VPN.

Герои нашего времени: кто сегодня рулит в сфере ИТ

tproger.ru

Как правило, у разработчика есть своя виртуальная машина, на которой можно развернуть личный VPN. TunnelBlick позволяет удобно подключаться к нему без использования терминала. В России каждый обязан придерживаться правил гигиены пребывания в интернете:)

DVC

Open Source система для версионирования ML-проектов.

Моё личное открытие 2020 года. Если вы занимаетесь Data Science и испытываете регулярные проблемы с разными версиями датасетов, то это идеальное решение. DVC позволяет хранить датасеты в S3, Azure, GCS, Google Drive, а также в SFTP.

Также очень классная фича — пайплайны для предобработки данных и обучения модели.

Cortex

Cortex превращает любого DS/ML-специалиста в Data Engineer на стероидах. Правда, пока только на AWS. Позволяет в пару команд задеплоить вашу модель и обрабатывать миллион пользователей, масштабируясь за секунды.

Papers With Code

Сборник исследовательских статей из области ML со ссылками на Github. +100 к комфорту и скорости работы ваших дата-сайентистов.

Эти сервисы и инструменты прошли мою проверку на полезность, но уверен, что список можно ещё значительно расширить. Делитесь вашими любимыми инструментами в комментариях и рассказывайте, как они вам помогают.

У нас есть ещё одна подборка инструментов дата-сайентиста. В ней эксперт рассказал об используемых языках и популярных библиотеках, IDE, песочницах и разных полезных сервисах.