Обложка: Подборка полезных инструментов для повседневной работы от специалиста по Data Science

Подборка полезных инструментов для повседневной работы от специалиста по Data Science

Дмитрий Пухов
Дмитрий Пухов

Технический директор Cleverbots

Обзор инструментов для Data Scientist и ML-инженеров, которые упрощают ежедневную работу, повышают продуктивность и просто делают опыт использования разных сервисов приятнее.

TIG

Удобный CLI-интефрейс для гита: помогает легко ориентироваться во всех изменениях в репозитории. Визуал, доступный в терминале: можно смотреть последовательность коммитов, заглянуть в каждый из них, и это можно сделать очень быстро, буквально в один клик. Удобный просмотр дерева коммитов и многое другое, что ускоряет работу с гитом.

И главное — всё это может быть доступно на любом сервере.

PyCharm

Любимая IDE для Python-проектов и не только. Полезна для анализа и рефакторинга кода, подходит для запуска юнит-тестов. Из коробки есть интеграция с AWS, огромное количество плагинов, а также возможность разработать своё расширение.

TunnelBlick

Open Source графический интерфейс для VPN.

Как правило, у разработчика есть своя виртуальная машина, на которой можно  развернуть личный VPN. TunnelBlick позволяет удобно подключаться к нему без использования терминала. В России каждый обязан придерживаться правил гигиены пребывания в интернете:)

DVC

Open Source система для версионирования ML-проектов.

Моё личное открытие 2020 года. Если вы занимаетесь Data Science  и испытываете регулярные проблемы с разными версиями датасетов, то это идеальное решение. DVC позволяет хранить датасеты в S3, Azure, GCS, Google Drive, а также в SFTP.

Также очень классная фича — пайплайны для предобработки данных и обучения модели.

Cortex

Cortex превращает любого DS/ML-специалиста в Data Engineer на стероидах. Правда, пока только на AWS. Позволяет в пару команд задеплоить вашу модель и обрабатывать миллион пользователей, масштабируясь за секунды.

Papers With Code

Сборник исследовательских статей из области ML со ссылками на Github. +100 к комфорту и скорости работы ваших дата-сайентистов.

***

Эти сервисы и инструменты прошли мою проверку на полезность, но уверен, что список можно ещё значительно расширить. Делитесь вашими любимыми инструментами в комментариях и рассказывайте, как они вам помогают.

У нас есть ещё одна подборка инструментов дата-сайентиста. В ней эксперт рассказал об используемых языках и популярных библиотеках, IDE, песочницах и разных полезных сервисах.