Островок Капча
Островок Капча
Островок Капча
Татьяна Жукова для Tproger

Семь API, которые сократят вам недели разработки

В этом списке — семь мощных API, которые помогут вам ускорить разработку, автоматизировать рутинные задачи и без лишних усилий добавить крутые функции. От баз данных книг до парсинга сайтов и анализа пользовательских данных

Семь API, которые сократят вам недели разработки
37 849
Татьяна Жукова для Tproger

Как понять партиционирование: DWH для гуманитариев

Вместе с Никитой Егоровым, ведущим аналитиком в МТС Диджитал, объясняем принципы партиционирования простыми аналогиями, сравниваем с шардированием, разбираем стратегии разбиения данных и популярные инструменты (PostgreSQL, BigQuery, ClickHouse).

Как понять партиционирование: DWH для гуманитариев
3017
Татьяна Жукова для Tproger

Сравниваем Pandas, Polars и PySpark: что выбрать аналитику?

Pandas, Polars или PySpark — что выбрать для работы с данными? Вместе с Никитой Егоровым, ведущим аналитиком в МТС Диджитал, разбираем отличия, плюсы и минусы каждого инструмента.

Сравниваем Pandas, Polars и PySpark: что выбрать аналитику?
859
Точка

S3-совместимые хранилища: как собрать свой конструктор

В одном из больших кластеров S3 в Точке хранится 110 терабайт полезных данных. Это не много по объёму, но он распределён среди 600+ миллионов файлов. Стоимость работы системы оценивается более чем в миллион рублей в месяц — это с учётом фактора репликации, бэкапов, основной системы хранения и резерва ресурсов. Это пятое место по стоимости среди всех сервисов. Мы выбрали SeaweedFS, потому что это удобный конструктор, который позволяет загружать файлы любого размера, легко масштабироваться без деградации скорости доступа и надёжно защищать данные от потерь. В статье рассказываю, каким должно быть идеальное S3-хранилище для миллионов файлов, и почему нам не подошли Ceph и Minio.

S3-совместимые хранилища: как собрать свой конструктор
548