Веб-скрейпинг на Python: запускаем парсинг сайтов за 1 час
Парсинг решает кучу практических задач — например, можно отслеживать скидки и сравнивать цены. Простое решение на Python.
7К открытий7К показов
Веб-скрейпинг — это метод автоматизированного извлечения данных с сайтов. С его помощью можно решать разные задачи. Например:
- отслеживать скидки на определённые товары в интернет-магазинах;
- сравнивать цены на разных сервисах;
- ловить низкие цены на авиабилеты.
Вариантов применения намного больше, надо только включить фантазию. Главное, не собирать информацию, защищённую законом, — например, персональные данные пользователей.
В этом видео парсинг на Python реализован с помощью библиотеки Beautiful Soup. Она позволяет собирать информацию с любых ресурсов, будь то социальная сеть, Википедия или интернет-магазин. Библиотека предоставляет методы для навигации, поиска и изменения синтаксического дерева.
01:22 В первой части курса вы изучите концепцию на примере скрейпинга базовой HTML-страницы.
24:48 Во второй части курса научитесь извлекать данные с реального сайта.
1:01:53 Напоследок узнаете, как сохранить собранные данные.
Посмотрите также подборку других инструментов для веб-скрейпинга. Там есть примеры онлайн-сервисов, а также библиотеки для Python, JavaScript и Java.
7К открытий7К показов
На первом месте среди самых прибыльных профессий в IT — разработчик на языке Solidity с зарплатой до 640 тыс рублей в месяц. В топ-5 также вошли продакт-менеджеры, тимлиды, Python-разработчики в финтехе, Linux-инженеры и QA-инженеры
Российская биотех-лаборатория Neiry и ученые МГУ разработали нейроимплант с искусственным интеллектом, который позволил крысе отвечать на сотни научных вопросов, включая темы по Python
Узнали у опытных тестировщиков, какие инструменты и фреймворки QA стоит знать в 2024 году, а какие безнадёжно устарели.
Свежий проект собрал личные сайты создателей популярных языков программирования Python, Go и Ruby в одном месте, но столкнулся с техническими трудностями, такими как высокая загрузка процессора