{"blocks":[{"type":"paragraph","data":{"text":"Разработка ботов — это сложно."}},{"type":"paragraph","data":{"text":"Детекторы ботов вроде Cloudflare готовы защищать сайты от наших ботов. Настройка Selenium с помощью ChromeOptions слишком громоздкая, а на Windows становится совсем кошмарной. Отладка ботов через журналы — тоже слишком сложно."}},{"type":"paragraph","data":{"text":"Как решить эти боли, не жертвуя скоростью и удобством разработки? Попробуйте Bose."}},{"type":"paragraph","data":{"text":"Bose, как уверяют разработчики фреймворка, — это первая среда разработки ботов, которая максимально упрощает разработку ботов. Фреймворк основан на на Selenium и предлагает ряд функций, упрощающих разработку."}},{"type":"embed","data":{"link":"https://github.com/omkarcloud/bose"}},{"type":"header2","data":{"level":2,"text":"Настраиваем Bose"}},{"type":"paragraph","data":{"text":"Первым делом, скопируем изначальный шаблон."}},{"type":"code","data":{"code":"git clone https://github.com/omkarcloud/bose-starter my-bose-project","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Затем перейдите в скачанный каталог, установите зависимости и запустите проект:"}},{"type":"code","data":{"code":"cd my-bose-project\npython -m pip install -r requirements.txt\npython main.py","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Первый запуск займет некоторое время. Всё потому, что он загружает исполняемый файл драйвера Chrome. Следующие запуски будут гораздо быстрее."}},{"type":"header2","data":{"level":2,"text":"Основные особенности Bose Framework"}},{"type":"paragraph","data":{"text":"Добавляет мощные методы, чтобы сделать работу с Selenium намного проще."}},{"type":"paragraph","data":{"text":"Применяет лучшие практики, чтобы избежать обнаружения ботов Cloudflare и PerimeterX."}},{"type":"paragraph","data":{"text":"Сохраняет HTML, снимок экрана и сведения о выполнении для каждой задачи, что упрощает отладку."}},{"type":"paragraph","data":{"text":"Вспомогательные компоненты для записи очищенных данных в виде файлов JSON, CSV и Excel."}},{"type":"paragraph","data":{"text":"Автоматически загружает и инициализирует правильный драйвер Chrome."}},{"type":"paragraph","data":{"text":"Быстро и удобно для разработчиков."}},{"type":"header2","data":{"level":2,"text":"Работаем с Bose"}},{"type":"paragraph","data":{"text":"Допустим, вы хотите начать парсинг веб-сайта. Если бы вы использовали Selenium, вам пришлось бы обрабатывать задачи по открытию и закрытию драйвера следующим образом:"}},{"type":"code","data":{"code":"from selenium import webdriver\n\ndriver_path = 'path/to/chromedriver'\n\ndriver = webdriver.Chrome(executable_path=driver_path)\n\ndriver.get('https://www.example.com')\n\ndriver.quit()","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Однако Bose Framework использует декларативный и структурированный подход. Вам нужно только написать код ниже, а драйвер Bose сам создаст драйвер, передаст его методу run и закроет работу."}},{"type":"code","data":{"code":"from bose import *\n\nclass Task(BaseTask):\n def run(self, driver):\n driver.get('https://www.example.com')","language":"clike lazy-code"}},{"type":"header2","data":{"level":2,"text":"Конфигурация Bose"}},{"type":"paragraph","data":{"text":"В Selenium, если вы захотите настроить параметры вроде профиля, пользовательского агента или размера окна, нужно будет написать много кода:"}},{"type":"code","data":{"code":"from selenium.webdriver.chrome.options import Options\nfrom selenium import webdriver\n\ndriver_path = 'path/to/chromedriver.exe'\n\noptions = Options()\n\nprofile_path = '1'\n\noptions.add_argument(f'--user-data-dir={profile_path}')\n\nuser_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.37\")'\noptions.add_argument(f'--user-agent={user_agent}')\n\nwindow_width = 1200\nwindow_height = 720\noptions.add_argument(f'--window-size={window_width},{window_height}')\n\ndriver = webdriver.Chrome(executable_path=driver_path, options=options)","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Bose Framework упрощает конфигурацию, инкапсулируя её в свойстве BrowserConfig:"}},{"type":"code","data":{"code":"from bose import BaseTask, BrowserConfig, UserAgent, WindowSize\n\nclass Task(BaseTask):\n browser_config = BrowserConfig(user_agent=UserAgent.user_agent_106, window_size=WindowSize.window_size_1280_720, profile=1)","language":"clike lazy-code"}},{"type":"header2","data":{"level":2,"text":"Обработка исключений"}},{"type":"paragraph","data":{"text":"Исключения — это боль при работе с Selenium."}},{"type":"paragraph","data":{"text":"В Selenium, если возникает исключение, драйвер автоматически закрывается, оставляя вам только журналы для отладки."}},{"type":"paragraph","data":{"text":"В Bose, когда в задаче парсинга возникает исключение, браузер остается открытым. Вы можете отслеживать состояние браузера в момент возникновения исключения, что очень помогает при отладке."}},{"type":"image","data":{"file":{"id":241617,"url":"https://media.tproger.ru/uploads/2023/05/e771a3e1-4faa-41c9-9242-1e29aa37be30.png"},"alt":"","title":"","caption":"","stretched":false,"withBackground":false,"withBorder":false,"width":1920,"height":1080,"optimizedFile":{"original":"https://media.tproger.ru/uploads/2023/05/e771a3e1-4faa-41c9-9242-1e29aa37be30.png","alt":"Bose — фреймворк для создания веб-ботов, который проще Selenium 1","dimensions":{"width":1920,"height":1080},"additionalSizes":{"srcSet":[{"url":"https://tproger.ru/signed_image/4VkwFyliaBoUISGmo8nVuF4KvPygsoecVnOf0hET_AY/rs:fill:766:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":766},{"url":"https://tproger.ru/signed_image/KiULKLq1tPdQrLYryLAtfxTJAV5OdTqEVx8iw1XwNKM/rs:fill:1532:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":1532},{"url":"https://tproger.ru/signed_image/9RJsLWfQ489hplgXcpruDplhvEfb10PhZh8RrdHWuhM/rs:fill:686:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":686},{"url":"https://tproger.ru/signed_image/LVj_kj63OCgP7dVynAYpNUEaSo-NrDOL3PtgQRT_UtY/rs:fill:1372:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":1372},{"url":"https://tproger.ru/signed_image/a7ItamGAZbpGYGu1Z8wbdXoGQIm_PZibKfstUeqfpPY/rs:fill:636:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":636},{"url":"https://tproger.ru/signed_image/EHkIooHAUVem8jcaAUN-mFvYFVcdq7p1AGX48xsL8DA/rs:fill:1272:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":1272},{"url":"https://tproger.ru/signed_image/YpY9jLm5Gixow940c6GBDSh2jUdCXU2QoKVh4hdVV1Y/rs:fill:466:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":466},{"url":"https://tproger.ru/signed_image/ogwmd2-TlBSreYYc9NEjrS5du4LhzwS_-IeA-5f_jas/rs:fill:932:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS9lNzcxYTNlMS00ZmFhLTQxYzktOTI0Mi0xZTI5YWEzN2JlMzAucG5n","dpr":1,"width":932}],"sizes":[{"media":"(min-width: 1441px)","size":"766px"},{"media":"(min-width: 1281px)","size":"686px"},{"media":"(min-width: 1281px)","size":"766px"},{"media":"(min-width: 961px)","size":"766px"},{"media":"(min-width: 671px)","size":"636px"},{"media":"(min-width: 500px)","size":"466px"}]}}}},{"type":"header2","data":{"level":2,"text":"Отладка в Bose Framework"}},{"type":"paragraph","data":{"text":"При веб-скрапинге часто возникают ошибки вроде неправильных селекторов или страниц, которые не загружаются. При отладке в Selenium вам, возможно, придется отсматривать журналы, чтобы найти, какая возникла проблема."}},{"type":"paragraph","data":{"text":"Bose упрощает отладку, сохраняя информацию о каждом запуске."}},{"type":"paragraph","data":{"text":"После каждого запуска в задачах создается каталог, содержащий три файла, перечисленных ниже:"}},{"type":"code","data":{"code":"task_info.json","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Файл содержит информацию о выполнении задачи: продолжительность выполнения задачи, IP-адрес задачи, пользовательский агент, размер окна и профиль, который использовался для выполнения задачи."}},{"type":"code","data":{"code":"final.png","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Это снимок экрана, сделанный до закрытия драйвера."}},{"type":"code","data":{"code":"page.html","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Это исходный HTML-код, полученный до закрытия драйвера. Код страницы полезно знать, если селекторам не удалось выбрать элементы."}},{"type":"code","data":{"code":"error.log","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"В случае, если ваша задача рухнула из-за исключения, Bose сохраняет error.log с ошибкой, из-за которой задача рухнула."}},{"type":"header2","data":{"level":2,"text":"Вывод данных"}},{"type":"paragraph","data":{"text":"После выполнения парсинга веб-страниц нужно сохранить данные в формате JSON или CSV. Как правило, этот процесс подразумевает написание огромного объёма императивного кода:"}},{"type":"code","data":{"code":"import csv\nimport json\n\ndef write_json(data, filename):\n with open(filename, 'w') as fp:\n json.dump(data, fp, indent=4)\n\ndef write_csv(data, filename):\n with open(filename, 'w', newline='', encoding='utf-8') as csvfile:\n fieldnames = data[0].keys() # get the fieldnames from the first dictionary\n writer = csv.DictWriter(csvfile, fieldnames=fieldnames)\n writer.writeheader() # write the header row\n writer.writerows(data) # write each row of data\n\ndata = [\n {\n \"text\": \"\\u201cThe world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.\\u201d\",\n \"author\": \"Albert Einstein\"\n },\n {\n \"text\": \"\\u201cIt is our choices, Harry, that show what we truly are, far more than our abilities.\\u201d\",\n \"author\": \"J.K. Rowling\"\n }\n]\n\nwrite_json(data, \"data.json\")\nwrite_csv(data, \"data.csv\")","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Bose упрощает процесс, инкапсулируя данные в модуль вывода для чтения и записи данных. Просто метод write для файла, который вы хотите сохранить."}},{"type":"paragraph","data":{"text":"Все данные будут сохранены в папке output/:"}},{"type":"code","data":{"code":"from bose import Output\n\ndata = [\n {\n \"text\": \"\\u201cThe world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.\\u201d\",\n \"author\": \"Albert Einstein\"\n },\n {\n \"text\": \"\\u201cIt is our choices, Harry, that show what we truly are, far more than our abilities.\\u201d\",\n \"author\": \"J.K. Rowling\"\n }\n]\n\nOutput.write_json(data, \"data.json\")\nOutput.write_csv(data, \"data.csv\")","language":"clike lazy-code"}},{"type":"header2","data":{"level":2,"text":"Локальное хранилище"}},{"type":"paragraph","data":{"text":"В современных браузерах есть локальный модуль хранения, и Bose перенял эту концепцию."}},{"type":"paragraph","data":{"text":"Вы можете импортировать объект LocalStorage из Bose, чтобы сохранять данные при запуске браузера, что чрезвычайно полезно при очистке больших объемов данных."}},{"type":"paragraph","data":{"text":"Данные хранятся в файле local_storage.json в корневом каталоге проекта. Вот как можно его использовать:"}},{"type":"code","data":{"code":"from bose import LocalStorage\n\nLocalStorage.set_item(\"pages\", 5)\nprint(LocalStorage.get_item(\"pages\"))","language":"clike lazy-code"}},{"type":"header2","data":{"level":2,"text":"Другие возможности"}},{"type":"paragraph","data":{"text":"Драйвер, полученный при запуске задачи — это расширенная версия Selenium, в которую добавлены мощные методы, упрощающие работу."}},{"type":"paragraph","data":{"text":"Вот некоторые из популярных методов, добавленных в драйвер:"}},{"type":"image","data":{"file":{"id":241615,"url":"https://media.tproger.ru/uploads/2023/05/8a32df2f-06fa-4e94-a2a9-33640be6fccd.png"},"alt":"","title":"","caption":"","stretched":false,"withBackground":false,"withBorder":false,"width":842,"height":803,"optimizedFile":{"original":"https://media.tproger.ru/uploads/2023/05/8a32df2f-06fa-4e94-a2a9-33640be6fccd.png","alt":"Bose — фреймворк для создания веб-ботов, который проще Selenium 2","dimensions":{"width":842,"height":803},"additionalSizes":{"srcSet":[{"url":"https://tproger.ru/signed_image/DfFtB0S45aQjhzGuhpZRf44JpKOggeGMgBfk58GLZuU/rs:fill:766:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":766},{"url":"https://tproger.ru/signed_image/397soVi89WUqqYf_pblXRtyQYJQHZYeNSgUPxAOFSEM/rs:fill:1532:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":1532},{"url":"https://tproger.ru/signed_image/rNsIT4DW5dj9mxU1lUwzq_3myMjKCfMpR5zTjGVG86I/rs:fill:686:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":686},{"url":"https://tproger.ru/signed_image/S1WPn0Klkb-cMslgadDyykGDSxxKqK9pmaI2CaJZrnU/rs:fill:1372:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":1372},{"url":"https://tproger.ru/signed_image/6oJEGmaJLQqI4HbKEBopHGnizi7xfvZCJqcXjnE-d4M/rs:fill:636:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":636},{"url":"https://tproger.ru/signed_image/gjl7go9hW5wWB0kRW0jsxA4CtXQBpvRJ_y1FeGvT3A0/rs:fill:1272:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":1272},{"url":"https://tproger.ru/signed_image/1FytW1_BGot2FjLprex4x-0bLT-6zJdffV4I9yy3kHA/rs:fill:466:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":466},{"url":"https://tproger.ru/signed_image/OYV4jEyYdgjLYJpM5q9WY8eN-2Sau7AW4dSRuoxa9Z8/rs:fill:932:0:true/cb:vimg_2/f:webp/aHR0cHM6Ly9tZWRpYS50cHJvZ2VyLnJ1L3VwbG9hZHMvMjAyMy8wNS84YTMyZGYyZi0wNmZhLTRlOTQtYTJhOS0zMzY0MGJlNmZjY2QucG5n","dpr":1,"width":932}],"sizes":[{"media":"(min-width: 1441px)","size":"766px"},{"media":"(min-width: 1281px)","size":"686px"},{"media":"(min-width: 1281px)","size":"766px"},{"media":"(min-width: 961px)","size":"766px"},{"media":"(min-width: 671px)","size":"636px"},{"media":"(min-width: 500px)","size":"466px"}]}}}},{"type":"header2","data":{"level":2,"text":"Заключение"}},{"type":"paragraph","data":{"text":"Bose — отличный фреймворк, упрощающий скучные части Selenium и парсинга веб-страниц."}},{"type":"paragraph","data":{"text":"Желаем вам удачи и счастливой разработки ботов с помощью Bose Framework!"}}]}

Ошибка в настройках сайта