Но что входит в этот навык? Как родителю оценить уровень ребенка? Вместе с экспертами детской компьютерной школы «Пиксель» мы составили чек-лист основных компетенций.

Как изменилось понимание компьютерной грамотности

Всего 15-20 лет назад фраза «мой ребенок умеет работать за компьютером» чаще всего означала: он умеет включать ПК, печатать в Word и искать что-то в Интернете. Компьютер воспринимался как сложный инструмент, который упрощает работу, но без которого можно обойтись.

Сегодня все изменилось. Для современных детей компьютер и гаджеты — это важная часть их социальной среды. Поэтому и набор обязательных умений сместился с простого технического владения программами на комплексную цифровую гигиену и осознанное использование.

• Безопасность вышла на первый план.

Раньше главной угрозой казался вирус, который мог «сломать компьютер». Сегодня реальные риски тоньше и опаснее: фишинг (кража аккаунтов), мошенничество в чатах, кибербуллинг, утечка личных фото и данных. Поэтому умение создавать и хранить надежные пароли, проверять ссылки и настраивать приватность в соцсетях стали критически важными — даже важнее, чем знание Word или Excel.

• Информации стало намного больше.

Раньше источником знаний были книги или пара проверенных сайтов. Сейчас детей окружает бесконечный поток данных из соцсетей, видеоблогов, мессенджеров и игр. Ключевой навык теперь — не просто найти, а быстро отфильтровать: отделить факты от вымысла, рекламу от полезного совета, авторитетный источник от сомнительного. Современная компьютерная грамотность, и не только у детей, — это критическое мышление плюс умение структурировать найденное.

• Акцент сместился с потребления на создание.

Поколение назад дети в основном потребляли готовый цифровой контент: играли в игры, смотрели фильмы. Сегодня они с самого раннего возраста видят, как их сверстники ведут влоги, собирают свои миры в Minecraft, рисуют в цифре и монтируют клипы в TikTok. Поэтому базовая грамотность теперь закономерно включает основы цифрового творчества: умение сделать простую графику, смонтировать видео, оформить презентацию или записать подкаст.

То есть компьютерная грамотность для детей — это уже не про то, как запустить программу. Это про то, как безопасно, эффективно и творчески жить в цифровой среде. А теперь перейдем к самому интересному — конкретным навыкам и чек-листу компьютерной грамотности для детей. И начнем с умений, которые напрямую влияют на успеваемость в школе.

Учимся учиться: работа с информацией и данными

Эти навыки — основа цифровой самостоятельности. Речь пойдет не о развлечениях, а о рабочих инструментах, которые превращают компьютер из игрушки в помощника для учебы.

Эффективный поиск: не просто искать, а найти ответ

Для современных детей поисковики — это вторая память. Но часто они вписывают в строку вопрос целиком, как будто разговаривают с другом, и получают в ответ миллион нерелевантных ссылок. Наша задача — научить их «разговаривать» с поисковой системой на ее языке:

• Нужно научить ребенка выделять значимые слова в запросе, а еще лучше — использовать операторы. Например, поставить минус перед словом, чтобы исключить ненужное: по запросу «python -змея» найдется информацию только о языке программирования.
• Один из главных навыков — проверка источника. Нашли интересный факт для доклада? Отлично. Но спросите: «А кто это написал?». Научите ребенка смотреть, стоит ли за статьей научная организация, известный университет или, наоборот, это просто пост в блоге с громким заголовком. Это и есть прививка от фейков.
• Еще один суперважный навык — не верить искусственному интеллекту на 100%. Нейросети могут насчитать больше 24 часов в сутках, назвать водород металлом или придумать несуществующие химические элементы — они могут ошибаться и делают это регулярно. Важно показать это ребенку.

Структурирование данных: порядок на компьютере — порядок в голове

Вы когда-нибудь видели рабочий стол, заваленный сотней файлов с названиями «Документ1» или «Изображение123»? Это признак цифрового хаоса, который крадет время и нервы. Умение наводить порядок в файлах — это навык системного мышления, и он пригодится везде, а не только в работе за компьютером.

Что должен уметь ребенок:

• Создавать папки («4 класс», «Математика», «Проект „Рыцари“») и называть файлы понятно («Рыцари_черновик», «Рыцари_презентация_финал»). Это кажется мелочью, но так он учится организовывать не только файлы, но и свои мысли.
• Понимание форматов — это суперсила. Ребенок должен знать, что doc, docx, txt, rtf или pages — это для текста, jpg, png — для фотографий, mobi, fb2, epub — файлы электронных книг, а pdf и djvu — чтобы документ везде выглядел одинаково. Это избавит от ситуаций «мама, у меня не открывается» и научит выбирать правильную программу для просмотра.

Облачные технологии: работа там, где удобно и не в одиночку

Пожалуй, самый новый из всех навыков компьютерной грамотности для детей. Облако — это доступ к своей работе с любого устройства: с домашнего ПК, школьного ноутбука или планшета в дороге. Ребенок может начать писать доклад в школе, сохранить его черновик в Google Документах, а вечером продолжить работу дома.

Кроме того, облачные технологии открывают детям путь к командной работе. Современные проекты редко делаются в одиночку. Умение поделиться ссылкой на файл с одноклассником для совместной работы, оставить комментарий или откатиться к предыдущей версии — это база для любой коллективной задачи, от школьного реферата до планирования похода.

На курсах компьютерной грамотности для детей в школе «Пиксель» мы начинаем именно с этих, базовых навыков. Потому что без них любое дальнейшее обучение — не только программирование или дизайн, но и учеба в обычной школе — дается тяжело. Ребенок, который умеет искать информацию, организовывать файлы и пользоваться облаком — эффективный ученик. Он экономит свое время, меньше зависит от помощи взрослых и может сосредоточиться на сути задач, а не на технических проблемах.

Не правила, а привычки: цифровая безопасность и гигиена

Представьте, что вы учите ребенка переходить дорогу: смотри на светофор, иди на зеленый, убедись, что машины остановились. Цифровой мир — такая же оживленная улица, и здесь нужны свои понятные правила. Это не запреты ради запретов — правила нужны для уверенности.

Надежные пароли: ваш первый и главный цифровой замок

Пароли «12345» или «qwerty» — это как оставить ключ от квартиры под ковриком. Дети часто выбирают простые пароли, чтобы не забыть, или, что еще рискованнее, везде используют один и тот же пароль.

Что делать? Объясните просто: надежный пароль — это как секретная формула. Он должен быть длинным (от 10 символов) и состоять из «всего понемногу»: букв (больших и маленьких), цифр и символов (например, ! или &). Можно придумать вместе правило: взять фразу из любимой песни или книжки и превратить ее в аббревиатуру с цифрами. Например, «Я учусь в 4Б классе!» → «Yuv4Bk!».

Следующий уровень — менеджер паролей. Если ребенок готов, можно показать ему, как такие программы (например, встроенные в браузер) хранят сложные пароли. Ребенку не придется запоминать сложные комбинации, а привычка использовать разные пароли для разных сайтов станет по-настоящему удобной.

Конфиденциальность: что такое «личное» и почему им нельзя делиться

Для детей граница между «своим» и «общим» в сети часто размыта. Выложить фото новой комнаты, отметить геолокацию школы в сторис, написать в игровом чате: «Мне 10, учусь в школе №...» — все это кажется безобидным общением.

Важно поговорить об это с ребенком не запугивая, а объясняя последствия. Спросите: «Ты бы дал свой домашний адрес незнакомому человеку на улице? Вот и в сети адрес, телефон, номер школы, кружки, на которые ты ходишь, — это твоя личная информация. Ее не выставляют на всеобщее обозрение».

Прямо вместе с ребенком зайдите в настройки его соцсети или игровой платформы (например, Minecraft). Покажите, где включается «закрытый аккаунт», кто может писать в личные сообщения, оставлять комментарии или видеть друзей.

Критическое мышление: как не попасться на крючок мошенников

Мошенники в сети — как карманники в толпе. Они рассчитывают на невнимательность, спешку и доверчивость. Нужно научить ребенка видеть самые распространенные уловки.

Типичные признаки опасности: «Срочно!», «Твой аккаунт взломали, перейди по ссылке!», «Поздравляем, ты выиграл iPhone, введи данные родителей!», «Привет, это твой одноклассник, скинь код из SMS». Объясните ребенку: любое сообщение, которое вызывает чувство паники, жадности или необъяснимого везения, — повод остановиться, не кликать, а подумать и позвать родителей.

Договоритесь, что если что-то вызывает малейшие сомнения (странное письмо, предложение «скачать программу, чтобы получить монетки», запрос личных данных), первым действием будет не клик, а вопрос вам.

Основы цифрового творчества: даем идее форму

Эта группа навыков — не про сложные профессиональные программы, а про простые инструменты, с которыми ребенок сможет воплотить свои идеи: оформить доклад так, чтобы его было интересно читать, сделать открытку или смонтировать короткий ролик, чтобы впечатлить одноклассников.

Уверенная печать: не скорость, а техника

Кажется: причём здесь творчество? Но представьте, как сложно думать о содержании сочинения или сценария, когда ищешь каждую букву на клавиатуре и печатаешь одним пальцем. Это сбивает с мысли и утомляет.

Здесь важно не перегнуть палку. Наша цель — не чемпионские 300 знаков в минуту, а познакомить ребенка с правильной постановкой рук и расположением букв на клавиатуре. Когда он понимает принцип и начинает печатать, не ища каждую клавишу, исчезает главный барьер между идеей в голове и текстом на экране. Он меньше устает, меньше отвлекается и может сосредоточиться на том, что сказать, а не на том, как это напечатать.

Создание презентаций и документов: как говорить с миром на визуальном языке

Умение сделать не просто набор слайдов, а понятную, «говорящую» историю — еще одна современная суперсила. Важно научить не только кнопкам в PowerPoint, но и принципам:

• Структура — это основа. Любой доклад должен иметь введение, основную часть и вывод. Это правило помогает организовать мысли.
• Визуальная аккуратность — это уважение к зрителю. Один-два читаемых шрифта на всем слайде, выравнивание текста, контрастный фон, изображения, которые дополняют мысль, а не просто «для красоты». Когда ребенок собирает презентацию по этим правилам, он невольно учится логике, иерархии и дизайнерскому мышлению.

Базовая обработка медиа: первые шаги к цифровому творчеству

Цифровые фото, видео, звук — это язык, на котором современные дети общаются и рассказывают истории. Но дать им в руки телефон с хорошей камерой — мало. Нужно показать, как довести материал до ума:

• Как обрезать фото, убрав лишнее (кадрирование). Изменить размер картинки для аватарки или блога. Склеить несколько фото в коллаж.

• Как обрабатывать звук и видео. Записать четкое аудиосообщение. Вырезать из длинного видео важный момент, добавить титры.

Для этого не нужен профессиональный софт — достаточно встроенных в телефон или компьютер редакторов или простых онлайн-инструментов.

Суть навыка: ребенок перестает быть пассивным потребителем роликов. Он начинает анализировать, как сделаны другие работы, и учится создавать что-то свое, пусть и простое. Это мощный импульс для самооценки и развития вкуса.

Типичные ошибки родителей: как помочь, а не помешать

Ошибка 1: Безопасность = полный запрет

Полный запрет видеохостингов (YouTube, RuTube), игр и соцсетей работает как таблетка от головной боли, которая не лечит причину. Ребенок, лишенный доступа дома, будет искать его в других местах: у друзей, в школе, в публичных сетях. И он пойдет туда без вашего руководства, без базовых знаний о безопасности, что сделает его намного более уязвимым. Запрет не учит осторожности, он лишь создает дефицит и вызывает азарт.

Вместо этого постепенно познакомьте ребенка с играми и Интернетом. Обсудите риски, установите понятные правила (например, «играем только час после уроков»), научите настройкам приватности.

Ошибка 2: Я сам сделаю быстрее и правильнее

Ребенок копается с презентацией, путается в папках, и рука так и тянется отодвинуть его, чтобы за пять минут сделать все идеально? Так мы сэкономим время сейчас, но заплатим за это в будущем. У ребенка закрепится чувство, что у него «не получается», и он будет ждать, когда мама или папа придут и решат проблему.

Вместо этого перейдите в режим «тренера». Спросите: «Как думаешь, с чего начать?», «Давай посмотрим, где тут кнопка выравнивания», «Попробуй сам, а если не выйдет — я подскажу». Это требует терпения, но результат — уверенность и самостоятельность — того стоит.

Ошибка 3: Зачем это учить, если он не будет программистом?

Компьютерную грамотность часто путают с узкой профориентацией. Кажется, что умение работать с облачными документами или проверять информацию нужно только будущим IT-специалистам. Но компьютерная грамотность — это универсальные навыки XXI века. Юристу, врачу, дизайнеру, предпринимателю — абсолютно любому специалисту — нужно безопасно общаться онлайн, искать и проверять данные, создавать понятные цифровые материалы.

Смотрите на компьютерную грамотность у детей как на современный аналог умения писать, считать и критически мыслить. Это фундамент для успеха в любой будущей деятельности.

Уроки компьютерной грамотности в школе «Пиксель»

Все, что мы обсудили — это важные, но такие разные навыки. Объединить их в систему, сохранив у ребенка интерес и понимание «а зачем это мне?», — задача непростая даже для продвинутых родителей. Именно для её решения мы и создали базовые компьютерные курсы для младших школьников в онлайн-формате.

Здесь ребенок не просто узнает, что такое облачное хранилище — он сразу создаст в нем папку для своего проекта. Он не будет зазубривать правила безопасности, а разберет их на примере настройки своего игрового аватара. Мы учим через действие, потому что только так знания превращаются в реальные умения.

Программа курса компьютерной грамотности для детей в нашей школе включает навыки, которые мы перечислили выше, но не ограничивается ими:

• Понимание базовых функций компьютера — включение и выключение устройства, использование клавиатуры и мыши или тачпада.
• Работа с операционной системой — знание, как открывать и закрывать программы, понимание файловой структуры: создание, копирование, переименование, удаление файлов и папок.
• Использование офисных программ — работа с текстовыми редакторами (например, Google Docs), создание и использование таблиц (Google Sheets).
• Интернет-грамотность — основы поиска информации в интернете, безопасное поведение в сети: защита своих данных, понимание опасностей (вирусы, мошенничество и т.д.).
• Программы для создания и редактирования контента — основы работы с графическими редакторами и видеоредакторами.
• Основы программирования — знакомство с базовыми концепциями программирования на примере таких языков, как Scratch или Python.
• Цифровая этика и безопасность — ответственное использование технологий, понимание конфиденциальности и цифрового следа.

Лучший способ понять, подойдет ли курс вашему ребенку — попробовать. Наша компьютерная школа приглашает на бесплатный пробный урок — это полноценное занятие, где можно вживую увидеть, как проходит обучение, пообщаться с преподавателем и получить ответы на все вопросы.

Узнать подробнее о курсе «Компьютерная грамотность для детей» можно на сайте школы программирования «Пиксель».

А здесь запись на бесплатный пробный урок.

До встречи на курсе!

Реклама. Рекламодатель ООО «Пиксель.Стади», ИНН 5074078988, erid: 2W5zFGm12HW

Подборка создана на основе мнений опытных программистов и разработчиков, которые не успели выгореть на работе. В основном потому, что периодически отвлекаются на телеграм-каналы.

1. CodeCamp

В канале тонна новостей о программировании, полезные инструменты, например, онлайн-конструктор ПК, и топовые нейросети. Часто появляются разборы моделей и фич, которые еще не стали мейнстримом, как в посте про сискарту Claude-4 или редкие нейросервисы. Из фишек CodeCamp — рубрика «ночное-полезное» с краткими заметками о прикольных фичах.

Перейти: @codecamp

2. Эксплойт

Внутри канала — актуальные новости из мира технологий, айти и диджитал и не только, а еще — подборки инструментов и нейронок. Также вы найдете советы, например, как усилить резюме или правильно сидеть за компом, и шпаргалки по разным технологиям. Сами новости подаются с сарказмом и юмором: «Сначала собери, потом приручи», — так рассказали о новом Лего.

Перейти: @exploitex

3. Веб-страница

В канале собрано все по фронтенду, бэкенду и девопсу. Авторы разбирают кейсы других разрабов, делятся подборками инструментов и рассказывают, как проходить собесы и решать сложные задачки. Новостей по минимуму, фокус — на практику

Перейти: @tproger_web

4. Этичный хакер

Вас взломали! Хотя нет, не сегодня. Кстати, канал «Этичный хакер» как раз пишет о том, как обезопасить себя от разных атак, а также рассказывает о популярных и не очень хакерских группировках. Внутри — новости, подборки инструментов и разборы, включая гайды по Tor, Sherlock или атакам на шифрование.

Перейти: @hack_less

5. Цифровой журнал

В канале пишут о трендах в айти и нейросетях с мемами и шутками. Здесь можно найти как полезные промпты, так и подборки фреймворков и короткие обзоры на сервисы, которые упрощают работу с ИИ и технологиями в целом. Из последнего — пост про ИИ-агента Manus, с помощью которого можно вести 50 аккаунтов одновременно.

Перейти: @chatgptv

6. IT Юмор

В целом из названия понятно, о чем этот канал и что будет внутри. Но в любом случае — смеяться нужно всем, а сеньорам особенно. Здесь вы найдете интересные мемы про программистов и айти и поймете, что далеко не одиноки в этом нелегком деле.

Перейти: @ithumor

7. IT мероприятия России / ITMeeting / IT Events

Канал-агрегатор с актуальными IT-событиями России с фокусом на deep dive, сложных кейсах и архитектурных решениях. Авторы каждый день отбирают мероприятия для сеньоров в разных направлениях: Backend, Frontend, DevOps, Data Science/AI, Security, Cloud, Mobile и Management. Среди анонсов — конференции, митапы, воркшопы, интенсивы и хакатоны. В общем, все то, что нужно опытным айтишникам, чтобы найти нетворкинг, прокачать экспертизу и оставаться в курсе новостей комьюнити.

Перейти: @iteventsrus

8. ITeach

Здесь опытные прогеры рассказывают про скрытые IT-фишки, делятся инсайтами по кибербезопасности, лайфхаками для гаджетов и анонсируют бесплатные IT-мероприятия по всей России. В ITeach сеньоры могут узнать о последних угрозах и разных IT-фишках, которые можно применять в работе. Например, как скрыть конфиденциальную информацию на экране с помощью расширения Blur It или как не попасться на мошенников в сервисах такси.

Перейти: @iteach_ru

9. Отзывы об IT Компаниях

Один из каналов Антона Назарова, куда айтишники и не только присылают обратную связь по вакансиям, интервью и работе в IT-компаниях. Внутри — как кринжовые истории от опытных разработчиков, так и полезные советы для потенциальных сотрудников крупного и среднего бизнеса. В общем, можно узнать заранее, произойдет ли мэтч с компанией.

Перейти: @nazarov_interviews

10. Библиотека программиста

В канале есть практически все — от обзоров книг и видеолекций до образовательных статей и практических руководств по программированию. И, конечно, актуальные новости и топовые апдейты. Темы самые разные: алгоритмы, машинное обучение, веб-дизайн и многое другое.

Перейти: @proglib

Какие типы машинного обучения бывают и чем они друг от друга отличаются

Есть четыре типа машинного обучения:

• с учителем;
• без учителя;
• с подкреплением;
• с частичным привлечением учителя.

Они отличаются наборами данных, на которых модель обучается. Понять разницу между типами машинного обучения можно через аналогию. В комнате стоят стулья, столы, шкафы, мы ставим задачу определить, где что. При обучении с учителем мы показываем модели: это стул, а это — стол или шкаф. То есть датасет размеченный, информация о данных известна, мы точно знаем, какой результат хотим от них получить. За счет разметки модель понимает, как выглядят предметы, запоминает разные типы.

При обучении без учителя мы просто запускаем модель в большую комнату, и она самостоятельно изучает, какие объекты в ней есть. Спустя время она без наших подсказок понимает, какой объект перед ней находится. Данные не структурированы, о них практически ничего не известно, нет задачи получить конкретный результат. Мы хотим извлечь из данных новую информацию и увидеть в них закономерности.

При обучении с частичным привлечением учителя мы запускаем модель в комнату и выборочно называем ей некоторые предметы. Ей предстоит самостоятельно изучить большую часть объектов и понять, как они называются.

При обучении с подкреплением мы запускаем модель в темное помещение. Она взаимодействует со средой (environment), собирает сведения о ней. В роли «разметки» здесь выступает награда (reward). Это сигнал, насколько хорошо алгоритм справляется с поставленной ему задачей. Например, за каждый найденный стул вы получаете +1, а за каждый удар в стену вам прилетает -1. Она выдаётся после каждого шага взаимодействия со средой.

Для каких задач используют обучение без учителя

Выделяют четыре большие группы: кластеризацию, поиск аномалий, поиск ассоциаций и уменьшение размерности. Рассмотрим каждую подробнее и разберем, какие для них нужны алгоритмы.

Кластеризация

Это задача разделения данных на кластеры по общим признакам.

Классический пример — сегментация пользователей приложения банка. Например, пользователи часто покупают товары в спортивных магазинах. Можно выделить их в отдельную группу, используя транзакции как признак. А можно посмотреть, как часто пользователи заходят в приложение, сформировав из них «временные кластеры».

Другой пример — классификация клиентских обращений. По признакам, которые выделит модель, можно кластеризовать обращения клиентов на разные группы: жалобы, благодарности и просьбы о помощи.

Алгоритмов для этого класса задач много, рассмотрим четыре самых популярных.

Алгоритм k-средних (k-means)

Буква k в названии отвечает за количество выделенных центроидов — точек, которые формируют вокруг себя кластер. Удобнее, если они совпадают с точками выборки данных, но необязательно.

К примеру, возьмем значение k, равное 5. Дальше для каждой точки датасета посчитаем расстояние до каждого из пяти кластеров. Наименьшее расстояние от точки до центроида позволит модели предположить, что объект принадлежит к этому кластеру.

Это итеративный метод, так как после формирования кластеров координаты центроида должны быть пересчитаны, так как центральный элемент кластера может измениться после добавления элементов. Центроид может сместиться, поэтому в следующих итерациях алгоритма мы будем пересчитывать центры кластеров до тех пор, пока координаты центроида не перестанут меняться. Так, он будет представлять усредненное описание всех параметров кластера.

Чтобы оценить качество работы алгоритма, мы используем метрику WCSS (within-cluster sum of squares) — cумму квадратов внутрикластерных расстояний до центра кластера. Основная идея, лежащая в основе k-means, заключается как раз в определении таких кластеров, чтобы отклонения внутри минимальны.

У алгоритма есть ограничение: чаще всего мы не знаем, сколько кластеров предполагается. Можно последовательно брать разные k: 3, 5, 7, 9 и так далее — и строить график в координатах WCSS(k). По нему мы можем понять, какое k оптимальнее взять для задачи. До точки k = 3 наблюдается быстрое уменьшение отклонения, но потом скорость падения снижается, откуда мы делаем вывод, что k = 3 было точкой оптимума.

Иерархическая кластеризация

Изначально количество кластеров совпадает с количеством объектов, то есть каждый объект данных представляет собой кластер. Похожие кластеры объединяются по повторяющимся признакам.

Алгоритм последовательно объединяет меньшие кластеры в большие — это агломеративная иерархия. Либо наоборот — дробит один большой кластер на меньшие — это разделяющая иерархия.

Определить похожесть можно с помощью метрик евклидова расстояния. Они бывают разные: манхэттенское расстояние; расстояние Чебышева; степенное расстояние.

dbscan

В алгоритме есть два гиперпараметра: максимальное расстояние между точками и минимальное количество точек в окрестности. Мы задаем количество соседей внутри определенного радиуса, чтобы выделить их в кластер.

dbscan также справляется с задачей детекции аномалий (о которой поговорим ниже). Так как у нас сохраняется количество соседей в радиусе, то могут оставаться «одинокие» точки, которые туда не попадают. Они являются либо выбросом, либо аномалией.

Алгоритм гауссовой смеси

В наборе данных выделяются гауссовы распределения, каждое из которых представляет собой единый кластер. Алгоритм используется в случае, когда наши данные имеют мультимодальное распределение, то есть имеют несколько «горбов».

Поиск ассоциаций

В этой задаче модель ищет взаимосвязи между существующими объектами.

Классический пример — взаимосвязь продуктов в корзине покупателя. Например, к молоку и яйцам рекомендательная система магазина может посоветовать взять муку. Чтобы получить такой «совет», нужно проанализировать, какие комбинации продуктов встречаются чаще всего.

Алгоритм Apriori

Он находит самые частые комбинации, и модель создает правила ассоциативности: когда встречаются два продукта, к ним присоединяется третий.

Для работы с алгоритмом нужно знать такие понятия.

• Support. Показывает минимальный порог встречаемости элемента, чтобы считаться частым.
• Confidence. Как часто выделенные взаимосвязи встречаются во всех объектах во всем датасете.
• Lift. Зависимость между объектами.
• Conviction. Как часто утверждается, что товары связаны, хотя на самом деле взаимосвязи нет.

Уменьшение размерности

Данные могут быть слишком взаимосвязаны между собой. В таком случае можно снизить размерность, заменив два признака на один. Особенно это актуально в больших данных, когда нужно сократить датасет и обработать меньшее количество данных.

Для этой задачи используется алгоритм PCA. Собственно, он как раз и «жертвует» каким-то некритичным количеством информации, подбирая новый признак, который будет включать в себя свойства обоих изначальных признаков.

Поиск аномалий и выбросов данных

Пример задачи — антифрод в банке. Модель должна определять мошеннические транзакции среди обычных и правильно на них реагировать.

При обучении с учителем не получится показать модели такую транзакцию сразу, потому что мы не знаем, как она выглядит. И, соответственно, у алгоритма этого знания тоже не будет. Поэтому когда модель встретится с фродом, то, скорее всего, либо не сможет его задетектировать, либо правильно интерпретировать.

При обучении без учителя модель может определять выбросы и аномалии. Аномалия — это принципиально новые данные, которых ещё не было в выборке, они возникают в реальном времени. Выброс — значение, редко встречающееся в наших данных.

Изолированный лес

В его основе лежит модель классического алгоритма ML — дерева. Случайным образом задаем предикат, если объект датасета под него подходит, он уходит по этой ветви дерева. Объекты, которые не прошли глубже по веткам, а остались на глубине первого или второго уровня можно считать выбросами. Они «изолировались».

Какие есть ограничения у обучения без учителя

Во-первых, результаты не всегда интерпретируемы. Не каждому квалифицированному специалисту под силу объяснить выделившиеся закономерности.

Во-вторых, модель может ошибаться и выдавать не те корреляции, которые мы ожидали. В примере из начала статьи про комнату со стульями и столами модель может, например, выделить кластеры не по принадлежности к сущности (столы, стулья и т.д.), а по цвету: красные столы, стулья, шкафы. Да, это тоже может быть верно, у них действительно есть схожее свойство, но нам это было не нужно.

В таком случае, кстати, придется прибегнуть либо к обучению с подкреплением, либо к частичной разметке данных, чтобы хотя бы в какой-то степени показать модели, на что ей ориентироваться.

Когда же лучше использовать обучение без учителя

Метод обучения без учителя хорошо справляется с неразмеченными данными.

Разметка данных — это достаточно дорогой процесс. При большом количестве данных нужно нанимать асессоров, которые подготовят данные для обучения с учителем. Есть сервисы, где можно отдать данные специалистам на разметку, но за это нужно будет заплатить, подготовить тесты, по которым люди будут работать. И в конце оценить качество разметки. Если мы не хотим тратить на это ресурсы и время, то лучше использовать обучение без учителя.

Как сделать работу с Pandas эффективнее

Модификация данных на месте

Многие методы Pandas могут принимать флаг inplace, который в случае выставления значения True модифицирует данные на месте, а не создаёт новый объект. Если модифицировать исходные данные некритично, имеет смысл его использовать. Так не произойдёт аллокации дополнительной памяти:

View vs copy

В Pandas, как и в библиотеке Numpy, особое внимание уделяется оптимизации хранения данных в памяти и минимизации лишних аллокаций. Для этого используются «представление» (view) и «копирование» (copy) данных.

Представление — это ссылка или «окно» на исходные данные, через которое можно производить чтение и изменение. Так новые массивы данных в памяти не создаются. Следовательно, модификация данных через представление приведёт к изменению исходных данных.

На контрасте с этим, копирование данных означает аллокацию нового блока памяти и создание дублирующего объекта. Изменения в такой копии не затрагивают исходные данные. Однако чем больше копий, тем ниже производительность кода. В Pandas они часто создаются при выполнении операций срезов данных.

Чтобы определить является ли объект представлением или копией, можно использовать внутреннее свойство ._is_view:

Так как сейчас в датафрейме df все колонки одного типа, Pandas оптимизирует их «под капотом», на уровне массивов Numpy. Но что будет, если изменить тип одной из колонок?

Можно сделать и явную копию:

Тема views и copies в Pandas довольно сложная и понимание приходит с опытом. Если попытаться присвоить значения копии датафрейма там, где по мнению Pandas этого быть не должно, то появится предупреждение SettingWithCopyWarning:

Чтение и обработка данных частями

Если объём данных, читаемых из файла, больше объёма памяти на компьютере, а оптимизация типов данных при чтении не помогла, то бывает эффективно читать и обрабатывать данные по частям, используя параметр chunksize.

Прочитаем CSV-файл частями по несколько строк:

Также можно использовать параметр usecols, чтобы загрузить только необходимые столбцы:

Чейнинг методов

Методы Pandas по умолчанию (если inplace=False) возвращают новый объект (DataFrame или Series). Так, несколько подряд идущих методов можно объединить в цепочку вызовов. Это позволяет избежать использования промежуточных переменных и может улучшить читаемость кода, но влечёт за собой копирование данных и лишние аллокации памяти на каждом шаге. Так что чейнинг эффективен, только если скорость или память не критичны:

Использование query

Метод .query() позволяет писать выражения в упрощённом виде, ссылаться на внешние переменные, использовать альтернативные бэкенды. Так запросы выполняются быстрее и эффективнее:

Что почитать о работе с Pandas

Даже если вы освоили азы работы с библиотекой, всегда найдётся, чему ещё поучиться. В этом вам помогут такие источники:

• Документация Pandas;
• Книга «Python для сложных задач»;
• Статьи на Towards Data Science;
• Статьи на Хабре;
• Разборы и блокноты Jupyter на Kaggle.

Какие есть альтернативы

Мы уже упоминали, что Pandas не всегда может похвастаться своей эффективностью, например, в промышленных проектах. Поэтому следует присмотреться и к другим альтернативам. Вот инструменты, которые также помогают обрабатывать большие данные:

• Pandas 2.0 — новая версия, построенная на эффективном бэкенде Apache Arrow.
• Polars — альтернативная библиотека для более быстрой обработки данных. Написана на языке Rust и использует бэкенд Apache Arrow.
• Dask — похож на Pandas, но разработан для параллельных вычислений и больших наборов данных.
• Modin — использует тот же API, что и Pandas, но производительность у неё лучше за счёт параллелизма.
• Vaex — предназначен для работы с очень большими наборами данных, которые не умещаются в оперативную память. Особенно полезен для визуализации и исследования данных.
• PySpark DataFrame — библиотека для распределенных вычислений, часть экосистемы Apache Spark. Подходит для работы с очень большими наборами данных.
• SQL databases — базы данных, такие как SQLite, MySQL, PostgreSQL, предоставляют мощные средства для работы с табличными данными, хотя и требуют отдельного языка запросов (SQL).

Расскажите в комментариях, какие ещё фишки и лайфхаки по работе с Pandas вы знаете и используете!

В PHP есть несколько типов массивов, включая индексированные и ассоциативные массивы, а также многомерные и вложенные массивы, которые обеспечивают гибкость при работе с данными различной структуры.

В этой статье мы рассказываем о типах массивов в PHP и об операциях, которые можно совершить над ними.

1. Типы массивов в PHP
2. Как создавать массивы в PHP
3. Как получить элемент массива в PHP по индексу
4. Как добавить элемент в конец массива PHP
5. Как удалить последний элемент массива PHP
6. Получение длины массива в PHP
7. Как проверить наличие элемента массива в PHP
8. Как выполнить обход массива в PHP и вывести его элементы
9. Как выполнить слияние массивов в PHP
10. Как сортировать массив в PHP

Типы массивов в PHP

1. Индексированные массивы

Это самый обычный тип массива в PHP, где элементы нумеруются целыми числами, начиная с 0, и последовательно увеличиваются.

2. Ассоциативные массивы

В данном типе массивов элементы хранятся в парах ключ-значение, где ключи могут быть строками или целыми числами.

3. Многомерные массивы

Это тип массива, в котором элементы сами могут быть другими массивами. Такие массивы позволяют хранить иерархически связанные данные.

4. Вложенные массивы

Это тип массива, в котором элементы могут содержать другие массивы, создавая более сложную структуру данных.

Как создавать массивы в PHP

1. Создание пустого массива

Создание пустого массива в PHP может быть полезным для программистов, когда они хотят создать массив, к которому будут добавлять элементы в ходе выполнения программы.

Пустой массив предоставляет исходную точку, с которой можно начать добавлять элементы и формировать коллекцию данных.

или

2. Создание индексированного массива

Индексированные массивы в PHP полезны, когда нужно хранить упорядоченную коллекцию значений и обращаться к ним по числовым индексам. Можно использовать индексированный массив, например, для хранения списка элементов, результатов операций или последовательности данных.

Использование числовых индексов позволяет эффективно обращаться к элементам массива по их позиции.

или

3. Создание ассоциативного массива

Ассоциативные массивы в PHP полезны, когда нужно хранить данные в виде пар “ключ” => “значение”.

Ассоциативные массивы позволяют, например, хранить информацию о пользователях, настройках приложения, пунктах меню или любых других связанных данных.

Использование ключей позволяет быстро извлекать и обновлять значения в массиве по имени.

или

4. Создание многомерного массива

Многомерные массивы в PHP позволяют хранить данные в виде таблицы с несколькими рядами и столбцами, где каждая ячейка может содержать значение.

Также многомерные массивы представляют собой массивы, в которых элементами являются другие массивы.

Это особенно полезно при работе с матрицами, реляционными базами данных или любыми случаями, когда данные нужно организовать в иерархическую структуру.

или

Как получить элемент массива в PHP по индексу

1. Оператор квадратных скобок []

Этот способ наиболее распространен и прост в использовании. Можно использовать оператор квадратных скобок [] и указать индекс элемента внутри них.

2. Функция array_values()

Данная функция возвращает все значения массива в виде нового массива, с индексами, начиная с 0. Затем можно получить элемент массива по новому индексу.

3. Функции current() и next()

Эти функции позволяют перемещаться по массиву и получать текущий элемент. Функция current() возвращает текущий элемент массива, а функция next() сдвигает указатель на следующий элемент.

Как добавить элемент в конец массива PHP

1. Использование оператора []

Самым простым способом является использование оператора квадратных скобок [] с пустым индексом, чтобы добавить элемент в конец массива.

2. Использование функции array_push()

Функция array_push() позволяет добавить один или более элементов в конец массива. Синтаксис функции следующий: array_push($array, $element1, $element2, ...).

3. Использование оператора +=

Еще одним способом является использование оператора +=, который объединяет два массива. Если левым операндом является пустой массив, то элементы будут добавлены в конец массива

Как удалить последний элемент массива PHP

1. Функция array_pop()

В результате выполнения этого кода последний элемент (“5”) будет удален из массива, а значение этого элемента будет сохранено в переменной `$lastElement`

2. Функция unset()

При использовании функции unset() вы указываете индекс последнего элемента массива, который нужно удалить, используя count($myArray) - 1. Это вычисляет индекс последнего элемента массива.

3. Оператор array_slice()

Оператор array_slice() возвращает часть массива, начиная с индекса 0 и заканчивая индексом -1 (или индексом последнего элемента минус единица). В результате получается массив без последнего элемента.

4. Функция array_splice()

Функция array_splice() изменяет исходный массив, удаляя элементы, начиная с указанного индекса. В данном случае мы указываем индекс -1, чтобы удалить последний элемент массива.

Получение длины массива в PHP

1. Функция count()

Функция count() возвращает количество элементов в массиве. В результате выполнения этого кода переменная $length будет содержать длину массива, то есть значение “5”.

2. Оператор sizeof()

Оператор sizeof() работает аналогично функции count() и также возвращает количество элементов в массиве.

3. Функция arraycountvalues()

Функция array_count_values() возвращает ассоциативный массив, где ключами являются уникальные значения из исходного массива, а значениями – количество вхождений каждого значения.

В данном случае мы используем count() для получения длины ассоциативного массива, чтобы узнать количество уникальных значений в исходном массиве.

4. Цикл foreach

Мы итерируемся по каждому элементу массива с помощью цикла foreach и увеличиваем переменную $length на 1 для каждого элемента. В результате выполнения этого кода длина массива будет сохранена в переменной $length.

Как проверить наличие элемента массива в PHP

1. Оператор in_array()

Оператор in_array() проверяет, содержится ли указанный элемент в массиве. В этом примере переменная $exists будет содержать значение true, так как элемент `3` содержится в массиве $myArray.

2. Функция array_search()

Функция array_search() возвращает индекс элемента в массиве, если он найден. Если элемент не найден, функция возвращает false.

В данном случае мы проверяем, не равен ли индекс false, чтобы определить, содержится ли элемент в массиве.

3. Функция array_key_exists()

Функция array_key_exists() проверяет, содержится ли указанный ключ в массиве. В этом примере переменная $exists будет содержать значение true, так как ключ 'key2' существует в массиве $myArray.

4. Оператор isset()

Оператор isset() проверяет, определен ли указанный элемент или ключ в массиве. В данном случае переменная $exists будет содержать значение true, так как элемент с ключом 'key2' определен в массиве $myArray.

Как выполнить обход массива в PHP и вывести его элементы

1. Цикл for

В этом примере мы используем цикл for, чтобы пройти через каждый индекс массива и вывести его элементы. Код echo $myArray[$i] . ", "; выводит каждый элемент массива, за исключением последнего, и добавляет запятую после каждого элемента.

2. Цикл foreach

Цикл foreach автоматически итерирует по каждому элементу массива и выполняет указанные действия для каждого элемента. В этом примере мы выводим каждый элемент массива, добавляя запятую после каждого элемента.

3. Цикл while с использованием функций current() и next()

С помощью функции reset() мы устанавливаем указатель текущего элемента массива в начало. Затем, с помощью цикла while, мы получаем текущий элемент с помощью функции current(), выводим его и перемещаем указатель на следующий элемент с помощью функции next(). Цикл продолжается до тех пор, пока есть элементы в массиве.

Как выполнить слияние массивов в PHP

1. Оператор "+"

Оператор + объединяет элементы обоих массивов, и дубликаты удаляются, чтобы сохранить только уникальные значения.

Вывод:

2. Функция arraymerge()

Функция arraymerge() объединяет элементы обоих массивов в новый массив, сохраняя исходные ключи. Если есть одинаковые ключи, то значение из второго массива заменит значение из первого массива.

Вывод:

3. Оператор "…" в PHP 7.4 и более поздних версиях

С помощью оператора ... (spread operator) мы можем распаковать элементы массивов и объединить их в новый массив.

Вывод:

4. Функция arraymergerecursive()

Функция arraymergerecursive() объединяет элементы обоих массивов в новый массив, сохраняя все значения в виде массивов, если ключи совпадают.

Вывод:

Как сортировать массив в PHP

1. Функция sort()

Функция sort() сортирует массив в порядке возрастания, переиндексируя элементы массива.

Вывод:

2. Функция rsort()

Функция rsort() сортирует массив в порядке убывания, переиндексируя элементы массива.

Вывод:

3. Функция asort()

Функция asort() сортирует массив в порядке возрастания, сохраняя связь ключей и значений.

Вывод:

4. Функция arsort()

Функция arsort() сортирует массив в порядке убывания, сохраняя связь ключей и значений.

Вывод:

5. Функция ksort()

Функция ksort() сортирует массив по ключам в порядке возрастания, сохраняя связь ключей и значений.

Вывод:

6. Функция krsort()

Функция krsort() сортирует массив по ключам в порядке убывания, сохраняя связь ключей и значений.

Вывод:

Заключение

Массивы в PHP играют ключевую роль в хранении и управлении данными.

Благодаря разнообразию типов массивов разработчики могут эффективно структурировать данные. Операции над массивами позволяют динамически работать с данными и преобразовывать их согласно требованиям проекта.

Надеемся, шпаргалка оказалась полезной вам, и вы узнали много нового.

Напишите в комментариях, если эта статья помогла вам. Также укажите, чего в ней может не хватать, чем можно дополнить материал или какие новые статьи по PHP нам стоит опубликовать. Мы будем рады обратной связи. 🙂

Руководитель группы видеоаналитики MTS AI Андрей Дугин рассказывает, как начать работу с Pandas и избежать распространённых ошибок.

Где и для чего применяется Pandas

Pandas скорее академический исследовательский инструмент: для промышленных масштабов производительность у библиотеки относительно низкая, управление памятью не самое эффективное и нет параллелизма. Тем не менее, библиотека отлично подходит дата-сайентистам и аналитикам для прототипирования и исследования гипотез в нересурснозатратных проектах. Её можно применить практически в любой области, где требуется обработка и анализ табличных данных или временных рядов:

• Предиктивная аналитика для агрегаторов. Например, на сайтах недвижимости. Pandas поможет структурировать массив данных по квартирам: этаж, площадь, количество комнат, год постройки дома и так далее. На этих данных можно строить модели машинного обучения и предсказывать, сколько будет стоить недвижимость.
• Финансовый анализ. Pandas пригодится для анализа динамики цен акций, котировок валют, индексов и так далее. Это помогает при прогнозировании рыночных трендов, определении рисков и оценке инвестиционных стратегий.
• Маркетинговый анализ. Проанализировав с помощью Pandas данные о продажах, потребительском поведении, рекламных кампаниях можно определять оптимальные стратегии маркетинга.
• Исследования в области биоинформатики. Pandas помогает анализировать и обрабатывать биологические данные для выявления закономерностей, например, в болезнях.
• Обработка данных сенсоров и IoT. С помощью Pandas можно обрабатывать и анализировать данные сенсоров, полученных от устройств IoT, чтобы управлять системами, мониторить и диагностировать их.

Рассмотрим некоторые базовые приёмы работы с Pandas на основе классического датасета Titanic. Его используют студенты, изучающие машинное обучение, для предсказания шансов пассажиров на выживание в зависимости от их пола, возраста, класса каюты и других факторов. Подробнее почитать о значении полей можно в описании датасета на Kaggle.

Начало работы с Pandas

DISCLAIMER

• Поскольку примеры кода и вывод выполняются в Jupyter Notebook, то для отображения результата нам не обязательно оборачивать выражения в функцию print(), однако это может понадобиться в других IDE.
• По этой же причине при демонстрации мы иногда не модифицируем исходные данные (не делаем присваивание A = B, а показываем только правую часть выражения; используем inplace=False), а просто выводим результат.

Установка и импорт

Pandas легко установить через стандартный пакетный менеджер Python, используя команду pip install pandas.

После установки следует импортировать саму библиотеку. Поскольку Pandas строится на базе библиотеки NumPy — инструментария для работы с многомерными массивами — для удобства рекомендуется импортировать и её. Она также будет установлена автоматически в процессе установки Pandas.

Структуры хранения данных

Данные организованы в структурированные таблицы с индексами, что облегчает манипуляции с ними. Операции в Pandas оптимизированы для работы по столбцам — так во многих случаях производительность выше, чем в операциях по строкам.

Структур хранения данных в Pandas две — Series и DataFrame.

• Series — это одномерный массив данных с метками. Он может хранить различные типы данных, включая числа, строки и произвольные объекты Python. Каждому элементу в Series соответствует метка, доступ к которой можно получить через атрибут index.

Есть проводить аналогию со словарём dict, то индекс — это ключи словаря, а сам массив данных — значения, к которым можно получить доступ по ключу:

• DataFrame — это двумерная структура данных, представляющая собой таблицу с метками для строк и столбцов. Каждый столбец в DataFrame является объектом типа Series. Вместе они формируют двумерную таблицу с общим индексом. В DataFrame присутствуют две оси индексации: index для строк и columns для столбцов. Метки столбцов — это их названия.

Операции чтения и записи данных

С помощью Pandas можно читать и записывать данные из различных источников: баз данных, файлов в форматах CSV, Excel, JSON и тому подобных. Для каждого типа данных существуют специализированные функции: read_csv(), read_excel() и другие вида read_*().

Можно даже автоматически спарсить таблицу из веб-страницы, указав URL и порядковый номер таблицы:

Функции чтения принимают много параметров, так можно настраивать все необходимые опции, включая явное задание типов данных или соответствующих функций-конвертеров. Это позволяет предобработать данные или преобразовать их типы к более эффективным ещё на этапе чтения из источника.

Записать данные в файл так же просто, как и прочитать — используйте семейство методов .to_*(), например, .to_excel():

Первичное исследование данных

После того как данные загружены из источника, следует получить общее представление о них.

Первые несколько строк датафрейма можно получить с помощью метода .head(), а последние — .tail():

Тип данных object чаще всего соответствует строковым значениям:

Pandas позволяет автоматически подобрать наиболее эффективные представления с помощью метода .convert_dtypes():

Другой способ взглянуть на датафрейм — метод .info(). Он показывает количество строк, столбцов, их названия и типы, а также позволяет обнаружить столбцы с отсутствующими значениями.

Некоторую статистику по числовым столбцам можно собрать с помощью метода .describe():

Количество различных значений можно посчитать с помощью .value_counts() — как для категориальных, так и для непрерывных данных:

Индексирование

Операции обращения к элементам данных называются индексированием.

В нашем датасете индексная колонка по умолчанию представлена целыми числами. Для наглядности в дальнейших примерах заменим индекс на колонку с именем пассажира:

Элементы индекса называются метками (лейблами):

Названия колонок — тоже метки:

К колонкам можно обращаться по их названиям:

Если имя колонки удовлетворяет правилам именования переменных в Python и не совпадает с одним из уже существующих методов или атрибутов DataFrame, то к колонке можно обратиться как к атрибуту DataFrame:

Метод .loc[] есть и у Series, и у DataFrame. Он позволяет обращаться к данным по меткам:

Метод .iloc[] работает аналогично, но вместо меток используются номера строк или столбцов:

С помощью .at[] можно обратиться к конкретной ячейке данных — как в Excel:

При совершении операций над объектами DataFrame и Series Pandas пытается сопоставить элементы с одинаковыми индексами. Рассмотрим для примера последовательность Series с геометрической прогрессией, где каждый следующий элемент больше предыдущего в два раза:

Попытка попарно посчитать отношение следующего элемента к предыдущему приведёт к «странному» результату:

На самом деле мы хотели получить следующее:

Объединение данных

Для объединения нескольких датафреймов можно использовать близкие по смыслу функции: merge(), concat() и join(). Вот несколько базовых примеров:

Агрегация данных

С помощью этих функций и методов можно взглянуть на данные в различных разрезах:

• groupby() — для группировки и агрегации данных с большой гибкостью;
• pivot_table() — для создания сводных таблиц с возможностью применения множественных агрегаций;
• crosstab() — для подсчёта частоты встречаемости категорий.

Рассчитаем средний возраст пассажиров с разбиением по полу:

Построим сводную таблицу, рассчитав вероятность выживания в зависимости от пола и класса:

Посчитаем, сколько человек каждого пола было в трёх классах кают:

Групповые операции

При обработке данных новички часто используют циклы для итераций по строкам или ячейкам. Такой код выполняется медленно. Лучше использовать методы .apply(), .map(), .transform(), которые работают быстрее за счёт векторизации.

Кстати, такое же разбиение на возрастные группы можно выполнить с помощью функции pd.cut():

Работа с пропущенными данными

В реальных датасетах часть данных может отсутствовать. В библиотеке Pandas эти пропуски обычно представлены как NaN (Not a Number) в ячейках DataFrame или Series. Чтобы с ними работать можно использовать ключевые методы:

• .isna() — идентифицирует отсутствующие значения и возвращает булевую маску, где True указывает на пропущенные данные;
• .fillna() — позволяет заполнить отсутствующие значения с помощью указанных значений или методов интерполяции;
• .dropna() — удаляет строки или столбцы, содержащие отсутствующие значения.

Метод .isna() есть как у DataFrame, так и у Series, а результатом его вызова будет булевая маска того же класса:

Если датасет небольшой, то удалять отсутствующие данные слишком расточительно. Лучше придумать, как заполнить недостающие значения.

Например, можно заменить их средними значениями в столбце:

Или заполнить предыдущим, либо последующим значением:

Методы генерации и заполнения отсутствующих значений называются импутингом. В библиотекеscikit-learnесть модульsklearn.impute, в котором представлены несколько классов импутеров, основанных на различных алгоритмах.

Визуализация данных

Pandas интегрирована с библиотекой Matplotlib — инструментом для создания двумерных и трёхмерных графических представлений данных. В Pandas можно либо явно использовать её функции для визуализации данных, либо применять встроенные методы, такие как .plot() и .hist(). Второй вариант облегчает построение графиков, автоматически определяя наилучший способ визуализации данных.

То же самое можно сделать через прямой вызов функций matplotlib:

Работа с временными рядами

Индексная колонка датафрейма представлена датой и временем, что позволяет индексировать данные по дате и времени, ресемплировать (осуществлять выборку с большей или с меньшей частотой), интерполировать отсутствующие данные, применять оконные функции.

Допустим, у нас есть статистика перевозки пассажиров некой авиакомпании. Сгенерируем эти данные по месяцам:

А теперь рассчитаем среднемесячное количество пассажиров по каждому году:

Применим скользящее окно и рассчитаем среднее количество пассажиров за последние 12 месяцев:

В первых 11 строках по умолчанию появились значения NaN, так как количество проанализированных строк меньше размера окна. Это поведение можно изменить, задав параметр min_periods — минимальное количество строк, для которых определён результат:

В заключение

В этой части статьи мы рассмотрели, как использовать Pandas для разных базовых задач. Во второй части разберём, как сделать работу с Pandas эффективнее, узнаем, какие есть альтернативы для этой библиотеки и какие источники можно почитать, чтобы ещё лучше в ней ориентироваться. Следите за обновлениями!

Это — перевод оригинальной статьи на freeCodeCamp от автора Joy Shaheb.

Ещё у нас есть видеоверсия урока от автора (осторожно, английский язык):

Что такое главная и поперечная оси в CSS

Прежде всего, давайте разберемся, что такое:

1. Главная ось.
2. Поперечная ось.

Линия, проходящая по экрану слева направо — это и есть главная ось. Вы также можете называть её осью Х или горизонтальной линией.

Линия, которая проходит сверху вниз — это поперечная ось. Также её можно назвать осью Y или вертикальной линией.

Настройка проекта

Чтобы поэкспериментировать со всеми свойствами и значениями, напишем следующий код в редакторе.

HTML

Запишите этот код внутри тега body:

CSS

Очистите стили браузера по умолчанию, чтобы мы получали точные результаты.

Выберите класс .container и установите его значение 100vh. В противном случае мы не сможем увидеть наш результат на вертикальной оси:

Стилизуйте класс .box-1 следующим образом:

Все готово, теперь начнем кодить!

Как использовать Flexbox для центрирования чего-либо

Мы можем использовать Flexbox для выравнивания div по осям X и Y.

Для этого нам нужно записать свойство display: flex; внутри класса .container:

Мы поэкспериментируем с этими двумя свойствами:

• justify-content;
• align-items.

Как отцентрировать что-либо по горизонтали с помощью Flexbox

Мы используем свойство justify-content, используя следующие значения.

Напишите следующий код.

Результат будет выглядеть следующим образом.

Как выровнять что-либо по вертикали с помощью Flexbox

Мы используем свойство align-items, используя следующие значения.

Чтобы поэкспериментировать со значениями, напишите следующий код.

Результат выглядит так:

Как центрировать div по горизонтали и вертикали с помощью Flexbox

Мы объединим свойства justify-content и align-items, чтобы выровнять div как по горизонтали, так и по вертикали.

Напишите следующий код.

Результат выглядит следующим образом.

Вы можете ознакомиться с этой шпаргалкой, чтобы узнать больше о различных свойствах Flexbox.

Как использовать CSS Grid для центрирования чего-либо

Используем grid для выравнивания содержимого div по осям X и Y.

Для этого нужно записать свойство display: grid; внутри класса .container:

Поэкспериментируем с этими двумя свойствами:

1. justify-content;
2. align-content.

В качестве альтернативы можно использовать эти свойства:

1. justify-items;
2. align-items.

Как выровнять что-либо по горизонтали с помощью CSS Grid

Используем свойство justify-content.

Напишите такой код:

Вот результат:

Как выровнять что-либо по вертикали с помощью CSS Grid

Мы используем свойство align-content, используя следующие значения.

Напишите этот код:

Вот, каким будет результат:

Как выровнять div по горизонтали и вертикали с помощью CSS Grid

Объединим свойства justify-content и align-content, чтобы выровнять div как по горизонтали, так и по вертикали.

Напишите следующий код:

Результат, который должен получиться:

Альтернативный способ

Вы можете использовать свойства justify-items и align-items и получить те же результаты:

Свойство place-content в CSS Grid

Это сокращение двух свойств CSS Grid:

1. justify-content;
2. align-content.

Получаем тот же результат:

Как использовать свойство CSS Position для центрирования чего-либо

Это комбинация этих свойств:

1. position;
2. top, left;
3. transform, translate.

Напишите следующий код:

Вместе с этим кодом в CSS:

Что такое центральная точка div

По умолчанию это — центральная точка div.

Вот почему мы видим такое странное поведение блока при попытке выровнять его.

Обратите внимание, что на изображении выше блок находится не по центру.

Написав эту строку:

Мы решим проблему и получим следующий результат.

Что такое свойство Translate в CSS

Translate – это сокращение 3 свойств:

1. translateX;
2. translateY;
3. translateZ.

Как выровнять div по горизонтали с помощью свойства CSS Position

Используем свойство left внутри класса .box-1.

Вот результат:

Как выровнять div по вертикали с помощью свойства CSS Position

Используем свойство top внутри класса .box-1.

Результат:

Как центрировать div по горизонтали и вертикали с помощью свойства CSS position

Чтобы достичь этого результата, мы объединим вместе свойства:

1. top, left;
2. transform, translate.

Результат:

Как использовать свойство margin для центрирования чего-либо

Свойство margin является сокращением 4 свойств:

1. margin-top, margin-bottom;
2. margin-left, margin-right.

Напишите этот код:

Как выровнять div по горизонтали с помощью свойства CSS margin

Используем свойство margin внутри класса .box-1. Напишите этот код:

Вот, как будет выглядеть результат:

Как выровнять div по вертикали с помощью свойства CSS margin

Снова используем margin внутри класса .box-1. Напишите следующий код:

Результат:

Как выровнять div по горизонтали и вертикали с помощью свойства CSS margin

И ещё разок используем margin внутри класса .box-1. Напишите такой код:

Результат будет выглядеть так:

Заключение

Теперь вы можете уверенно выравнивать или центрировать содержимое, используя любой из этих четырех методов в CSS.

Возьмите вашу медаль за то, что дочитали статью до конца!

Объясним, как работает каждое из свойств Flexbox, и дадим вам шпаргалку к каждому свойству. В шпаргалках описано всё, что можно сделать с помощью Flexbox.

Это — перевод оригинальной статьи на freeCodeCamp от автора Joy Shaheb.

Ещё у нас есть видеоверсия урока от автора (осторожно, английский язык):

Что такое Flexbox

Когда вы строите дом, вам нужен чертеж. Точно такой же чертеж нам понадобится для создания веб-сайтов. И Flexbox – это тот самый чертеж.

Flexbox позволяет нам компоновать между собой содержимое нашего сайта. Ещё она помогает создавать адаптивные структуры для веб-сайтов под различные устройства.

Вот демо-визитка, написанная на Flexbox в качестве чертежа.

Архитектура Flexbox

Как же работает архитектура Flexbox? Контентные flex-элементы распределяются вдоль главной оси и поперечной оси, как в системе координат.

И, в зависимости от значений flex-direction, положение блоков меняется между строками и колонками.

Список свойств Flexbox

Этот список содержит все возможные свойства и значения, которые вы можете использовать при работе с Flexbox.

Вы можете использовать список при выполнении проектов и экспериментировать с различными значениями.

Создаём проект

Чтобы создать проект с Flexbox, нужно немного знать HTML, CSS и работу с VS-кодом. Вот, что вам нужно сделать:

1. Создайте папку с именем “Project-1” и откройте VS Code.
2. Создайте файлы index.html и style.css.
3. Установите Live Server и запустите его.

Или вы можете просто открыть Codepen и начать кодить.

HTML

В HTML напишите эти строки кода внутри тега body

CSS

Создайте класс .container и укажите в нём поля. Затем оформите блоки так, чтобы все они выглядели одинаково, как в примере ниже. ????

Примечание: не забудьте указать высоту контейнера.

Также, прежде чем начать, необходимо понять отношения между родительскими и дочерними классами.

Flexbox работает только с родительским классом, но не с дочерними классами.

Здесь класс .container является родительским, а классы .box-* – дочерними.

Поэтому примените display: flex внутри класса .container. Расположите текст по центру блока.

И… все готово! Теперь мы готовы кодить. ????

Свойство flex-direction

Это свойство позволяет нам задавать направление и ориентацию, согласно которым flex-элементы должны располагаться внутри flex-контейнера.

Чтобы у нас получилось то же самое, что и на картинке с котиками, нужно написать такой CSS-код.

Обратите внимание, что мы пишем код внутри класса .container.

Свойство justify-content

Это свойство выстраивает flex-элементы вдоль главной оси внутри flex-контейнера.

Попробуйте воссоздать это с помощью этого кода CSS:

Свойство align-content

Это свойство выравнивает flex-элементы по поперечной оси внутри flex-контейнера. Оно аналогично свойству justify-content, которое мы рассматривали только что. Разница только в осях выравнивания.

Обратите внимание, что без flex-wrap это свойство не работает. Вот, что должно быть в вашем коде:

Свойство align-items

Это свойство распределяет Flex-элементы вдоль поперечной оси.

Чтобы протестировать свойство, напишем следующий код в CSS:

Свойство align-self

Это свойство работает с дочерними классами. Оно позиционирует выбранный элемент вдоль поперечной оси.

Всего есть 6 значений align-self:

• flex-start;
• flex-end;
• center;
• baseline;
• stretch;
• auto.

Чтобы воссоздать результат, выберите любой .box-* и напишите следующий код:

Свойства flex-grow, shrink, wrap и basis

Свойства, которые мы сейчас обсудим, будут работать при изменении размера окна. Давайте приступим.

Flex-grow

Это свойство увеличивает размер flex-элемента на основе ширины flex-контейнера.

Flex-shrink

Это свойство уменьшает flex-элемент в зависимости от ширины flex-контейнера. Оно противоположно flex-grow.

Обратите внимание, что flex-grow и flex-shrink работают на дочерних классах. Поэтому мы изменим все наши блоки следующим образом:

Поиграйтесь с размером окна браузера, и вы увидите результат.

Теперь используем flex-shrink.

Обратите внимание, что сначала нужно удалить свойство flex-wrap, иначе flex-shrink не будет работать.

Измените размер окна, и вы увидите результат.

Flex-wrap

Это свойство помогает установить количество flex-элементов в строке или в колонке.

Свойство работает в родительском классе .container. Итак, напишите код:

Flex-basis

Свойство похоже на добавление ширины к flex-элементу, но работает более гибко.

К примеру, flex-basis: 10em установит начальный размер flex-элемента равным 10em. Его конечный размер будет основан на доступном пространстве, на данных flex-grow и flex-shrink.

Как читать сокращения свойств Flexbox

Сокращение flex

Вот, как могут быть одновременно указаны свойства flex-grow, flex-shrink и flex-basis вместе взятые.

Попробуйте понять сокращение, написав следующий код.

Обратите внимание, что он работает только для дочерних классов.

Сокращение flex-flow

Это сокращение для свойств flex-direction и flex-wrap.

Напишите следующий код, который работает в родительском классе:

Сокращение place-content

Это сокращение для свойств justify-content и align-content.

Обратите внимание, что оно работает в родительском классе.

Если вы дочитали до конца, вам полагается большущая медаль. <3

Пишите в комментариях, интересны ли вам статьи по CSS и на какие темы. Нам будет приятно знать, что тема востребована.

Шпаргалки по HTML

Язык гипертекстовой разметки — основа фронтенда и не даром стоит на первом месте в перечне HTML/CSS/JS. Не стоит забывать и об HTML5 — пятой и последней версии.

Следующая шпаргалка содержит основные теги HTML5:

Если же вас интересуют коды спецсимволов, то они собраны здесь:

Шпаргалки по CSS

Дальше ожидаемо идёт стилизация элементов с помощью CSS. И несмотря на то, что CSS4 разрабатывается W3C с 2011 года, CSS3 всё ещё актуальная версия. Держите шпаргалку, которая упростит работу с каскадными таблицами стилей:

А за хинтами по CSS Grid и Flexbox можно обратиться к нашим статьям:

• CSS Flexbox в гифках
• CSS Grid в примерах

Шпаргалки по JavaScript

Этот язык не нуждается в представлении — его знает каждый веб-разработчик. Для тех, кто интересуется функциональным программированием на JS, есть такие подсказки:

Отдельного внимания заслуживает шпаргалка для веб-разработчика по массивам, строкам и регулярным выражениям в JavaScript:

Ещё один небезызвестный представитель в веб-разработке — Node.js. По нему тоже есть полезный список подсказок:

Шпаргалки по PHP

Как бы ни ругали PHP, это всё ещё основной язык бэкенда, на котором написано подавляющее большинство сайтов.

В следующей шпаргалке для веб-разработчиков собрана информация о синтаксисе PHP — отлично подойдёт для начинающих:

А это краткое руководство по PHP с массивами, строками, регулярными выражениями, форматами дат, паттернами и многим другим:

Шпаргалки по Django

Одну из них вы можете найти в шпаргалках по Python. Вторая же вышла в 2021 году и содержит более полную информацию, включая атрибуты модели, работу с базами данных и деплой на PythonAnywhere:

Видеокурс по Spring Boot

Java является одним из наиболее популярных кроссплатформенных языков программирования. Большое распространение в веб-разработке он получил благодаря Spring Boot.

Это не совсем шпаргалка, а комплексный видеокурс, который тем не менее поможет освоить инструмент и создать своё первое веб-приложение на Java:

Что-то упустили? Напишите в комментариях — мы всегда рады дельным советам.

1. Введение
2. Едем дальше
3. Перемещаем труды туда-сюда
4. Сборная солянка
5. Продвинутый уровень
6. Push & Pull
7. Origin и Git remotes

Введение

Прохождение Learn Git Branching начинается с азов.

1. Знакомство с Git commit

В этом уровне объясняется, что такое коммиты и как их следует делать. Для прохождения уровня достаточно ввести две команды для коммита, а именно:

Примечание Чтобы перейти в консоль LearnGitBranching, нажмите Tab.

Вообще, достаточно и просто двух команд git commit. Однако правилом хорошего тона является указание ветки (у нас это main) и именование коммитов в соответствии с тем, какие изменения были в них внесены.

2. Ветвление в Git

В этом уровне следует создать и переключиться на новую ветку bugFix:

3. Git merge

Теперь надо понять, как объединять изменения из двух разных веток. Для этого будем использовать команду git merge. Такой тип слияния создаёт коммит, который имеет сразу двух родителей. Для прохождения уровня введите следующие команды:

4. Git rebase

Это второй способ объединения изменений в двух ветках. При ребейзе Git по сути копирует набор коммитов и переносит их в другое место. В учебнике сказано, что с rebase история коммитов будет чище, но в основном используется именно merge.

Давайте посмотрим на решение:

Едем дальше

Далее в прохождении Learn Git Branching вы столкнётесь с демонстрацией способов перемещения по дереву коммитов.

1. HEAD

Суть в том, чтобы отделить HEAD от ветки bugFix и присвоить его последнему коммиту в этой же ветке:

2. Относительные ссылки: ^

Перемещаемся на первого родителя ветки bugFix:

3. Оператор «~» и branch forcing

Именно на этой задаче у многих возникают проблемы, потому что схема выглядит весьма запутанной. Но чтобы осуществить перемещение, достаточно ввести в консоль Learn Git Branching такие команды:

4. Отмена изменений в Git

Здесь просто отменяем изменения локально и удалённо. Поскольку изначально мы находимся на локальной ветке (она отмечена звёздочкой), то и начинаем с неё:

Перемещаем труды туда-сюда

Теперь речь пойдёт о перемещении изменений — возможности, позволяющей разработчику сказать «Хочу, чтобы эти изменения были вот тут, а вот эти — вон там» и получить точные, правильные результаты, не теряя при этом гибкости разработки.

1. Git cherry-pick

Здесь нужно перенести копии выбранных комитов в main, что делается всего одной строкой:

2. Git interactive rebase

Это задача с использованием интерактивного окна для перемещения элементов. Для начала впишите код:

Затем выделите и переставьте элементы в интерактивном окне Learn Git Branching следующим образом:

Сборная солянка

На этом прохождение основ в Learn Git Branching заканчивается, и дальше именно вы решаете, какую команду выбрать. Я просто приведу свои варианты решения задач из сборной солянки, но вы всегда можете воспользоваться другими.

1. Выберем один коммит

2. Жонглируем коммитами

3. Жонглируем коммитами №2

4. Теги

5. Git describe

Продвинутый уровень

Вот мы и подошли к продвинутому уровню в прохождении Learn Git Branching.

1. Rebase на нескольких ветках

Перемещения здесь выглядят сложными, но на деле всё просто:

2. Определение родителей

Решить можно в три, две и в одну команду. Сделаем в одну:

3. Спутанные ветки

Задание считается сложным, но достаточно просто абстрагироваться и вспомнить полезную команду git cherry-pick:

Push & Pull

Теперь переходим к удалённым репозиториям. В этих ответах только код.

1. Введение в клонирование

2. Удалённые ветки в Git

3. Git fetch

4. Git pull

5. Коллективная работа

6. Git push

7. Когда наработки расходятся

8. Remote rejected

Origin и Git remotes

Это завершающий этап прохождения интерактива Learn Git Branching, в котором, как и в предыдущем, содержится восемь заданий. Здесь я приведу только их решения.

1. Слияние фича-бранчей (веток)

2. Merge? Нет, нет, спасибо.

3. Удалённые-отслеживаемые ветки

4. Аргументы команды push

5. Подробности аргумента <пункт назначения>

6. Аргументы git fetch

7. Странный <источник>

8. Аргументы для pull

Надеюсь, моё прохождение Learn Git Branching окажется полезным. Старайтесь проходить уровни самостоятельно, чтобы закреплять полученные знания, но если где-то застрянете — обращайтесь за помощью к этой шпаргалке.

Держите больше шпаргалок по Git.

1. Шпаргалки по HTML
2. Шпаргалки по CSS

Шпаргалки по HTML

Язык гипертекстовой разметки — основа фронтенда, её скелет, на который вешаются стили и функционал. Самая последняя версия — HTML5: поддерживает все теги и элементы. Так, с появлением HTML 5 были добавлены новые типы ввода:

• email для ввода электронной почты:<input type="email" name="user_email" />
• url для соответствующих input-полей: <input type="url" name="user_url" />
• number для числовых значений: <input type="number" name="points" min="1" max="10" />
• range для диапазона чисел: <input type="range" name="points" min="1" max="10" />
• Выбор даты: <input type="date" name="user_date" />
• Выбор цвета: <input type="color" name="user_color" />. Opera позволит выбрать цвет из палитры, а Chrome разрешит отправлять форму только с шестнадцатеричным значением.

Держите шпаргалку по HTML4 и HTML5. Там же вы сможете найти различные спецификации поддержки и совместимости для десктопа и мобильных устройств для HTML 5 в разных браузерах.

А в следующих двух шпаргалках представлены символьные объекты HTML. Что это такое? Некоторые символы зарезервированы за HTML-разметкой, а потому не могут использоваться напрямую, поскольку есть шанс поломать вёрстку. Например, чтобы прописать левую или правую угловую скобку (<>) в статье, мы записываем их в HTML как < и > соответственно. В противном случае затронем теги вёрстки.

Вот сами чит-листы по HTML-символам:

То же самое, но на русском вы найдёте на htmlbook.ru.

Следующая шпаргалка содержит основные теги HTML5:

Также держите расширенную шпаргалку с тегами HTML5: четыре страницы с подсказками отлично подойдут, чтобы подготовиться к собеседованию.

Но перед тем, как перейти к CSS, нельзя не отметить едва ли не самую удобную шпаргалку по HTML, которая выручит в любой ситуации, будь то подготовка к интервью или рабочий процесс.

Шпаргалки по CSS

Каскадные таблицы стилей, они же CSS, описывают, как именно HTML-элементы будут отображаться. При этом один и тот же стиль может применяться сразу к нескольким элементам или даже страницам.

При первом знакомстве с CSS могут возникнуть проблемы с обозначением единиц измерения. Некоторые из них пришли из типографской традиции, как пункт (pt) и пика (pc), другие, например сантиметр (cm) и дюйм (in), знакомы нам из обихода. Есть и специальная единица измерения, придуманная специально для CSS: px.

Держите шпаргалку по единицам измерения в CSS, чтобы не запутаться:

А ещё есть селекторы, которые определяют, к какому элементу применять то или иное CSS-правило. Если вас интересуют CSS-селекторы, то вам сюда:

А вот ещё одна удобная шпаргалка по CSS, которая собрала в себе максимум полезной информации. Также посмотрите, как правильно использовать CSS-селектор :has().

Надеемся, что шпаргалки по HTML и CSS оказались полезными. Чит-листы по каким языкам и технологиям вы хотели бы увидеть? Напишите в комментариях.

1. Ключевые слова
2. Комментарии
3. Операторы
4. Джойны
5. Другие шпаргалки по SQL

Ключевые слова

Это перечень ключевых слов в SQL с описаниями и примерами использования. Зарезервированные ключевые слова используются для определения и манипулирования данными.

Шпаргалка с ключевыми словами SQL позволит вспомнить необходимую информацию в нужный момент, особенно это актуально перед собеседованиями.

Комментарии

Однострочные комментарии в SQL начинаются с двух тире -- и продолжаются до конца строки:

Многострочные комментарии в SQL напоминают комментирование в Java. Они начинаются со слеша и звёздочки /* и заканчиваются звёздочкой со слешем */:

Примечание Синтаксис комментариев зависит от системы, к которой выполняется запрос.

Операторы

Чтобы не путаться, разобьём в этой шпаргалке операторы SQL по разным столбцам в соответствии с их типом:

Джойны

JOIN используется для связи двух или более таблиц с помощью общих атрибутов внутри них. Соединение таблиц может быть внутренним (INNER) или внешним (OUTER), причём внешнее соединение может быть левым (LEFT), правым (RIGHT) или полным (FULL).

• INNER JOIN — получение записей с одинаковыми значениями в обеих таблицах, т.е. получение пересечения таблиц.
• FULL OUTER JOIN — объединяет записи из обеих таблиц (если условие объединения равно true) и дополняет их всеми записями из обеих таблиц, которые не имеют совпадений. Для записей, которые не имеют совпадений из другой таблицы, недостающее поле будет иметь значение NULL.
• LEFT JOIN — возвращает все записи, удовлетворяющие условию объединения, плюс все оставшиеся записи из внешней (левой) таблицы, которые не удовлетворяют условию объединения.
• RIGHT JOIN — работает точно так же, как и левое объединение, только в качестве внешней таблицы будет использоваться правая.

Держите понятную иллюстрацию вышеизложенного:

Пример: следующий запрос выберет все заказы из таблицы orders с информацией о клиенте из таблицы customers:

Другие шпаргалки по SQL

Следующая шпаргалка очень пригодится, потому как включает также агрегатные и строковые функции. Всё это с доступными примерами:

Ещё одна удобная шпаргалка по SQL с типами данных и командами, объединёнными по общим признакам. Есть примеры использования:

Также рекомендуем ознакомиться с основными командами SQL, которые должен знать каждый программист.

— Вась, у нас там приложение слегло. Посмотри, что случилось?— Эмм... А как я это сделаю?..

Да, у Василия, судя по всему, не настроено логирование. И это ужасно, хотя бы по нескольким причинам:

1. Он никогда не узнает, из-за чего его приложение упало.
2. Он не сможет отследить, что привело к ошибке (даже если приложение не упало).
3. Он не сможет посмотреть состояние своей системы в момент времени N.
4. Он не сможет профилактически поглядывать в логи, чтобы следить за работоспособностью приложения.
5. Он не сможет хвастаться своим… (кхе-кхе).

Впрочем, последний пункт, наверно, лишний. Однако, одну вещь мы поняли наверняка:

Логирование — крайне важная штука в программировании.

В языке Python основным инструментом для логирования является библиотека logging. Так давайте вместе с IT Resume рассмотрим её подробней.

Что такое logging?

Модуль logging в Python — это набор функций и классов, которые позволяют регистрировать события, происходящие во время работы кода. Этот модуль входит в стандартную библиотеку, поэтому для его использования достаточно написать лишь одну строку:

Основная функция, которая пригодится Вам для работы с этим модулем — basicConfig(). В ней Вы будете указывать все основные настройки (по крайней мере, на базовом уровне).

У функции basicConfig() 3 основных параметра:

1. level — уровень логирования на Python;
2. filename — место, куда мы направляем логи;
3. format — вид, в котором мы сохраняем результат.

Давайте рассмотрим каждый из параметров более подробно.

Уровни логирования на Python

Наверно, всем очевидно, что события, которые генерирует наш код кардинально могут отличаться между собой по степени важности. Одно дело отлавливать критические ошибки (FatalError), а другое — информационные сообщения (например, момент логина пользователя на сайте).

Соответственно, чтобы не засорять логи лишней информацией, в basicConfig() Вы можете указать минимальный уровень фиксируемых событий.

По умолчанию фиксируются только предупреждения (WARNINGS) и события с более высоким приоритетом: ошибки (ERRORS) и критические ошибки (CRITICALS).

А далее, чтобы записать информационное сообщение (или вывести его в консоль, об этом поговорим чуть позже), достаточно написать такой код:

И так далее. Теперь давайте обсудим, куда наши сообщения попадают.

Отображение лога и запись в файл

За место, в которое попадают логи, отвечает параметр filename в basicConfig. По умолчанию все Ваши логи будут улетать в консоль.

Другими словами, если Вы просто выполните такой код:

То сообщение WOW придёт Вам в консоль. Понятно, что в консоли никому эти сообщения не нужны. Как же тогда направить запись лога в файл? Очень просто:

Ок, с записью в файл и выбором уровня логирования все более-менее понятно. А как настроить свой шаблон? Разберёмся.

Кстати, мы собрали для Вас сублимированную шпаргалку по логированию на Python в виде карточек. У нас ещё много полезностей, не пожалеете 🙂

Форматирование лога

Итак, последнее, с чем нам нужно разобраться — форматирование лога. Эта опция позволяет Вам дополнять лог полезной информацией — датой, названием файла с ошибкой, номером строки, названием метода и так далее.

Сделать это можно, как все уже догадались, с помощью параметра format.

Например, если внутри basicConfig указать:

То вывод ошибки будет выглядеть так:

Вы можете сами выбирать, какую информацию включить в лог, а какую оставить. По умолчанию формат такой:

<УРОВЕНЬ>: <ИМЯ_ЛОГГЕРА>: <СООБЩЕНИЕ>.

Важно помнить, что все параметры logging.basicConfig должны передаваться до первого вызова функций логирования.

Эпилог

Что же, мы разобрали все основные параметры модуля logging и функции basicConfig, которые позволят Вам настроить базовое логирование в Вашем проекте. Дальше — только практика и набивание шишек 🙂

Вместо заключения просто оставим здесь рабочий кусочек кода, который можно использовать 🙂

Если хотите разобраться с параметрами более подробно, Вам поможет официальная документация (очень неплохая, кстати).

Важно: при использовании методов создаётся новая строка, которая записывается в ту же переменную вместо старой строки.

Как изменить регистр

toLowerCase

Преобразует символы в строке в нижний регистр.

toUpperCase

Преобразует символы в строке в верхний регистр.

Как объединить строки

concat

Объединяет две или более строки и возвращает одну строку.

Как разделить строку на подстроки

split

Разбивает строку в массив по указанному разделителю, которым может быть подстрока или регулярное выражение. Вторым параметром можно указать ограничитель.

Как повторить строку

repeat

Принимает в качестве параметра число и повторяет строку указанное количество раз.

Как найти подстроку

charAt

Возвращает символ по указанному индексу.

includes

Проверяет, содержит ли строка указанную подстроку. Возвращает значение true или false. Вторым параметром можно указать позицию в строке, с которой следует начать поиск.

indexOf

Возвращает индекс первого найденного вхождения указанного значения. Поиск ведётся от начала до конца строки. Если совпадений нет, возвращает -1. Вторым параметром можно передать позицию, с которой следует начать поиск.

lastIndexOf

Возвращает индекс последнего найденного вхождения указанного значения. Поиск ведётся от конца к началу строки. Если совпадений нет, возвращает -1. Вторым параметром можно передать позицию, с которой следует начать поиск.

endsWith

Проверяет, заканчивается ли строка символами, заданными первым параметром. Возвращает true или false. Есть второй необязательный параметр — ограничитель по диапазону поиска. По умолчанию он равен длине строки.

startsWith

Проверяет, начинается ли строка с указанных символов. Возвращает true или false. Вторым параметром можно указать индекс, с которого следует начать проверку.

search

Проверяет, есть ли в строке указанное значение или регулярное выражение и возвращает индекс начала совпадения.

Как извлечь подстроку

slice

Извлекает часть строки и возвращает новую строку. Обязательный параметр — начало извлечения. Вторым параметром можно установить границу (по умолчанию — до конца строки).

substring

Извлекает символы из строки между двумя указанными индексами. Второй индекс указывать не обязательно. В таком случае будут извлечены все символы от начала до конца строки. В отличие от slice, можно задавать start больше, чем end. Отрицательные значения не поддерживаются, они интерпретируются как 0.

substr

Извлекает часть строки указанной длины. Первым параметром принимает стартовую позицию, вторым — длину. Значение первого параметра может быть отрицательным, тогда позиция определяется с конца строки.

Как заменить подстроку

replace

Ищет в строке указанное значение или регулярное выражение и возвращает новую строку, в которой выполнена замена на второй параметр. Можно заменить найденные значения другой строкой или передать функцию для работы над совпадениями.

replaceAll

Даёт такой же результат, как метод replace() с глобальным флагом g. Заменяет все найденные совпадения другой строкой или переданной функцией.

Как добавить в строку пробелы или другие символы

padEnd

Добавляет в конце отступы, пока строка не достигнет длины, заданной первым параметром. Вторым параметром можно указать другой символ вместо пробела.

padStart

Добавляет в начале отступы, пока строка не достигнет длины, заданной первым параметром. Вторым параметром можно указать другой символ вместо пробела.

Как удалить пробелы в строке

trim

Обрезает пробелы с обоих концов строки.

trimEnd

Обрезает пробелы в конце строки

trimStart

Обрезает пробелы в начале строки

Как работать с Юникодом

charCodeAt

Возвращает числовое значение Юникода по указанному индексу. Обратите внимание: у букв в верхнем и нижнем регистрах разные коды.

fromCharCode

Преобразует числовые значения Юникода в читаемые символы.

Примечание: при работе с эмодзи, редкими математическими символами, иероглифами нужно помнить о суррогатных парах. Это символы, которые записываются двумя 16-битными словами. Длина таких строк — 2.

Суррогатные пары не учитывались при создании JS и методы строк charCodeAt / fromCharCode обрабатывают их некорректно. Правильно работают с суррогатными парами редкие методы String.fromCodePoint и str.codePointAt, которые появились в языке недавно.

Для работы со строками в JS есть не только встроенные методы, но и сторонние библиотеки. Они решают задачи более сложные задачи. Но подключать их имеет смысл только в том случае, если возможностей встроенных методов действительно не хватает.

При составлении этой шпаргалки я пользовался «Современным учебником JavaScript» Ильи Кантора и документацией MDN.

Больше полезных материалов по JS:

• Шпаргалка по современному JavaScript
• Примеры задач по JavaScript для подготовки джуна к собеседованию по фронтенду

1. Шпаргалка по основам Python
2. Регулярные выражения в Python
3. Шпаргалка по pandas
4. Шпаргалка по Django
5. Виртуальное окружение Python

Шпаргалка по основам Python

Здесь собраны переменные, методы, индексы и срезы, а также форматирование дат с соответствующими подсказками в сносках. Если вы только начали изучать программирование на языке Python, смело обращайтесь к этой шпаргалке:

Регулярные выражения в Python

Шпаргалка собрала большое количество информации о регулярках, включая:

• специальные символы;
• объекты Match;
• методы модуля re;
• escape-символы;
• Raw String Notation;
• расширения;
• объекты;
• флаги;
• ссылки на документацию: Regular Expression HOWTO и Regular expression operations.

Шпаргалка по pandas

Эта библиотека для анализа данных прекрасно себя зарекомендовала в Data Science. Такая шпаргалка поможет в построении различных диаграмм с использованием pandas:

Шпаргалка по Django

Будет полезна тем, кто желает освоить веб-разработку на Python. Здесь вы найдёте базовую информацию по работе с фреймворком — от его установки и до операций с Git:

Виртуальное окружение Python

Эта шпаргалка собрала популярные инструменты для создания и работы с изолированными средами, а также команды по установке данных инструментов и активации виртуального окружения:

Библиотека компьютерного зрения и машинного обучения с открытым исходным кодом. В неё входят более 2500 алгоритмов, в которых есть как классические, так и современные алгоритмы для компьютерного зрения и машинного обучения. Эта библиотека имеет интерфейсы на различных языках, среди которых есть Python (в этой статье используем его), Java, C++ и Matlab.

В этой шпаргалке собраны основные операции OpenCV на Python с готовыми примерами кода: от чтения и вывода изображений до распознавания лиц и контуров объектов. Каждый блок можно скопировать и сразу использовать в своём проекте.

Содержание

1. Установка.
2. Импорт и просмотр изображения.
3. Обрезка.
4. Изменение размера.
5. Поворот.
6. Градация серого и порог.
7. Размытие/сглаживание.
8. Рисование прямоугольников.
9. Рисование линий.
10. Текст на изображении.
11. Распознавание лиц.
12. Contours — распознавание объектов.
13. Сохранение изображения.

Импорт и просмотр изображения

Примечание При чтении способом выше изображение находится в цветовом пространстве не RGB (как все привыкли), а BGR. Возможно, в начале это не так важно, но как только вы начнёте работать с цветом — стоит знать об этой особенности. Есть 2 пути решения:

1. Поменять местами 1-й канал (R — красный) с 3-м каналом (B — синий), и тогда красный цвет будет (0,0,255), а не (255,0,0).
2. Поменять цветовое пространство на RGB:rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)И тогда в коде работать уже не с image, а с rgb_image.

Примечание Чтобы закрыть окно, в котором отображается изображение, нажмите любую клавишу. Если использовать кнопку закрытия окна, можно наткнуться на подвисания.

На протяжении статьи для вывода изображений будет использоваться следующий код:

Кадрирование

Где image[10:500, 500:2000] — это image[y:y + высота, x:x + ширина].

Изменение размера

Эта функция учитывает соотношение сторон оригинального изображения. Другие функции изменения размера изображений можно увидеть здесь.

Поворот

image.shape возвращает высоту, ширину и каналы. M — матрица поворота — поворачивает изображение на 180 градусов вокруг центра. -ve — это угол поворота изображения по часовой стрелке, а +ve, соответственно, против часовой.

Перевод в градации серого и в чёрно-белое изображение по порогу

gray_image — это одноканальная версия изображения.

Функция threshold возвращает изображение, в котором все пиксели, которые темнее (меньше) 127 заменены на 0, а все, которые ярче (больше) 127, — на 255.

Для ясности другой пример:

Здесь всё, что темнее, чем 150, заменяется на 10, а всё, что ярче, — на 200.

Остальные threshold-функции описаны здесь.

Размытие/сглаживание

Функция GaussianBlur (размытие по Гауссу) принимает 3 параметра:

1. Исходное изображение.
2. Кортеж из 2 положительных нечётных чисел. Чем больше числа, тем больше сила сглаживания.
3. sigmaX и sigmaY. Если эти параметры оставить равными 0, то их значение будет рассчитано автоматически.

Больше про размытие здесь.

Рисование прямоугольников

Эта функция принимает 5 параметров:

1. Само изображение.
2. Координата верхнего левого угла (x1, y1).
3. Координата нижнего правого угла (x2, y2).
4. Цвет прямоугольника (GBR/RGB в зависимости от выбранной цветовой модели).
5. Толщина линии прямоугольника.

Рисование линий

Функция line принимает 5 параметров:

1. Само изображение, на котором рисуется линия.
2. Координата первой точки (x1, y1).
3. Координата второй точки (x2, y2).
4. Цвет линии (GBR/RGB в зависимости от выбранной цветовой модели).
5. Толщина линии.

Текст на изображении

Функция putText принимает 7 параметров:

1. Непосредственно изображение.
2. Текст для изображения.
3. Координата нижнего левого угла начала текста (x, y).
4. Используемый шрифт.
5. Размер шрифта.
6. Цвет текста (GBR/RGB в зависимости от выбранной цветовой модели).
7. Толщина линий букв.

Распознавание лиц

На этот раз без пёсиков.

detectMultiScale — общая функция для распознавания как лиц, так и объектов. Чтобы функция искала именно лица, мы передаём ей соответствующий каскад.

Функция detectMultiScale принимает 4 параметра:

1. Обрабатываемое изображение в градации серого.
2. Параметр scaleFactor. Некоторые лица могут быть больше других, поскольку находятся ближе, чем остальные. Этот параметр компенсирует перспективу.
3. Алгоритм распознавания использует скользящее окно во время распознавания объектов. Параметр minNeighbors определяет количество объектов вокруг лица. То есть чем больше значение этого параметра, тем больше аналогичных объектов необходимо алгоритму, чтобы он определил текущий объект, как лицо. Слишком маленькое значение увеличит количество ложных срабатываний, а слишком большое сделает алгоритм более требовательным.
4. minSize — непосредственно размер этих областей.

Contours — распознавание объектов

Распознавание объектов производится с помощью цветовой сегментации изображения. Для этого есть две функции: cv2.findContours и cv2.drawContours.

В этой статье детально описано обнаружение объектов с помощью цветовой сегментации. Всё, что вам нужно для неё, находится там.

Сохранение изображения

Заключение

OpenCV — отличная библиотека с лёгкими алгоритмами, которые могут использоваться в 3D-рендере, продвинутом редактировании изображений и видео, отслеживании и идентификации объектов и людей на видео, поиске идентичных изображений из набора и для много-много чего ещё.

Эта библиотека очень важна для тех, кто разрабатывает проекты, связанные с машинным обучением в области изображений.

Часто задаваемые вопросы

Что такое OpenCV и для чего она используется?

OpenCV (Open Source Computer Vision Library) — это библиотека компьютерного зрения с открытым исходным кодом, содержащая более 2500 алгоритмов. Она используется для обработки изображений, распознавания лиц и объектов, работы с видеопотоком, 3D-рендеринга и задач машинного обучения.

Как установить OpenCV для Python?

Установить OpenCV можно через pip командой pip install opencv-python. Для расширенной версии с дополнительными модулями используйте pip install opencv-contrib-python.

Почему OpenCV читает изображения в BGR, а не в RGB?

Это связано с историческими причинами: формат BGR был популярен на ранних этапах развития библиотеки. Для преобразования в привычный RGB используйте функцию cv2.cvtColor(image, cv2.COLOR_BGR2RGB).

Какие основные операции с изображениями поддерживает OpenCV?

OpenCV поддерживает чтение, запись, кадрирование, изменение размера, поворот, перевод в градации серого, размытие, рисование графических примитивов (прямоугольники, линии), наложение текста, распознавание лиц и контуров объектов.

Что такое образы и контейнеры Docker

Docker — отличный инструмент для создания микросервисов, который позволяет создавать облачные приложения и системы. Чтобы выжать из него максимум через терминал, вам пригодятся 10 команд, перечисленных ниже.

Контейнер запускается путём запуска образа. Образ — исполняемый пакет, который содержит всё необходимое для запуска приложения: код, среду выполнения, библиотеки, переменные среды и конфигурационные файлы.Контейнер создаётся из образа. Это то, чем становится образ во время исполнения (иными словами, образом с состоянием или пользовательским процессом). Вы можете просмотреть список запущенных контейнеров с помощью команды docker ps, прямо как в Linux.

Docker Concepts

10 основных команд Docker

1. docker ps — список контейнеров

Показывает список запущенных контейнеров. Некоторые из полезных флагов:

• -a / --all — список всех контейнеров (по умолчанию показывает только запущенные)
• -q / --quiet — перечислить только id контейнеров (полезно, когда вам нужны все контейнеры)

2. docker pull — скачивание образов

Большинство образов создаётся на основе базового образа из Docker Hub. Docker Hub содержит множество готовых образов, которые можно использовать вместо того, чтобы создавать и настраивать свой собственный. Чтобы скачать определённый образ или набор образов (репозиторий), используйте команду docker pull.

3. docker build — сборка образа

Эта команда собирает образ Docker из Dockerfile и «контекста». Контекст сборки — это набор файлов, расположенных по определённому пути или URL. Используйте флаг -t, чтобы задать имя образу. Например, команда docker build -t my_container . соберёт образ, используя текущую директорию, на что указывает точка в конце.

4. docker run — запуск контейнера

Запускает контейнер на основе указанного образа. Эту команду можно дополнять другими, например, docker run my_image -it bash запустит контейнер, а затем запустит в нём bash.

5. docker logs — просмотр логов

Эта команда используется для просмотра логов указанного контейнера. Можно использовать флаг --follow, чтобы следить за логами работающей программы: docker logs --follow my_container.

6. docker volume ls — тома

Показывает список томов, которые являются предпочитаемым механизмом для сохранения данных, генерируемых и используемых контейнерами Docker.

7. docker rm — удаление контейнеров

Удаляет один и более контейнеров, например, docker rm my_container.

8. docker rmi — удаление образов

Удаляет один и более образов, например, docker rmi my_image.

9. docker stop — остановка контейнеров

Останавливает один и более контейнеров. Команда docker stop my_container остановит один контейнер, а docker stop $(docker ps -a -q) — все запущенные. Более грубый способ — использовать docker kill my_container, который не пытается сначала аккуратно завершить процесс.

Комбинации команд для очистки

Можно комбинировать эти команды. Например, для очистки всех контейнеров и образов:

1. Останавливаем все запущенные контейнеры — docker kill $(docker ps -q)
2. Удаляем все остановленные контейнеры — docker rm $(docker ps -a -q)
3. Удаляем все образы — docker rmi $(docker images -q)

Существует гораздо больше команд для Docker, о которых можно почитать в документации. Пробуйте новые примеры, комбинируйте их, и скоро это войдёт в привычку.

Смотрите также: Как начать использовать Docker в своих проектах

Часто задаваемые вопросы

Чем отличается docker stop от docker kill?

docker stop отправляет сигнал SIGTERM и даёт процессу время на корректное завершение (graceful shutdown). docker kill отправляет SIGKILL и принудительно завершает процесс без ожидания. Используйте stop в продакшене, kill — когда контейнер завис.

Как удалить все неиспользуемые ресурсы Docker?

Команда docker system prune удаляет все остановленные контейнеры, неиспользуемые сети, образы без тегов и кэш сборки. Добавьте флаг -a, чтобы удалить ещё и образы, не связанные ни с одним контейнером.

Нужно ли учить все команды Docker?

Нет, достаточно освоить 10–15 базовых команд, перечисленных в этой статье. Остальные можно находить по мере необходимости в официальной документации или через docker --help.

Такие команды, или сниппеты, редко описаны в документации. Рассмотрим несколько на примерах, полезных как для разработчиков, так и для администраторов баз данных. Эта статья — часть нашего полного путеводителя по SQL.

Кратко: В этой статье — 15 практических команд PostgreSQL, сгруппированных по задачам: получение информации о базе данных (размер, таблицы, пользователи), работа с данными (удаление дубликатов, изменение типов, поиск пропусков) и управление конфигурацией СУБД (расположение кластера, типы данных, применение настроек без перезагрузки).

Получение информации о базе данных

Размер базы данных

Чтобы получить физический размер файлов (хранилища) базы данных, используем следующий запрос:

Результат будет представлен как число вида 41809016.

current_database() — функция, которая возвращает имя текущей базы данных. Вместо неё можно ввести имя текстом:

Для того, чтобы получить информацию в человекочитаемом виде, используем функцию pg_size_pretty:

В результате получим информацию вида 40 Mb.

Перечень таблиц

Иногда требуется получить перечень таблиц базы данных. Для этого используем следующий запрос:

information_schema — стандартная схема базы данных, которая содержит коллекции представлений (views), таких как таблицы, поля и т.д. Представления таблиц содержат информацию обо всех таблицах баз данных.

Запрос, описанный ниже, выберет все таблицы из указанной схемы текущей базы данных:

В последнем условии IN можно указать имя определенной схемы.

Размер таблицы

По аналогии с получением размера базы данных размер данных таблицы можно вычислить с помощью соответствующей функции:

Функция pg_relation_size возвращает объём, который занимает на диске указанный слой заданной таблицы или индекса.

Имя самой большой таблицы

Для того, чтобы вывести список таблиц текущей базы данных, отсортированный по размеру таблицы, выполним следующий запрос:

Для того, чтобы вывести информацию о самой большой таблице, ограничим запрос с помощью LIMIT:

relname — имя таблицы, индекса, представления и т.п.
relpages — размер представления этой таблицы на диске в количествах страниц (по умолчанию одна страницы равна 8 Кб).
pg_class — системная таблица, которая содержит информацию о связях таблиц базы данных.

Перечень подключенных пользователей

Чтобы узнать имя, IP и используемый порт подключенных пользователей, выполним следующий запрос:

Активность пользователя

Чтобы узнать активность соединения конкретного пользователя, используем следующий запрос:

Работа с данными и полями таблиц

Удаление одинаковых строк

Если так получилось, что в таблице нет первичного ключа (primary key), то наверняка среди записей найдутся дубликаты. Если для такой таблицы, особенно большого размера, необходимо поставить ограничения (constraint) для проверки целостности, то удалим следующие элементы:

• дублирующиеся строки,
• ситуации, когда одна или более колонок дублируются (если эти колонки предполагается использовать в качестве первичного ключа).

Рассмотрим таблицу с данными покупателей, где задублирована целая строка (вторая по счёту).

Удалить все дубликаты поможет следующий запрос:

Уникальное для каждой записи поле ctid по умолчанию скрыто, но оно есть в каждой таблице.

Последний запрос требователен к ресурсам, поэтому будьте аккуратны при его выполнении на рабочем проекте.

Теперь рассмотрим случай, когда повторяются значения полей.

Если допустимо удаление дубликатов без сохранения всех данных, выполним такой запрос:

Если данные важны, то сначала нужно найти записи с дубликатами:

Перед удалением такие записи можно перенести во временную таблицу или заменить в них значение customer_id на другое.

Общая форма запроса на удаление описанных выше записей выглядит следующим образом:

Безопасное изменение типа поля

Может возникнуть вопрос о включении в этот список такой задачи. Ведь в PostgreSQL изменить тип поля очень просто с помощью команды ALTER. Давайте для примера снова рассмотрим таблицу с покупателями.

Для поля customer_id используется строковый тип данных varchar. Это ошибка, так как в этом поле предполагается хранить идентификаторы покупателей, которые имеют целочисленный формат integer. Использование varchar неоправданно. Попробуем исправить это недоразумение с помощью команды ALTER:

Но в результате выполнения получим ошибку: Для оптимизации запросов — разбор индексов PostgreSQL.

Это значит, что нельзя просто так взять и изменить тип поля при наличии данных в таблице. Так как использовался тип varchar, СУБД не может определить принадлежность значения к integer. Хотя данные соответствуют именно этому типу. Для того, чтобы уточнить этот момент, в сообщении об ошибке предлагается использовать выражение USING, чтобы корректно преобразовать наши данные в integer:

В результате всё прошло без ошибок:

Обратите внимание, что при использовании USING кроме конкретного выражения возможно использование функций, других полей и операторов.

Например, преобразуем поле customer_id обратно в varchar, но с преобразованием формата данных:

В результате таблица примет следующий вид:

Поиск «потерянных» значений

Будьте внимательны при использовании последовательностей (sequence) в качестве первичного ключа (primary key): при назначении некоторые элементы последовательности случайно пропускаются, в результате работы с таблицей некоторые записи удаляются. Такие значения можно использовать снова, но найти их в больших таблицах сложно.

Рассмотрим два варианта поиска.

Первый способ
Выполним следующий запрос, чтобы найти начало интервала с «потерянным» значением:

В результате получим значения: 5, 9 и 11.

Если нужно найти не только первое вхождение, а все пропущенные значения, используем следующий (ресурсоёмкий!) запрос:

В результате видим следующий результат: 5, 9 и 6.

Второй способ
Получаем имя последовательности, связанной с customer_id:

И находим все пропущенные идентификаторы:

Подсчёт количества строк в таблице

Количество строк вычисляется стандартной функцией count, но её можно использовать с дополнительными условиями.

Общее количество строк в таблице:

Количество строк при условии, что указанное поле не содержит NULL:

Количество уникальных строк по указанному полю:

Использование транзакций

Транзакция объединяет последовательность действий в одну операцию. Её особенность в том, что при ошибке в выполнении транзакции ни один из результатов действий не сохранится в базе данных.

Начнём транзакцию с помощью команды BEGIN.

Для того, чтобы откатить все операции, расположенные после BEGIN, используем команду ROLLBACK.

А чтобы применить — команду COMMIT.

Просмотр и завершение исполняемых запросов

Для того, чтобы получить информацию о запросах, выполним следующую команду:

Для того, чтобы остановить конкретный запрос, выполним следующую команду, с указанием id процесса (pid):

Для того, чтобы прекратить работу запроса, выполним:

Работа с конфигурацией

Поиск и изменение расположения экземпляра кластера

Возможна ситуация, когда на одной операционной системе настроено несколько экземпляров PostgreSQL, которые «сидят» на различных портах. В этом случае поиск пути к физическому размещению каждого экземпляра — достаточно нервная задача. Для того, чтобы получить эту информацию, выполним следующий запрос для любой базы данных интересующего кластера:

Изменим расположение на другое с помощью команды:

Но для того, чтобы изменения вступили в силу, требуется перезагрузка.

Получение перечня доступных типов данных

Получим перечень доступных типов данных с помощью команды:

typname — имя типа данных.
typlen — размер типа данных.

Изменение настроек СУБД без перезагрузки

Настройки PostgreSQL находятся в специальных файлах вроде postgresql.conf и pg_hba.conf. После изменения этих файлов нужно, чтобы СУБД снова получила настройки. Для этого производится перезагрузка сервера баз данных. Понятно, что приходится это делать, но на продакшн-версии проекта, которым пользуются тысячи пользователей, это очень нежелательно. Поэтому в PostgreSQL есть функция, с помощью которой можно применить изменения без перезагрузки сервера:

Но, к сожалению, она применима не ко всем параметрам. В некоторых случаях для применения настроек перезагрузка обязательна.

Мы рассмотрели команды, которые помогут упростить работу разработчикам и администраторам баз данных, использующим PostgreSQL. Но это далеко не все возможные приёмы. Если вы сталкивались с интересными задачами, напишите о них в комментариях. Поделимся полезным опытом!

Часто задаваемые вопросы

Как быстро узнать размер всех баз данных на сервере PostgreSQL?

Выполните запрос SELECT datname, pg_size_pretty(pg_database_size(datname)) FROM pg_database ORDER BY pg_database_size(datname) DESC; — он выведет список всех баз с их размерами в человекочитаемом формате.

Как безопасно удалить дубликаты в большой таблице без блокировки?

Для больших таблиц рекомендуется удалять дубликаты пакетами с помощью DELETE ... WHERE ctid IN (SELECT ctid ... LIMIT 1000) в цикле внутри транзакции. Это позволяет избежать длительной блокировки таблицы и чрезмерного использования памяти.

Чем отличается pg_cancel_backend от pg_terminate_backend?

Функция pg_cancel_backend отменяет текущий запрос процесса, но сохраняет само соединение активным. Функция pg_terminate_backend полностью завершает серверный процесс и разрывает соединение. Начинайте с cancel и используйте terminate только если отмена не помогла. Чем PostgreSQL отличается от MySQL и SQLite — сравнение трёх СУБД.

Недавно у меня появилась необходимость создать приложение на Django, которое бы позволило пользователям оставлять адреса своей электронной почты и получать приветственное письмо в ответ. Проект получилось реализовать за несколько часов, большая часть времени ушла на тестирование пользовательского интерфейса. В этой статье я покажу, как сделать такое простое приложение на Django.

В этом руководстве мы будем использовать Gmail.

Создание проекта

Для начала создадим проект Django. Введем следующую команду в терминале:

Теперь переместимся в папку с новым проектом:

Создание нового приложения

Теперь нам необходимо создать новое приложение. Запустим следующую команду, которая создаст папку send_email с несколькими файлами внутри нашего проекта:

Изменение настроек проекта

Теперь немного изменим настройки проекта. Мы добавим наше приложение и всю информацию, связанную с рассылкой писем в файл settings.py. Добавим следующие данные:

В разделе файла INSTALLED_APPS необходимо добавить следующую строку в список:

Теперь наш файл настроек должен содержать следующий список:

Также добавим туда следующий код:

Создание URL

Изменим файл urls.py в папке gci_email:

Теперь создадим файл urls.py в папке send_email и добавим туда следующий код:

Добавление файлов отображения

Нам необходимо изменить файл views.py в папке send_email:

Добавление шаблонов

Теперь нам необходимо создать папку templates внутри send_email, а в ней 2 файла: index.html и success.html.

В файле index.html надо создать форму для ввода почты. Файл success.html не должен содержать ничего особого.

Вот и всё. Теперь мы можем создать миграции, затем применить их и запустить проект:

Исходный код можно посмотреть на странице автора на GitHub.

Перечисление

Вместо этого:

Можно сделать так:

В enumerate можно передавать и второй аргумент. Вот пример:

Абстракция словарей/множеств

С абстракциями списков (list comprehension) вы скорее всего сталкивались, но вот с абстракциями словарей/множеств (dict/set comprehension) — вряд ли. Они просты в использовании и так же эффективны. Вот пример:

Деление с плавающей запятой

При делении целых чисел в Python результат будет целым, даже если на самом деле он был дробным. Чтобы получить корректный ответ, приходится делать что-то подобное:

Но у этой проблемы есть и другое решение:

Вуаля! И не нужно дописывать .0. Стоит отметить, что этот приём относится только к Python 2 — в третьей версии языка всё работает как нужно по умолчанию.

Простой сервер

Если нужно быстро и легко расшарить файлы из директории, то вот простой способ:

Эта команда запустит сервер.

Вычисление выражений Python

Вы наверняка знакомы с eval, но знаете ли вы о literal_eval? Вряд ли. Для безопасного исполнения выражений, содержащих исключительно литералы, вы можете делать так:

А не так:

Между прочим, эта фича находится в языке уже давно.

Профилирование скрипта

Вы можете с лёгкостью профилировать скрипт, запустив его следующей командой:

Интроспекция объектов

Вы можете изучать объекты Python при помощи команды dir(). Простой пример:

Отладочные скрипты

Вы можете задавать точки останова (breakpoint) при помощи модуля pdb:

Чтобы задать точку останова в любом месте скрипта, напишите там команду pdb.set_trace(). В pdb есть ещё несколько интересных штучек, описанных в документации.

Упрощение конструкций с if

Если вам нужно проверить несколько значений, сделайте так:

А не так:

Разворачивание списка/строки

Быстро развернуть список можно следующим образом:

То же самое можно сделать и со строкой:

Красивый вывод

Вы можете красиво выводить на экран словари и списки вот так:

Нагляднее это, конечно, при работе со словарями. Кроме того, так же можно выводить информацию из JSON-файлов:

Тернарный оператор

Тернарный оператор — это сокращённая форма записи условного выражения if-else. Вот пример использования:

Если вы знаете другие полезные приёмы, делитесь ими в комментариях!

Разработка — это интересный процесс. Но, увлёкшись, мы не всегда выбираем оптимальные решения. Например, когда реализуем функционал, который уже реализован (это называется «изобретать велосипед»). Я хочу познакомить вас с некоторыми функциями, которые многие часто пытаются реализовать самостоятельно, хотя есть путь проще.

Некоторое время назад я начал использовать библиотеки (иногда одну, иногда другую, поскольку они выполняют, в общем-то, одинаковые задачи), в которых реализованы многие функции, используемые регулярно. Эти библиотеки — Underscore и Lodash. Они эффективные и легковесные (~19 КБ).

Список, приведённый ниже, основан на моём опыте работы в проектах. Я описал здесь наиболее распространенные функции, которые вы наверняка использовали раньше.

1. Получить случайный элемент из списка

Это функция, которую я люблю больше всего. С её помощью очень просто заполнить базу данных случайными значениями, что часто бывает необходимо для тестирования.

2. Объединение массивов

Это хороший пример того, как вы можете сократить ваш код и сделать его более читаемым:

3. Пересечение массивов

Другой пример того, как избавиться от кучи кода:

4. Избежание итерирования объектов через их свойства

Получение ключей:

Получение значений:

5. Расширение объектов

Довольно часто необходимо скопировать аргументы одного объекта в другой. Решение этой задачи довольно громоздкое:

6. Цикл в N итераций

Мы часто итерируем по массиву или объекту N раз:

7. Наличие элемента

Функция уже доступна в ES7, но пример пригодится тем, кто ещё не использует эту версию JavaScript:

8. Удаление атрибутов из объекта

9. Псевдослучайное число из диапазона

Прощайте, длинные функции для получения псевдослучайного числа из диапазона:

10. Соотношения (map) для вложенных атрибутов

Простой способ итерироваться по массиву для возвращения определённого атрибута объекта. Пример на Lodash и Underscore выглядит примерно одинаково:

11. Примеси (mixins)

А если после знакомства с функциями Lodash и Underscore вы понимаете, что вам их не хватает, то ваш ответ — примеси. С их помощью вы можете создать собственные функции и расширить функционал библиотеки.

Простой пример:

БОНУС: Примесь, которую я часто использую в своем коде для получения вложенных атрибутов объекта, не опасаясь, что какое-то значение будет null:

ESC? Ничего не произошло. CTRL + C? Нет. ESC ESC ESC? Неа. Вы в тупике.

Ну вот, опять. Склонив голову от стыда, вы запускаете очередной терминал, чтобы исполнить команду killall vim и продолжить заниматься своими делами.

С вами бывало такое? Конечно, бывало. Что ж, потратив несколько минут на эту статью, вы познакомитесь с основами редактора Vim (и научитесь быстро выходить из него).

Vim по умолчанию установлен во многих операционных системах (включая большинство дистрибутивов Linux и macOS), поэтому хотя бы поверхностные знания о нём лишними не будут. Откройте терминал и введите vim.

В умелых руках Vim может стать мощнее многих IDE. И, разумеется, он не ест сотни мегабайт памяти лишь для отображения пустого файла (да, Eclipse, это о тебе).

Основы

Некоторые из нижеописанных команд начинаются с двоеточия: нажав его, появится подсказка, в которой будет указана полная команда. Команды без двоеточий — это скорее горячие клавиши, которые можно использовать в режиме по умолчанию (в нём запускается Vim). Команды, написанные ЗАГЛАВНЫМИ БУКВАМИ — это отдельные клавиши: например, ESC — это клавиша Esc на вашей клавиатуре.

Все команды чувствительны к регистру и должны выполняться вне режима insert.

Выход из Vim

Выход без сохранения изменений:

Как запомнить: quit dammit! (закройся, чёрт возьми!)

Выход с сохранением изменений:

Как запомнить: write to disk and quit

Навигация

Для перемещения по открытому файлу используйте стрелки.

Перемещение на строку 285:

Поиск слова «import»:

Изменение текста

Вставка текста там, где стоит курсор:

Как запомнить: insert

Вставка текста в конце текущей строки:

Как запомнить: Append

Выход из режима редактирования (возврат в стандартный режим):

Выделение текста

Переход в визуальный режим:

Как запомнить: visual

Для выделения текста используйте стрелки.

Выход из визуального режима:

Копирование, удаление, вставка

Копирование выделенного текста в буфер:

Как запомнить: yank

Удаление выделенного текста:

Как запомнить: delete

Копирование текущей строки в буфер:

Как запомнить: yank yank

Копирование трёх строк, включая текущую, в буфер:

Удаление текущей строки и помещение её в буфер:

Как запомнить: delete delete

Удаление 5 строк, включая текущую:

Вставка из буфера перед текущей строкой:

Примечание: заглавная P

Вставка из буфера после текущей строки:

Отмена и восстановление последнего изменения

Отмена последнего изменения:

Как запомнить: uh-oh 🙂

Восстановление последнего отменённого изменения:

Вывод изменений:

Отмена двух последних изменений:

Многоуровневое дерево отката изменений Vim очень мощное, подробнее о нём можно почитать в документации.

Работа с файлом

Открытие файла index.html вместо текущего:

Сохранение текущего файла:

Как запомнить: write to disk

Сохранение файла с изменённым именем, например, changes.txt:

Поиск и замена

Поиск и замена всех вхождений строки в файле:

Поиск и замена с запросом подтверждения замены:

Как запомнить: confirm

Подсветка синтаксиса и отступы

Включение подсветки синтаксиса:

Включение автоматических отступов:

Увеличение отступов нескольких строк при выделении их в визуальном режиме:

Вкладки

Открытие server.py в новой вкладке:

Как запомнить: tab edit

Переход на вкладку справа:

Как запомнить: tab next

Переход на предыдущую вкладку слева:

Как запомнить: tab previous

Для закрытия вкладки переключитесь на неё и используйте команду :q или :wq.

Разделённый экран

Открытие templates/base.html в режиме вертикального разделения экрана:

Как запомнить: vertical split

Открытие shared.js в режиме горизонтального разделения экрана:

Как запомнить: the ’default’ horizontal split

Перемещение между «частями» экрана:

Для закрытия экрана переключитесь на него и используйте команду :q или :wq.

Настройка Vim: файл .vimrc

Многие команды, используемые для изменения вида и поведения Vim, можно сделать включёнными по умолчанию, поместив их в .vimrc — файл конфигурации Vim, который расположен в домашнем каталоге.

Например, добавление этих строк в ~/.vimrc сделает подсветку синтаксиса и автоматическую корректировку отступов включёнными по умолчанию:

Идеи для кастомизации Vim можно почерпнуть в этом GitHub-репозитории.

Полезные ресурсы

Вот ещё несколько полезных материалов для изучения Vim:

• 12 продвинутых команд Vim;
• Лучшие команды с официальной вики-страницы проекта;
• Огромная подборка команд.

А какая команда Vim — ваша любимая? Может, вы знаете удобные приёмчики? Делитесь ими в комментариях!

Мы разбили оригинальную картинку на разделы, но если вам удобнее использовать один большой файл, то его можно скачать здесь.

Селекторы

Атрибуты / CSS

Манипуляции с DOM

Обход элементов

События

Эффекты

Ajax

Возможности самого jQuery

PDF-файл со всеми разделами шпаргалки, собранными вместе:

Ссылка на PDF для тех, у кого не работает встраивание PDF в браузере.

Благодарим Роба Менинга, автора сайта WebsiteSetup, за предоставленный материал.

Базовые знания и инструменты

• 10 советов для начинающих своё знакомство со Swift.
• 14 понятий, с которыми должен быть знаком каждый iOS-разработчик.
• 5 компетенций, которые желательно приобрести Swift-разработчику перед устройством на работу.
• Набор инструментов iOS-разработчика в 2017 году.

Алгоритмы и структуры данных

• Руководство в репозитории Swift Algorithm Club (пригодится не только iOS-разработчикам). Предлагаем также взглянуть на нашу серию по алгоритмам и структурам данных.
• Если предыдущий материал показался вам слишком сложным, вот серия «A Swift Introduction to Algorithms» — она попроще и состоит всего из двух частей. Интерактивные упражнения прилагаются:часть 1;часть 2.

Практические руководства

• Повышаем навык владения Swift:строки;массивы и словари;ключевое слово «_» (кстати, мы тоже писали о «_», но в Python);ключевое слово «self».

• Создаем компилятор на Swift с помощью LLVM:часть 1, введение и лексер;часть 2, абстрактное синтаксическое дерево и парсер;часть 3, генерация кода.
• Пишем игру «Бросание игральных костей» для iPhone с помощью визуальных средств разработки.
• Настройка локализаций в Xcode 8 и Swift 3 — руководство по созданию в мобильном приложении для iOS локализации текста, даты, чисел, валюты и изображений на примере русского и английского языков.

Полезные статьи

• Подробный обзор ключевых слов в Swift.
• Сравнение производительности использования Swift и React Native.
• Пошаговое описание создания таких же интерфейсов, как у трех приложений-победителей Apple Design Awards.
• Объяснение технологии автоматического подсчета ссылок (Automatic Reference Counting) в Swift 3, которая используется для управления памятью приложения.
• Знакомство с RxSwift — примеры кода реактивного программирования от профессиональных iOS-разработчиков.
• Хитрости синтаксиса языка пригодятся тем, кто уже немного шарит.

Другие ресурсы

• Репозиторий на GitHub с 30 небольшими проектами для изучения языка и еще 21 приложение с открытыми исходниками, которые уже добавлены в AppStore и пользуются популярностью — стоит взглянуть, чтобы знать, к чему стремиться.
• 39 открытых библиотек для разработки пользовательских интерфейсов.
• Видеолекция с текстовой расшифровкой о том, как протестировать готовое приложение, для которого ранее не было написано ни одного теста.

Инструменты

• PanelKit — UI-фреймворк для создания панелей управления на iOS:

• TinyConstraints — синтаксический сахар для улучшения интерфейсов, создаваемых с помощью Auto Layout:

• SwipeCellKit — реализация на Swift ячеек со свайпом, основанная на приложении для почты:

Делитесь понравившимися вам ресурсами по Swift в комментариях, добавим к нам ?

Конечно, нет, ведь я их только что выдумал. Чтобы не попадать в такие ситуации, советуем ознакомиться со шпаргалкой по Amazon Web Services, которых уже так много, что и запутаться в них не грех. Можете глянуть такую же шпаргалку по Azure, если веб-сервисы Microsoft вам кажутся ближе.

Сервисы “Run an App”

Неважно, что вы будете делать с AWS, вы всё равно будете использовать эти сервисы.

EC2

Должен называться
Amazon Virtual Servers
Сфера применения
Хостуйте вещи, которые вы считаете компьютерами.
Похож на
VPS, предоставляемые Linode, DigitalOcean и Rackspace

IAM

Должен называться
Users, Keys and Certs
Сфера применения
Настраивайте пользователей, добавляйте новые ключи AWS Keys и сертификаты.

S3

Должен называться
Amazon Unlimited FTP Server
Сфера применения
Храните фотографии и прочие материалы для сайтов. Храните бекапы и файлы в общем доступе. Храните статические сайты. Кстати, многие сервисы также хранят свои данные в S3.

VPC

Должен называться
Amazon Virtual Colocated Rack
Сфера применения
Добавьте дополнительный уровень защиты всему, что вы храните в Интернете. Пусть всё выглядит так, будто все ваши AWS-сервисы находятся в одной маленькой сети, а не разбросаны в огромной.
Похож на
VLAN, если вы разбираетесь в сетях

Lambda

Должен называться
AWS App Scripts
Сфера применения
Запускайте маленькие сниппеты на JS, Java или Python для выполнения отдельных задач.

Сервисы веб-разработчика

Если вы пишете веб-приложение, то наверняка будете использовать эти сервисы. Похожи на те, что вы найдёте в Heroku Addon Marketplace.

API Gateway

Должен называться
API Proxy
Сфера применения
Проксируйте API ваших приложений через этот сервис для обработки трафика, тестирования новых версий и т.д.
Похож на
3Scale

RDS

Должен называться
Amazon SQL
Сфера применения
Одновременно MySQL-, Postgres-, и Oracle-БД для вашего приложения.
Похож на
Heroku Postgres

Route53

Должен называться
Amazon DNS + Domains
Сфера применения
Купите новый домен и настройте DNS-записи.
Похож на
DNSimple, GoDaddy, Gandi

SES

Должен называться
Amazon Transactional Email
Сфера применения
Отправляйте одиночные письма (для смены паролей, доставки уведомлений и т.п.). Можно использовать и как газету, если реализуете, но лучше не стоит.
Похож на
SendGrid, Mandrill, Postmark

Cloudfront

Должен называться
Amazon CDN
Сфера применения
Ускорьте загрузку сайтов, оптимально распределяя доставку статических файлов пользователям.
Похож на
MaxCDN, Akamai

CloudSearch

Должен называться
Amazon Fulltext Search
Сфера применения
Достаньте все данные из S3 или RDS и ищите в них то, что нужно.
Похож на
Sphinx, Solr, ElasticSearch

DynamoDB

Должен называться
Amazon NoSQL
Сфера применения
Масштабируемое хранилище ключей для вашего приложения.
Похож на
MongoLab

Elasticache

Должен называться
Amazon Memcached
Сфера применения
Memcached или Redis вашего приложения.
Похож на
Redis to Go, Memcachier

Elastic Transcoder

Должен называться
Amazon Beginning Cut Pro
Сфера применения
Обработка различных странностей видео (форматы, сжатие и т.д.).

SQS

Должен называться
Amazon Queue
Сфера применения
Храните данные для дальнейшей обработки в очереди.
Похож на
RabbitMQ, Sidekiq

WAF

Должен называться
AWS Firewall
Сфера применения
Блокируйте опасные запросы к сайтам, защищённым Cloudfront (не давайте людям попробовать подобрать 10 000 паролей к /wp-admin).
Похож на
Sophos, Kaspersky

Сервисы для мобильных разработчиков

Эти сервисы нужны только мобильным разработчикам.

Cognito

Должен называться
Amazon OAuth as a Service
Сфера применения
Предоставьте пользователям возможность залогиниться через Google, Facebook и т.д.
Похож на
OAuth.io

Device Farm

Должен называться
Amazon Drawer of Old Android Devices
Сфера применения
Протестируйте ваше приложение на нескольких iOS и Android-устройствах одновременно.
Похож на
MobileTest, iOS emulator

Mobile Analytics

Должен называться
Spot on Name, Amazon Product Managers take note
Сфера применения
Следите, что пользователи делают в ваших приложениях.
Похож на
Flurry

SNS

Должен называться
Amazon Messenger
Сфера применения
Отправляйте мобильные уведомление, письма и / или SMS.
Похож на
UrbanAirship, Twilio

Сервисы для внедрения кода

Эти сервисы нужны для автоматизации управления и внедрения кода в других сервисах.

CodeCommit

Должен называться
Amazon GitHub
Сфера применения
Контроль версий вашего кода.
Похож на
Github, BitBucket

Code Deploy

Должен называться
И так неплохо
Сфера применения
Загрузите ваш код из репозитория CodeCommit (или Github) на несколько сущностей EC2.
Похож на
Heroku, Capistrano

CodePipeline

Должен называться
Amazon Continuous Integration
Сфера применения
Запускайте автоматизированные тесты вашего кода и вносите необходимые изменения.
Похож на
CircleCI, Travis

EC2 Container Service

Должен называться
Amazon Docker as a Service
Сфера применения
Поместите Dockerfile в сущность EC2 для запуска сайта.

Elastic Beanstalk

Должен называться
Amazon Platform as a Service
Сфера применения
Переместите ваше приложение с Heroku на AWS, когда первый вам станет не по карману.
Похож на
Heroku, BlueMix, Modulus

Корпоративные сервисы

Сервисы для бизнеса и сетей.

AppStream

Должен называться
Amazon Citrix
Сфера применения
Поместите копию Windows-приложения на Windows-систему, к которой вы предоставляете удалённый доступ.
Похож на
Citrix, RDP

Direct Connect

Должен называться
На самом деле, весьма точное название
Сфера применения
Заплатите за доступ к выделенной линии от вашего дата-центра или сети до AWS.
Похож на
Туннель, позволяющий объехать пробку

Directory Service

Должен называться
На самом деле, весьма точное название
Сфера применения
Объединяйте приложения, которым для управления нужна Microsoft Active Directory.

WorkDocs

Должен называться
Amazon Unstructured Files
Сфера применения
Делитесь Word-документами с коллегами.
Похож на
Dropbox, DataAnywhere

WorkMail

Должен называться
Amazon Company Email
Сфера применения
Настройте всем в компании одинаковые почтовую систему и календарь.
Похож на
Google Apps for Domains

Workspaces

Должен называться
Amazon Remote Computer
Сфера применения
Интерфейс для удалённого управления компьютером.

Service Catalog

Должен называться
Amazon Setup Already
Сфера применения
Предоставьте всем пользователям AWS в вашей группе доступ к написанным вами приложениям, чтобы им не приходилось читать гайды вроде этого.

Storage Gateway

Должен называться
S3, считающий себя частью вашей корпоративной сети
Сфера применения
Хватит покупать место для хранения документов Word. Упростите передачу файлов из сети в S3.

Big Data-сервисы

Сервисы для поглощения, управления и прочих махинаций с данными.

Data Pipeline

Должен называться
Amazon ETL
Сфера применения
Извлекайте, Обрабатывайте и Сохраняйте все данные из AWS, а также настраивайте расписания и получайте сообщения об ошибках.

Elastic Map Reduce

Должен называться
Amazon Hadooper
Сфера применения
Обрабатывайте большие объёмы текстовых или сырых данных, хранящихся в S3.
Похож на
Treasure Data

Glacier

Должен называться
Очень медленный Amazon S3
Сфера применения
Делайте бекапы бекапов, хранящихся в S3. Запасы на чёрный день.

Kinesis

Должен называться
Amazon High Throughput
Сфера применения
Быстро сохраняйте большие объёмы данных (например, аналитику или список людей, ретвитящих Канье Уэста), чтобы проанализировать их позже.
Похож на
Kafka

RedShift

Должен называться
Amazon Data Warehouse
Сфера применения
Храните аналитические данные, обрабатывайте их и выгружайте.

Machine Learning

Должен называться
Skynet
Сфера применения
Предсказывайте поведение, исходя из текущих данных, для решения различных задач.

SWF

Должен называться
Amazon EC2 Queue
Сфера применения
Создайте сервис из “мыслителей” и “рабочих” поверх EC2 для выполнения задачи. В отличие от SQS, обладает встроенной логикой.
Похож на
IronWorker

Snowball

Должен называться
AWS Big Old Portable Storage
Сфера применения
AWS Snowmobile в миниатюре.
Похож на
Shipping a Network Attached Storage device to AWS

Сервисы для управления AWS

AWS становится сложным, эти сервисы помогут разобраться.

CloudFormation

Должен называться
Amazon Services Setup
Сфера применения
Настройте несколько связанных сервисов за один подход.

CloudTrail

Должен называться
Amazon Logging
Сфера применения
Ведите логи активностей AWS-стека.

CloudWatch

Должен называться
Amazon Status Pager
Сфера применения
Получайте уведомления, когда ваши сервисы AWS ведут себя некорректно.
Похож на
PagerDuty, Statuspage

Config

Должен называться
Amazon Configuration Management
Сфера применения
Не сходите с ума, когда вам нужно следить за большой AWS-системой.

OpsWorks

Должен называться
Amazon Chef
Сфера применения
Управляйте запуском вашего приложения при помощи вещей наподобие автоматического масштабирования.

Trusted Advisor

Должен называться
Amazon Pennypincher
Сфера применения
Выясните, за что вы переплачиваете.

Inspector

Должен называться
Amazon Auditor
Сфера применения
Проверьте вашу AWS-систему на наличие проблем безопасности.
Похож на
Alert Logic

Конечно, нет, ведь мы их только что выдумали. Чтобы не попадать в такие ситуации, советуем ознакомиться со шпаргалкой по сервисам Microsoft Azure, которых уже так много, что и запутаться в них не грех.

Сервисы для разработки веб-приложений

Если вы пишете веб-приложение, то скорее всего будете пользоваться именно этими сервисами. Если сравнение с AWS ясности не вносит, можете заглянуть в соответствующую шпаргалку по веб-сервисам Amazon.

Service Fabric

Azure Microservice
Сфера применения
В вашем коде есть класс? Сделайте его микросервисом! Задеплойте его в Service Fabric! Можете просить повышение.
Похож на
AWS Lambda, AWS API Gateway

App Service > Web Apps

Azure PAAS, раньше назывался “Azure Websites”
Сфера применения
Управляйте приложением, но не волнуйтесь о системном администрировании.
Похож на
Heroku, Modulus, AWS ElasticBeanstalk, CloudFoundry

Cloud Services

Azure IAAS
Сфера применения
Управляйте приложением, которое вам придётся настраивать и патчить.
Похож на
AWS EC2

Virtual Machines

Вы не можете поверить, что это — не реальный сервер
Сфера применения
Хвастайтесь перед своими Devops-друзьями, что вы бы делали всё на реальном “железе”, но ваш технический директор предпочитает “облако”.
Похож на
Linode, Rackspace VPS

Visual Studio Team Services

Source Control CI
Сфера применения
Пишите приложения с другими людьми: общее управление исходниками и непрерывная интеграция
Похож на
Github, Jenkins, CodeShip, BitBucket, AWS CodeCommit

DevTest Labs

QA Virtual Machines
Сфера применения
Тестируйте то, что вы получили при помощи Virtual Machines.
Похож на
Dockerish, Chef или Puppetish

Application Insights

Crash, Burn and Report (Круши, Ломай и Сообщай)
Сфера применения
Следите за производительностью и ошибками в приложениях на ASP.NET или J2EE. Получайте уведомления об ошибках и логи.
Похож на
Honeybadger, Exception.io

Scheduler

Cron the Barbarian (Cron-варвар)
Сфера применения
Выполняйте небольшие задания по расписанию. Удобно, теперь не нужно держать виртуальную машину постоянно запущенной.
Похож на
Heroku Background Jobs, Cron

Сервисы-хранилища

В Azure есть единый сервис под названием “Storage”, который включает в себя все ниже перечисленные и ещё несколько, от которых они зависят.

Blob Storage

Large File Storage (Хранилище больших файлов)
Сфера применения
Складывайте загруженные изображения, логи, спираченные отечественные комедии и всё, что нужно вашему приложению, в бесконечный жёсткий диск.
Похож на
AWS S3, Rackspace Cloud Files

Table Storage

Database Storage (Хранилище баз данных)
Сфера применения
Что-то между SQL и NoSQL.
Похож на
DynamoDB

Queue Storage

Queue (Очередь)
Сфера применения
Соединяйте сервисы в порядке очередности сообщений.
Похож на
AWS SQS, RabbitMQ, Sidekiq

File Storage

Attached File Storage (Хранилище прикреплённых файлов)
Сфера применения
Переносите на Azure приложения, которые зависят от локальной файловой системы. И да, вы не сможете пользоваться Blob Storage.
Похож на
AWS EBS

StorSimple

Более сложная версия “Storage”
Сфера применения
Похож на “Storage”, но перемещает файлы из и в Azure по установленным вами правилам.
Похож на
AWS Storage Gateway

Search

FullText Search (Поиск по тексту)
Сфера применения
Ищите то, что нужно, в файле, сайте и любом другом текстовом объекте.
Похож на
AWS CloudSearch, ElasticSearch

Document DB

JSON DB
Сфера применения
Храните NoSQL-структурированные JSON-данные — то есть храните больше данные, чем могли бы при использовании SQL.
Похож на
DynamoDB, MongoDB

SQL Database

SQL Database
Сфера применения
Храните все данные приложения в таблицах и настраивайте между ними “отношения”.
Похож на
Heroku Postgres

Redis Cache

Redis
Сфера применения
Храните часто используемые данные в удобных структурах. Похоже на Memcached, но без старого хлама от LiveJournal.
Похож на
Redis2Go, RedisGreen

Сервисы для управления Azure

Azure становится сложным, эти сервисы помогут разобраться.

Automation

Cloud Shell
Сфера применения
Автоматизируйте сервисы Azure при помощи Powershell — языка Богов Windows Server.
Похож на
AWS Cloudformation

Operational Insights

Log Reader
Сфера применения
Собирайте, объединяйте и изучайте логи для решения проблем.
Похож на
Splunk

KeyVault

Hardware Security Module
Сфера применения
Храните ключи шифрования в безопасном хранилище, доступном только при использовании.
Похож на
AWS KMS

Security Center

Policy Minder
Сфера применения
Устанавливайте определённые правила для сервисов Azure и получайте уведомления, когда они нарушаются.

Сервисы для мобильных разработчиков

Эти сервисы нужны только мобильным разработчикам.

App Service > Mobile Apps

Baby’s got Backend As A Service (Да, детка, у меня есть Backend As A Service)
Сфера применения
Подтверждайте и отправляйте сообщения и храните сетевые данные для мобильных платформ.
Похож на
Heroku, Urban Airship, Parse

App Service > API Apps

Azure API Proxy
Сфера применения
Создайте API для сервисов Azure и SDK для различных языков клиента (PHP, Node, Java, ASP.NET).
Похож на
AWS API Gateway

API Management

API Big Boss
Сфера применения
Управляйте трафиком и пределами того, что передаётся через API.
Похож на
AWS API Gateway

Notification Hubs

Azure Push Notifications
Сфера применения
Отправляйте пуш-уведомления на iOS, Android, Windows и Kindle. Теперь, когда поддерживается даже Kindle, шутить над Blackberry даже как-то стыдно.
Похож на
AWS SNS, UrbanAirship

Mobile Engagement

Mobile Analytics (но это название уже заняли AWS)
Сфера применения
Анализируйте то, почему люди покупают бонусы в вашем приложении про боулинг с пандами, в реальном времени.
Похож на
AWS Mobile Analytics, Flurry

Медиа- и CDN-сервисы

Доставляйте контент быстрее и настраивайте видео для просмотра на разных устройствах.

Encoding

Название и так неплохое, но лучше бы назвали “VHS” — шарм старины
Сфера применения
Шифруйте видео в форматы для воспроизведения на мобильных устройствах, в Сети, на домашних кинотеатрах с разрешением 4K и т.д.
Похож на
AWS ElasticTranscoder

Media Player

RealPlayer(TM)
Сфера применения
Просто встраивайте видео, не задумываясь о различных платформах.

Media Indexer

Closed Captioner (Почти точный переводчик)
Сфера применения
Автоматически генерируйте текст / субтитры из аудио- и видеофайлов.

Content Protection

Azure DRM
Сфера применения
Защищайте свои видео с котиками от нарушителей авторского права и пиратов.

Live and On Demand Streaming

McStreamey
Сфера применения
Управляйте стримингом видео, убедившись, что его смотрят только нужные люди, которые уже заплатили вам за это.

Content Delivery Network

A(zure)kami
Сфера применения
Быстрая доставка сайтов, файлов и видео людям, которым это нужно.
Похож на
Cloudfront, MaxCDN

Сетевые сервисы

В зависимости от того, что вы делаете, эти сервисы могут улучшить производительность или безопасность.

Virtual Network

Network Expander
Сфера применения
Пусть всё выглядит так, будто новые сервисы Azure случайно появились во внутренней сети компании. Возьмите с собой IP-адрес.
Похож на
AWS VPC

Express Route

И так сойдёт
Сфера применения
Отправляете в Azure терабайты данных, но родители ругаются, что им не хватает скорости? Получите выделенный канал.
Похож на
AWS Direct Connect

VPN Gateway

Я не могу позволить себе Express Route
Сфера применения
Настройте VPN-подключение между вашим дата-центром и Azure.
Похож на
OpenVPN

Traffic Manager

Geo Load Balancer (Геопозиционный балансировщик нагрузки)
Сфера применения
Повышайте производительность, распределяя трафик между дата-центрами в зависимости от местоположения запросов.
Похож на
AWS ELB

Load Balancer

Local Load Balancer (Локальный балансировщик нагрузки)
Сфера применения
Разделяйте трафик между несколькими серверами / сервисами.
Похож на
AWS ELB

Application Gateway

Web Load Balancer (Сетевой балансировщик нагрузки)
Сфера применения
Оптимизируйте нагрузку на веб-серверы. Все оптимизированные HTTP-штучки в комплекте.
Похож на
AWS ELB

Корпоративные сервисы

Сервисы для бизнеса и сетей.

RemoteApp

Apps on Cloud
Сфера применения
Загрузите приложение в и предоставьте пользователям доступ по RDP.
Похож на
Citrix

BizTalk

App Communicator
Сфера применения
Объединяйте Enteprise-приложения (вроде SAS или Peoplesoft). Звучит забавно.

Service Bus

Network Message Queue
Сфера применения
Отправляйте команды и данные в очередь, которая позволит соединить множество устройств, серверов и клиентов для оптимизации обработки.
Похож на
RabbitMQ, AWS SQS

Backup

Лучше, чем диск
Сфера применения
Защитите дата-центр от стирания всех бекапов.
Похож на
Glacier, Backblaze

Site Recovery

План Б
Сфера применения
Сохраните копию всей критически важной инфраструктуры в Azure.
Похож на
AWS CloudConfig

Active Directory

Hybridactive Directory
Сфера применения
Настройте Active Directory As A Service, которая может синхронизироваться с вашей активной директорией Enterprise или заменить её.

Big Data-сервисы

Сервисы для поглощения, управления и прочих махинаций с данными.

Batch

Bunch-of-VMs.bat (куча-виртуальных-машин.bat)
Сфера применения
Делайте много разных вещей сразу на нескольких системах, но не всегда. Используйте слово “параллельный” чаще, чем учитель геометрии в школе.
Похож на
AWS Elastic Map Reduce

App Service > Logic Apps

Cloud Lego Flowchart (Облачный Lego для блок-схем)
Сфера применения
Настройте рабочий поток для ваших данных в облаке.
Похож на
IFTTT, Zapier

SQL Data Warehouse

А ты неплох, SQL Data Warehouse, ты неплох.
Сфера применения
Загрузите данные на огромный SQL Server вашей мечты и обработайте их полностью.
Похож на
AWS Redshift

Data Lake Analytics

Убер-SQL Data Warehouse
Сфера применения
Храните эксабайты данных (не волнуйтесь о том, сколько это — если бы у вас было столько данных, вы бы знали).

Data Lake Store

ETL Query (ИОС-запрос)
Сфера применения
Извлекайте, Обрабатывайте и Сохраняйте все данные из Data Warehouse при помощи Hadoop.
Похож на
AWS ElasticMap Reduce

HDInsight

Apache Apps
Сфера применения
Убедите своего босса, что Свинтус, Рой, Эйчбэйс, Шторм и Искра (Pig, Hive, HBase, Storm, Spark) — это не имена супергероев из нового фильма про Мстителей.

Machine Learning

Cortana AI Edition
Сфера применения
Выясните, что не-геймеры думают обо всем связанном с Кортаной. Ну и используйте сервис, чтобы ИИ принял вас на свою сторону, когда наступит Сингулярность.
Похож на
AWS Machine Learning

Stream Analytics

Real Time Analytics
Сфера применения
Собирайте тысячи потоков аналитики одновременно.
Похож на
AWS Kinesis

Data Factory

Data Pipeline
Сфера применения
Составьте план передачи данных между сервисами.
Похож на
AWS DataPipeline

Data Catalog

Data Sharing
Сфера применения
Предоставьте доступ к некоторым данным из других сервисов всем в вашей организации. Похоже на SQL View для кросс-сервисных данных.
Похож на
Chartio

В данной шпаргалке затрагиваются следующие темы: введение в оболочку, навигация, основные команды, переменные окружения, коннекторы, конвейеры, перенаправление ввода/вывода, права доступа и комбинации клавиш.

Оболочка Bash: введение

Оболочка, или шелл (shell) — это программа, в нашем случае названная «bash», что является сокращением от Bourne Again Shell. Оболочка принимает ваши команды и передаёт их операционной системе. Для взаимодействия с системой используются терминалы, такие как gnome-terminal, eterm, nxterm и т. п.

Навигация

В Linux файлы и каталоги имеют иерархическую организацию, то есть существует некий начальный каталог, называемый корневым. В нём содержатся файлы и подкаталоги, которые в свою очереди содержат файлы и свои подкаталоги.

pwd

Команда pwd, сокращение от print working directory, отображает текущее местоположение в структуре каталогов.

cd

Команда cd позволяет перейти в новый каталог.

mkdir

Команда mkdir создаёт новый каталог в текущем каталоге.

Основные команды

man

Команда man отображает руководства по командам. Например, следующая команда выдаст всю информацию о команде cat:

cat

Команда cat считывает файл, переданный как аргумент, и выводит его содержимое по стандартному каналу вывода. Передача нескольких файлов в виде аргумента приведёт к выводу конкатенированного содержимого всех файлов.

echo

Команда echo выводит свои аргументы по стандартному каналу вывода.

Если вызвать echo без аргументов, будет выведена пустая строка.

head

Команда head читает первые 10 строк любого переданного текста и выводит их по стандартному каналу. Число выводимых строк можно изменить:

tail

Команда tail работает аналогично команде head, но читает строки с конца:

Также можно просматривать добавляемые к файлу строки в режиме реального времени при помощи флага -f:

less

Команда less позволяет перемещаться по переданному файлу или куску текста, причём в обоих направлениях.

Подробнее о назначении символа | будет рассказано ниже в разделе команды history.

true

Команда true всегда возвращает ноль в качестве выходного статуса для индикации успеха.

false

Команда false всегда возвращает не-ноль в качестве выходного статуса для индикации неудачи.

$?

$? — это переменная, которая содержит выходной статус последней запущенной команды. Под статусом обычно понимается код возврата программы. 0 означает успешное выполнение программы, любое значение большее 0 отражает тот факт, что в процессе выполнения возникли некоторые ошибки. Кстати, именно поэтому в bash истинной (true) считается 0, а все, что не 0 — ложью (false):

grep

Команда grep занимается поиском переданной строки в указанном файле:

grep также может принимать несколько файлов и регулярных выражений для уточнения формата текста.

Также можно ознакомиться с руководством по regex. У нас на сайте тоже есть руководство по «регуляркам» в Python для новичков.

sed

Команда sed — это потоковый редактор, преобразующий входные текстовые данные. Обычно её используют для замены выражений так: s/regexp/replacement/g. Например, следующий код заменит все слова «Hello» на «Hi»:

Также вы можете ознакомиться с руководством по sed.

history

Команда history выводит историю командной строки. Обычно её используют вместе с командой grep для поиска конкретной команды. Например, следующий код найдёт все команды, содержащие строку g++:

Здесь также используется символ | — это так называемый конвейер (pipe). Благодаря ему можно перенаправлять вывод одной команды на вход другой — таким образом в примере выше вся история, которая в обычном режиме выводится командой history прямо в вывод терминала, будет перенаправлена в grep в качестве входных данных. Мы не увидим вывода команды history, но увидим вывод команды grep.

Это может быть довольно сложно для понимания без практики, поэтому поэкспериментируйте самостоятельно, например с командами ls, history, ps (описана ниже), перенаправляя их вывод в grep, sed или less, например.

export

Команда export устанавливает переменные окружения для передачи дочерним процессам. Например, так можно передать переменную name со значением student:

ps

Команда ps выводит информацию о запущенных процессах.

Выводится четыре элемента:

• ID процесса (PID),
• тип терминала (TTY),
• время работы процесса (TIME),
• имя команды, запустившей процесс (CMD).

awk

Команда awk находит и заменяет текст в файлах по заданному шаблону: awk 'pattern {action}' test.txt

wget

Команда wget скачивает файлы из Сети и помещает их в текущий каталог.

nc

Команда nc — это утилита для отладки сети. Также можно ознакомиться с руководством по nc.

ping

Команда ping тестирует сетевое подключение.

Статистика в конце показывает количество подключений, совершённых до завершения команды, и время их выполнения.

git

Git — это популярная система контроля версий. Также можно ознакомиться с руководством по git и нашими материалами.

Переменные окружения

Переменные окружения — это именованные переменные, содержащие значения, используемые одним или несколькими приложениями.

Переменная PATH содержит список каталогов, в которых система ищет исполняемые файлы.

Переменная HOME содержит путь к домашнему каталогу текущего пользователя.

Коннекторы

Коннекторы позволяют запускать несколько команд одновременно.

Конвейеры

Конвейеры, или пайпы, позволяют соединять входные и выходные каналы различных команд. В следующем примере вывод команды ls будет передан в head , и в результате будет напечатано лишь 10 первых элементов.

Перенаправление ввода/вывода

Перенаправление вывода

Для стандартного перенаправления вывода используются символы > и >>.

Например, этот код передаст вывод ls в файл, а не на экран:

Если файл не существует, он создаётся, а если существует, то перезаписывается. Во избежание перезаписи стоит использовать команду >> — она дописывает данные в конец файла.

Перенаправление ввода

Для стандартного перенаправления вывода используется символ <. В следующем примере sort берет входные данные из файла, а не с клавиатуры:

Команда sort выводит содержимое файла на экран, поскольку мы не перенаправили выход. Это можно сделать так:

Продвинутое перенаправление

Добавление & к > приводит к перенаправлению как стандартного потока выхода, так и потока ошибок. Например, файл test.cpp выведет строку stdout в cout и строку stderr в cerr.

Если вы хотите вывести конкретный файловый дескриптор, вы можете приписать его номер к >.

Например, для перенаправления stderr в test.txt нужно сделать следующее:

Права доступа

Команда ls -l выводит много информации о правах доступа к каждому файлу:

chmod

Команда chmod изменяет права доступа файла. Вот типичные сочетания флагов для изменения прав конкретных пользователей:

Вы можете вызвать chmod с описанием действий над конкретным файлом. Символ - обозначает удаление прав, символ + — добавление. Следующий пример сделает файл доступным для чтения и записи владельцу и группе:

Кроме того, chmod можно использовать с восьмеричными числами, где 1 — это наличие прав, а 0 — отсутствие:

Следующая команда сработает так же, как и предыдущая:

Также можно ознакомиться с руководством по правам доступа.

Сочетания клавиш

FAQ

Чем Bash отличается от других оболочек (Zsh, Fish)?

Bash — стандартная оболочка в большинстве дистрибутивов Linux и macOS (до Catalina). Zsh предлагает более продвинутое автодополнение и плагины (Oh My Zsh), а Fish — интуитивный синтаксис и подсветку прямо из коробки. Однако Bash остаётся самым универсальным выбором: скрипты на Bash работают практически везде без дополнительной настройки.

Как запустить Bash-скрипт?

Создайте файл с расширением .sh, добавьте в первую строку шебанг (#!/bin/bash), напишите команды и сделайте файл исполняемым: chmod +x script.sh. После этого запустите его командой ./script.sh или bash script.sh.

Что означает символ | (pipe) в командной строке?

Символ | (pipe, конвейер) перенаправляет стандартный вывод одной команды на стандартный вход другой. Например, ls | grep txt выведет только файлы, содержащие "txt" в имени. Это один из ключевых принципов Unix-философии: простые команды, соединённые в цепочку.

Как посмотреть историю команд в Bash?

Используйте команду history для вывода всей истории. Для поиска конкретной команды нажмите Ctrl+R и начните вводить часть команды — Bash покажет последнее совпадение. Также можно использовать history | grep ключевое_слово для фильтрации.

Как изменить права доступа к файлу в Linux?

Используйте команду chmod. Буквенная запись: chmod u+rwx,g+rx,o+r file — даёт владельцу все права, группе чтение и выполнение, остальным только чтение. Числовая запись: chmod 754 file — делает то же самое. Числа складываются из r=4, w=2, x=1.

Git tutorial

Git tutorial — это официальное введение в git, и начать вам можно именно с него.

Руководство также доступно в виде man-страницы, доступ к которой из терминала можно получить так:

Также будет полезно прочитать второе руководство и глоссарий. Они также доступны в виде man-страниц.

Learn Git Branching

Learn Git Branching — это интерактивное онлайн-руководство, которое научит вас использовать git в игровом стиле.

Сайт не работает на мобильных устройствах, но это не страшно, ведь вы всё равно будете использовать Git на компьютере.

Try Git

Try Git — это интерактивное руководство от GitHub, основанное на онлайн-оболочке, в которой вы можете вводить различные команды и экспериментировать с виртуальным репозиторием. Оно затрагивает все базовые темы, но для изучения продвинутых вопросов вам понадобятся другие ресурсы.

Кстати, еще больше интерактивных самоучителей есть в другой нашей подборке.

Git wiki

Git wiki — это официальная энциклопедия по Git. Здесь можно найти любую интересующую вас информацию: руководства, шпаргалки и т.д. Особое внимание стоит уделить разделу с документацией.

Git Reference

Git Reference — это быстрый гайд по основным командам системы с примерами их использования и опциями. Сайт был создан командой GitHub, но сейчас является официальным ресурсом. Кстати, исходный код сайта открыт.

Pro Git

Pro Git — это официальная книга о Git, доступная всем и каждому. Она доступна онлайн, её можно скачать в несколькких форматах, а также купить печатную версию на Amazon.

В книге покрываются все необходимые для изучения темы, от основ до аспектов внутренней реализации.

Ry’s Git Tutorial

Ry’s Git Tutorial — это отличное написанное обширное онлайн-руководство, затрагивающее не только все основные фичи Git, но и продвинутые темы наподобие работы с патчами и низкоуровневыми командами.

Каждая тема сопровождается реальными примерами.

Git Immersion

Git Immersion — это экскурсия по основным темам с понятными практическими примерами.

Для воспроизведения примеров на своём компьютере вам понадобится интерпретатор Ruby.

Visualizing Git Concepts with D3

Visualizing Git Concepts with D3 — это вебсайт, использующий D3 (JavaScript-библиотеку для визуализации данных) для того, чтобы помочь пользователям понять основные принципы Git. Сайт предоставляет интерактивную оболочку, в которой мы можете вводить команды и получать анимированные результаты.

Он покрывает все основные команды, а также предоставляет несколько реальных сценариев и режим песочницы. Продвинутые аспекты не затрагиваются, но это отличный ресурс для наглядного изучения основ.

Getting Git Right

Getting Git Right — это коллекция руководств и статей и глоссарий, собранная Atlassian, создателем BitBucket (аналог GitHub).

Все руководства весьма детальны и покрывают весь спектр тем, от простых к сложным. Некоторые руководства подразумевают, что вы используете BitBucket, но эти части можно пропустить.

Кроме того, на нашем сайте также можно найти много полезных материалов, посвящённых Git. Например, обратите внимание на руководство «Git за 500 слов».

Мэпы

Мэпы — это очень полезная структура данных. До ES6 хеш-мэпы создавались через объекты:

Однако это не защищает от случайной перегрузки функций с конкретными именами свойств:

Настоящие мэпы позволяют устанавливать значения (set), брать их (get), искать их (search) и многое другое.

Самое замечательное — это то, что теперь мы не обязаны использовать только строки. Можно использовать любой тип как ключ, и он не будет приведён к строковому виду.

Примечание: использование сложных величин (функций, объектов) невозможно при проверке на равенство при использовании методов наподобие map.get(). Поэтому используйте простые величины: строки, логические переменные и числа.

Также по мэпам можно итерироваться через .entries():

Слабые мэпы

В версиях младше ES6 было несколько способов хранения приватных данных. Например, можно было использовать соглашения по именованию:

Но такие соглашения могут запутать, да и не всегда их придерживаются. Вместо этого можно использовать WeakMaps:

Фишкой WeakMaps является то, что ключи приватных данных не выдают имена свойств, которые можно увидеть, используя Reflect.ownKeys():

Практическим примером использования WeakMaps является хранение данных, связанных с элементом DOM, при этом сама DOM не захламляется:

Как видно выше, когда объект уничтожается сборщиком мусора, WeakMap автоматически удаляет пару ключ-значение, которая идентифицировалась этим объектом.

Обещания

Обещания, о которых мы подробно рассказывали в отдельной статье, позволяют превратить “горизонтальный” код:

В вертикальный:

До ES6, приходилось использовать bluebird или Q. Теперь Promises реализованы нативно:

У нас есть два обработчика, resolve (функция, вызываемая при выполнении обещания) и reject (функция, вызываемая при невыполнении обещания).

Преимущества Promises: обработка ошибок с кучей вложенных коллбэков — это ад. Обещания же выглядят гораздо приятнее. Кроме того, значение обещания после его разрешения неизменно.

Вот практический пример использования Promises:

Мы также можем распараллеливать обещания для обработки массива асинхронных операций, используя Promise.all():

Генераторы

Подобно обещаниям, позволяющим нам избежать ада коллбэков, генераторы позволяют сгладить код, придавая асинхронному коду синхронный облик. Генераторы — это функции, которые могут приостановить своё выполнение и впоследствии вернуть значение выражения.

Простой пример использования приведён ниже:

next позволяет передать генератор дальше и вычислить новое выражение. Пример выше предельно прост, но на самом деле генераторы можно использовать для написания асинхронного кода в синхронном виде:

А вот функция-генератор, которая возвращает наши данные:

Благодаря силе yield мы можем быть уверены, что в entry1 будут нужные данные, которые будут переданы в data1.

Тем не менее, для обработки ошибок придётся что-то придумать. Можно использовать Promises:

И мы пишем функцию, которая будет проходить по генератору, используя next, который в свою очередь будет использовать метод request:

Дополняя обещанием наш генератор, мы получаем понятный способ передачи ошибок путём .catch и reject. При этом использовать генератор всё так же просто:

Async Await

Хотя эта функция появится только в ES2016, async await позволяет нам делать то же самое, что и в предыдущем примере, но с меньшими усилиями:

По сути, это работает так же, как и генераторы, но использовать лучше именно эту функцию.

Геттеры и сеттеры

ES6 привнесла поддержку геттеров и сеттеров. Вот пример:

Свежие браузеры также позволяют использовать геттеры / сеттеры в объектах, и тогда их можно использовать для вычисленных свойств, добавляя слушатели перед ними:

Символы

Символы существовали и до ES6, но теперь стал доступен публичный интерфейс для их прямого использования. Символы неизменяемы и уникальны, и их можно использовать в качестве ключей любого хеша.

Symbol( )

Вызов Symbol() или Symbol(description) создаст уникальный символ, недоступный глобально. Symbol() обычно используется для добавления своей логики в сторонние объекты или пространства имён, но нужно быть осторожным с дальнейшими обновлениями этих библиотек. Например, если вы хотите добавить метод refreshComponent в класс React.Component, убедитесь, что он не совпадёт с методом, добавленном в следующем обновлении:

Symbol.for(key)

Symbol.for(key) создаст символ, который по-прежнему будет неизменяемым и уникальным, но доступным глобально. Два идентичных вызова Symbol.for(key) вернут одну и ту же сущность Symbol.

Примечание: это неверно для Symbol(description):

Символы, в частности, Symbol.for(key), обычно используют для интероперабельности, производя поиск символьного поля в аргументах стороннего объекта с известным интерфейсом, например:

А в другой библиотеке:

В качестве примера использования символов для интероперабельности стоит отметить Symbol.iterator, существующий во всех итерируемых типах ES6: массивах, строках, генераторах и т.д. При запуске метода возвращается объект с интерфейсом итератора.

Кстати, познакомиться с примерами использования всех новых возможностей можно, пройдя обучающий видеокурс по JavaScript, о котором мы писали ранее.

var против let / const

Кроме var нам теперь доступны 2 новых идентификатора для хранения значений — let и const. В отличие от var, let и const обладают блочной областью видимости.

Пример использования var:

А вот что происходит при замене var на let:

Такое изменение в поведении показывает, что нужно быть осторожным при рефакторинге старого кода, в котором используется var. Простая замена var на let может привести к непредсказуемому поведению программы.

Примечание: let и const видимы лишь в своём блоке. Таким образом, попытка вызвать их до объявления приведёт к ReferenceError.

Лучшая практика: Оставьте var в legacy-коде для дальнейшего тщательного рефакторинга. При работе с новым кодом используйте let для переменных, значения которых будут изменяться, и const — для неизменных переменных.

Замена немедленно вызываемых функций (IIFE) на блоки (Blocks)

Обычно немедленно вызываемые функции используют для ограждения значений в их областях видимости. В ES6 можно создавать блочные области видимости.

Пример ES6 Blocks:

Стрелочные функции

Часто при использовании вложенных функций бывает нужно отделить контекст this от его лексической области видимости. Пример приведён ниже:

Распространённым решением этой проблемы является хранение контекста this в переменной:

Также мы можем передать нужный контекст this:

Или привязать контекст:

Используя стрелочные функции, лексическое значение this не скрыто, и вышеприведённый код можно переписать так:

Лучшая практика: используйте стрелочные функции всегда, когда вам нужно сохранить лексическое значение this.

Стрелочные функции также более понятны, когда используются для написания функций, просто возвращающих значение:

Лучшая практика: используйте стрелочные функции вместо функциональных выражений, когда это уместно.

Строки

С приходом ES6 стандартная библиотека сильно увеличилась. Кроме предыдущих изменений появились строчные методы, такие как .includes() и .repeat().

.includes( )

Вместо проверки возвращаемого значения > -1 для проверки на наличие подстроки можно использовать .includes(), возвращающий логическую величину:

.repeat( )

В ES6 всё намного проще:

Шаблонные литералы

Используя шаблонные литералы, мы можем спокойно использовать в строках специальные символы.

Шаблонные литералы также поддерживают интерполяцию, что делает задачу конкатенации строк и значений:

Гораздо проще:

В ES5 мы обрабатывали переносы строк так:

Или так:

Шаблонные литералы сохраняют переносы строк:

Шаблонные литералы также могут обрабатывать выражения:

Деструктуризация

Деструктуризация позволяет нам извлекать значения из массивов и объектов (даже вложенных) и помещать их в переменные более удобным способом.

Деструктуризация массивов

Деструктуризация объектов

Подробнее о деструктуризации в JavaScript.

Модули

До ES6 нам приходилось использовать библиотеки наподобие Browserify для создания модулей на клиентской стороне, и require в Node.js. С ES6 мы можем прямо использовать модули любых типов (AMD и CommonJS).

Экспорт в CommonJS

Экспорт в ES6

В ES6 мы можем использовать разные виды экспорта.

Именованный экспорт:

Экспорт списка объектов:

Также мы можем экспортировать функции, объекты и значения, просто используя ключевое слово export:

И наконец, можно экспортировать связывания по умолчанию:

Лучшая практика: всегда используйте метод export default в конце модуля. Это чётко покажет, что именно экспортируется, и сэкономит время.

Импорт в ES6

ES6 предоставляет различные виды импорта. Мы можем импортировать целый файл:

Важно заметить, что импортирование всего файла приведёт к исполнению всего кода на внешнем уровне этого файла.

Как и в Python, есть именованный импорт:

Который можно переименовывать:

Кроме того, можно импортировать пространство имён:

И наконец, список значений из модуля:

Импорт из связывания по умолчанию выглядит так:

Экспортирование лучше упрощать, но иногда можно смешивать импорт по умолчанию с чем-то ещё. Когда мы экспортируем так:

Импортировать их можно так:

При импортировании модуля, экспортированного с использованием синтаксиса CommonJS (как в React), можно сделать:

Это можно упростить:

Примечание: экспортируемые значения — это связывания, не ссылки. Поэтому изменение в одном модуле повлечёт за собой изменение в другом.

Параметры

В ES5 было несколько способов обработки функций со значениями по умолчанию, неопределёнными аргументами и именованными параметрами. В ES6 всё это реализуется, причём с понятным синтаксисом.

Параметры по умолчанию

В ES6 можно просто указать параметры функции по умолчанию:

Остаточные параметры

В ES5 неопределённое количество аргументов обрабатывалось так:

Используя остаточный оператор, можно передавать неопределённое число аргументов:

Именованные параметры

Одним из шаблонов ES5 для работы с именованными параметрами был шаблон options object, взятый из jQuery.

Тоже самое можно получить, используя деструктор в качестве формального параметра функции:

Если мы хотим сделать всё значение опциональным, можно деструктурировать пустой объект:

Оператор расширения

В ES5 можно было найти максимум массива, используя метод apply над Math.max:

В ES6 можно использовать оператор расширения для передачи массива значений в качестве параметров функции:

Также можно интуитивно конкатенировать массивы литералов:

Классы

До ES6 классы нужно было создавать, добавляя к функции-конструктору свойства, расширяя прототип:

А расширенные классы — так:

ES6 предоставляет весьма удобный синтаксический сахар. Классы можно создавать таким образом:

А расширять — используя ключевое слово extends:

Лучшая практика: хотя такой синтаксис и скрывает реализацию, новичкам в нём будет проще разобраться, да и написанный код будет чище.

Глубинные свёрточные обратные графические сети (deep convolutional inverse graphics networks, DCIGN) названы слегка некорректно, поскольку они по сути являются вариационными автокодировщиками, кодирующая и декодирующая части которых представлены свёрточной и развёртывающей НС соответственно. Сети такого типа моделируют свойства в виде вероятностей, поэтому их можно научить создавать картинку с собакой и кошкой, даже если сеть видела только картинки, на которых было только одно из животных. Возможно и удаление одного из двух объектов. Также были созданы сети, которые могли менять источник освещения и вращать объект. Сети такого типа обычно обучают методом обратного распространения ошибки.

Читать статью

Генеративные состязательные сети (generative adversarial networks, GAN) — это сети другого вида, они похожи на близнецов. Такие сети состоят из любых двух (обычно из FF и CNN), одна из которых контент генерирует, а другая — оценивает. Сеть-дискриминатор получает обучающие или созданные генератором данные. Степень угадывания дискриминатором источника данных в дальнейшем участвует в формировании ошибки. Таким образом, возникает состязание между генератором и дискриминатором, где первый учится обманывать первого, а второй — раскрывать обман (похоже на ситуацию “банкир-фальшивомонетчик”). Обучать такие сети весьма тяжело, поскольку нужно не только обучить каждую из них, но и настроить баланс.

Читать статью

Рекуррентные нейронные сети (recurrent neural networks, RNN) — это сети типа FFNN, но с особенностью: нейроны получают информацию не только от предыдущего слоя, но и от самих себя предыдущего прохода. Это означает, что порядок, в котором вы подаёте данные и обучаете сеть, становится важным. Большой сложностью сетей RNN является проблема исчезающего (или взрывного) градиента, которая заключается в быстрой потере информации с течением времени. Конечно, это влияет лишь на веса, а не состояния нейронов, но ведь именно в них накапливается информация. Обычно сети такого типа используются для автоматического дополнения информации.

Читать статью (стр. 179–211)

Сети с долгой краткосрочной памятью (long short term memory, LSTM) стараются решить вышеупомянутую проблему потери информации, используя фильтры и явно заданную клетку памяти. У каждого нейрона есть клетка памяти и три фильтра: входной, выходной и забывающий. Целью этих фильтров является защита информации. Входной фильтр определяет, сколько информации из предыдущего слоя будет храниться в клетке. Выходной фильтр определяет, сколько информации получат следующие слои. Ну а забывающий фильтр, каким бы странным не казался, также выполняет полезную функцию: например, если сеть изучает книгу и переходит на новую главу, какие-то символы из старой можно забыть. Такие сети способны научиться создавать сложные структуры, например, писать как Шекспир или сочинять простую музыку, но и ресурсов они потребляют немало.

Читать статью (стр. 1735–1780)

Управляемые рекуррентные нейроны (gated recurrent units, GRU) — это небольшая вариация предыдущей сети. У них на один фильтр меньше, и связи реализованы иначе. Фильтр обновления определяет, сколько информации останется от прошлого состояния и сколько будет взято из предыдущего слоя. Фильтр сброса работает примерно как забывающий фильтр.

Читать статью

Нейронные машины Тьюринга (neural Turing machines, NTM) можно рассматривать как абстрактную модель LSTM и попытку показать, что на самом деле происходит внутри нейронной сети. Ячейка памяти не помещена в нейрон, а размещена отдельно с целью объединить эффективность обычного хранилища данных и мощь нейронной сети. Собственно, поэтому такие сети и называются машинами Тьюринга — в силу способности читать и записывать данные и менять состояние в зависимости от прочитанного они являются тьюринг-полными.

Читать статью

Двунаправленные RNN, LSTM и GRU (bidirectional recurrent neural networks, bidirectional long / short term memory networks и bidirectional gated recurrent units, BiRNN, BiLSTM и BiGRU) не показаны в таблице, поскольку они ничем не отличаются от своих однонаправленных вариантов. Разница заключается в том, что эти сети используют не только данные из “прошлого”, но и из “будущего”. Например, обычную сеть типа LSTM обучают угадывать слово “рыба”, подавая буквы по одной, а двунаправленную — подавая ещё и следующую букву из последовательности. Такие сети способны, например, не только расширять изображение по краям, но и заполнять дыры внутри.

Читать статью (стр. 2673–2681)

Глубинные остаточные сети (deep residual networks, DRN) — это очень глубокие сети типа FFNN с дополнительными связями между отделёнными друг от друга слоями. Такие сети можно обучать на шаблонах глубиной аж до 150 слоёв — гораздо больше, чем можно было бы ожидать. Однако, было показано, что эти сети мало чем отличаются от рекуррентных, и их часто сравнивают с сетями LSTM.

Читать статью

Нейронная эхо-сеть (echo state networks, ESN) — это ещё одна разновидность рекуррентных сетей. Её особенностью является отсутствие сформированных слоёв, т.е. связи между нейронами случайны. Соответственно, метод обратного распространения ошибки не срабатывает. Вместо этого нужно подавать входных данные, передавать их по сети и обновлять нейроны, наблюдая за выходными данными.

Читать статью (стр. 78–80)

Метод экстремального обучения (extreme learning machines, ELM) — это, по сути, сеть типа FFNN, но со случайными связями. Они очень похожи на сети  LSM и ESN, но используются как FFNN. Так происходит не только потому, что они не рекуррентны, но и потому, что их можно обучать просто методом обратного распространения ошибки.

Читать статью (стр. 30–59)

Метод неустойчивых состояний (liquid state machines, LSM) похож на эхо-сеть, но есть существенное отличие: сигмоидная активация заменена пороговой функцией, а каждый нейрон является накопительной ячейкой памяти. Таким образом, при обновлении нейрона его значение не становится равным сумме соседей, а прибавляется само к себе, и при достижении порога сообщается другим нейронам.

Читать статью (стр. 2531–2560)

Метод опорных векторов (support vector machines, SVM) находит оптимальные решения задачи оптимизации. Классическая версия способна категоризировать линейно разделяемые данные: например, различать изображения с котом Томом и с котом Гарфилдом. В процессе обучения сеть как бы размещает все данные на 2D-графике и пытается разделить данные прямой линией так, чтобы с каждой стороны были данные только одного класса и чтобы расстояние от данные до линии было максимальным. Используя трюк с ядром, можно классифицировать данные размерности n. Что характерно, этот метод не всегда рассматривается как нейронная сеть.

Читать статью (стр. 273–297)

И наконец, нейронные сети Кохонена (Kohonen networks, KN), также известные как самоорганизующиеся карты (self organising (feature) maps, SOM, SOFM), завершают наш список. Эти сети используют соревновательное обучение для классификации данных без учителя. Сети подаются входные данные, после чего сеть определяет, какие из нейронов максимально совпадают с ними. После этого эти нейроны изменяются для ещё большей точности совпадения, в процессе двигая за собой соседей. Иногда карты Кохонена также не считаются нейронными сетями.

Читать статью (стр. 59–69)

Вот и всё! После прочтения наших статей и прилагающихся материалов вы точно будете уверенно разбираться в видах нейронных сетей ?

Проблема нарисованных выше графов заключается в том, что они не показывают, как соответствующие сети используются на практике. Например, вариационные автокодировщики (VAE) выглядят совсем как простые автокодировщики (AE), но их процессы обучения существенно различаются. Случаи использования отличаются ещё больше, поскольку VAE — это генератор, которому для получения нового образца подаётся новый шум. AE же просто сравнивает полученные данные с наиболее похожим образцом, полученным во время обучения.

Стоит заметить, что хотя большинство этих аббревиатур общеприняты, есть и исключения. Под RNN иногда подразумевают рекурсивную нейронную сеть, но обычно имеют в виду рекуррентную. Также можно часто встретить использование аббревиатуры RNN, когда речь идёт про любую рекуррентную НС. Автокодировщики также сталкиваются с этой проблемой, когда вариационные и шумоподавляющие автокодировщики (VAE, DAE) называют просто автокодировщиками (AE). Кроме того, во многих аббревиатурах различается количество букв “N” в конце, поскольку в каких-то случаях используется “neural network”, а в каких-то — просто “network”.

Для каждой архитектуры будет дано очень краткое описание и ссылка на статью, ей посвящённую. Если вы хотите быстро познакомиться с нейронными сетями с нуля, следуйте переведенному нами руководству, состоящему всего из четырех шагов.

Нейронные сети прямого распространения (feed forward neural networks, FF или FFNN) и перцептроны (perceptrons, P) очень прямолинейны, они передают информацию от входа к выходу. Нейронные сети часто описываются в виде слоёного торта, где каждый слой состоит из входных, скрытых или выходных клеток. Клетки одного слоя не связаны между собой, а соседние слои обычно полностью связаны. Самая простая нейронная сеть имеет две входных клетки и одну выходную, и может использоваться в качестве модели логических вентилей. FFNN обычно обучается по методу обратного распространения ошибки, в котором сеть получает множества входных и выходных данных. Этот процесс называется обучением с учителем, и он отличается от обучения без учителя тем, что во втором случае множество выходных данных сеть составляет самостоятельно. Вышеупомянутая ошибка является разницей между вводом и выводом. Если у сети есть достаточное количество скрытых нейронов, она теоретически способна смоделировать взаимодействие между входным и выходными данными. Практически такие сети используются редко, но их часто комбинируют с другими типами для получения новых.

Читать статью (стр. 386)

Сети радиально-базисных функций (radial basis function, RBF) — это FFNN, которая использует радиальные базисные функции как функции активации. Больше она ничем не выделяется ?

Нейронная сеть Хопфилда (Hopfield network, HN) — это полносвязная нейронная сеть с симметричной матрицей связей. Во время получения входных данных каждый узел является входом, в процессе обучения он становится скрытым, а затем становится выходом. Сеть обучается так: значения нейронов устанавливаются в соответствии с желаемым шаблоном, после чего вычисляются веса, которые в дальнейшем не меняются. После того, как сеть обучилась на одном или нескольких шаблонах, она всегда будет сводиться к одному из них (но не всегда — к желаемому). Она стабилизируется в зависимости от общей “энергии” и “температуры” сети. У каждого нейрона есть свой порог активации, зависящий от температуры, при прохождении которого нейрон принимает одно из двух значений (обычно -1 или 1, иногда 0 или 1).  Такая сеть часто называется сетью с ассоциативной памятью; как человек, видя половину таблицы, может представить вторую половину таблицы, так и эта сеть, получая таблицу, наполовину зашумленную, восстанавливает её до полной.

Читать статью (стр. 2554–2558)

Цепи Маркова (Markov chains, MC или discrete time Markov Chains, DTMC) — это предшественники машин Больцмана (BM) и сетей Хопфилда (HN). Их смысл можно объяснить так: каковы мои шансы попасть в один из следующих узлов, если я нахожусь в данном? Каждое следующее состояние зависит только от предыдущего. Хотя на самом деле цепи Маркова не являются НС, они весьма похожи. Также цепи Маркова не обязательно полносвязны.

Читать статью (стр. 252)

Машина Больцмана (Boltzmann machine, BM) очень похожа на сеть Хопфилда, но в ней некоторые нейроны помечены как входные, а некоторые — как скрытые. Входные нейроны в дальнейшем становятся выходными. Машина Больцмана — это стохастическая сеть. Обучение проходит по методу обратного распространения ошибки или по алгоритму сравнительной расходимости.  В целом процесс обучения очень похож на таковой у сети Хопфилда.

Читать статью (стр. 282–317)

Ограниченная машина Больцмана (restricted Boltzmann machine, RBM) удивительно похожа на машину Больцмана и, следовательно, на сеть Хопфилда. Единственной разницей является её ограниченность. В ней нейроны одного типа не связаны между собой. Ограниченную машину Больцмана можно обучать как FFNN, но с одним нюансом: вместо прямой передачи данных и обратного распространения ошибки нужно передавать данные сперва в прямом направлении, затем в обратном. После этого проходит обучение по методу прямого и обратного распространения ошибки.

Автокодировщик (autoencoder, AE) чем-то похож на FFNN, так как это скорее другой способ использования FFNN, нежели фундаментально другая архитектура. Основной идеей является автоматическое кодирование (в смысле сжатия, не шифрования) информации. Сама сеть по форме напоминает песочные часы, в ней скрытые слои меньше входного и выходного, причём она симметрична. Сеть можно обучить методом обратного распространения ошибки, подавая входные данные  и задавая ошибку равной разнице между входом и выходом.

Читать статью (стр. 291–294)

Разреженный автокодировщик (sparse autoencoder, SAE) — в каком-то смысле противоположность обычного. Вместо того, чтобы обучать сеть отображать информацию в меньшем “объёме” узлов, мы увеличиваем их количество. Вместо того, чтобы сужаться к центру, сеть там раздувается. Сети такого типа полезны для работы с большим количеством мелких свойств набора данных. Если обучать сеть как обычный автокодировщик, ничего полезного не выйдет. Поэтому кроме входных данных подаётся ещё и специальный фильтр разреженности, который пропускает только определённые ошибки.

Читать статью

Вариационные автокодировщики (variational autoencoder, VAE) обладают схожей с AE архитектурой, но обучают их иному: приближению вероятностного распределения входных образцов. В этом они берут начало от машин Больцмана. Тем не менее, они опираются на байесовскую математику, когда речь идёт о вероятностных выводах и независимости, которые интуитивно понятны, но сложны в реализации. Если обобщить, то можно сказать что эта сеть принимает в расчёт влияния нейронов. Если что-то одно происходит в одном месте, а что-то другое – в другом, то эти события не обязательно связаны, и это должно учитываться.

Читать статью

Шумоподавляющие автокодировщики (denoising autoencoder, DAE) — это AE, в которые входные данные подаются в зашумленном состоянии. Ошибку мы вычисляем так же, и выходные данные сравниваются с зашумленными. Благодаря этому сеть учится обращать внимание на более широкие свойства, поскольку маленькие могут изменяться вместе с шумом.

Читать статью

Сеть типа “deep belief” (deep belief networks, DBN) — это название, которое получил тип архитектуры, в которой сеть состоит из нескольких соединённых RBM или VAE. Такие сети обучаются поблочно, причём каждому блоку требуется лишь уметь закодировать предыдущий. Такая техника называется “жадным обучением”, которая заключается в выборе локальных оптимальных решений, не гарантирующих оптимальный конечный результат. Также сеть можно обучить (методом обратного распространения ошибки) отображать данные в виде вероятностной модели. Если использовать обучение без учителя, стабилизированную модель можно использовать для генерации новых данных.

Читать статью (стр. 153)

Свёрточные нейронные сети (convolutional neural networks, CNN) и глубинные свёрточные нейронные сети (deep convolutional neural networks, DCNN) сильно отличаются от других видов сетей. Обычно они используются для обработки изображений, реже для аудио. Типичным способом применения CNN является классификация изображений: если на изображении есть кошка, сеть выдаст “кошка”, если есть собака — “собака”. Такие сети обычно используют “сканер”, не парсящий все данные за один раз. Например, если у вас есть изображение 200×200, вы не будете сразу обрабатывать все 40 тысяч пикселей. Вместо это сеть считает квадрат размера 20 x 20 (обычно из левого верхнего угла), затем сдвинется на 1 пиксель и считает новый квадрат, и т.д. Эти входные данные затем передаются через свёрточные слои, в которых не все узлы соединены между собой. Эти слои имеют свойство сжиматься с глубиной, причём часто используются степени двойки: 32, 16, 8, 4, 2, 1. На практике к концу CNN прикрепляют FFNN для дальнейшей обработки данных. Такие сети называются глубинными (DCNN).

Читать статью (стр. 2278–2324)

Развёртывающие нейронные сети (deconvolutional networks, DN), также называемые обратными графическими сетями, являются обратным к свёрточным нейронным сетям. Представьте, что вы передаёте сети слово “кошка”, а она генерирует картинки с кошками, похожие на реальные изображения котов. DNN тоже можно объединять с FFNN. Стоит заметить, что в большинстве случаев сети передаётся не строка, а какой бинарный вектор: например, <0, 1> — это кошка, <1, 0> — собака, а <1, 1> — и кошка, и собака.

Читать статью

Командная строка

• Командная строка Windows NT/XP
• BASH
• DOS

Базы данных

• Oracle DB
• Oracle PL/SQL
• Команды Oracle 9i
• PostgreSQL
• Команды SQL Server 2005

Программирование

• Синтаксис Ada (PDF)
• C++
• C++ (PDF)
• Delphi (PDF)
• Синтаксис Java
• Сравнение Java и C++
• PERL
• PERL Reference Guide
• PERL Regular Expression Quick Reference (PDF)
• Шпаргалка PHP-разработчика
• Python
• Сниппеты по Ruby

Unix/Linux

• Полезные команды Linux, о которых вы не знали
• Горячие клавиши и команды Linux
• Одностраничный мануал по Linux (PDF)
• TCP порты
• Treebeard’s Unix Cheat Sheet
• Замечания по командной строке Unix

Веб-разработка

• Короткий гайд по CSS
• Drupal 4.7
• .htaccess
• HTML
• HTML DOM (PDF)
• JQuery (PDF)
• JQuery (вторая страница) (PDF)
• XHTML & HTML
• XML Syntax Quick Reference (PDF)
• XML Schema Reference (PDF)
• XSLT и XPath (PDF)

Прочее

• LaTEX (PDF)
• ASCII Коды
• CVS
• Регулярные выражения в Python
• Теоретическая информатика (PDF)
• UML (PDF)
• UML

Тимур Сабаев, сертифицированный тренер Microsoft по лицензированию, выступая на семинаре ГК «ГЭНДАЛЬФ» «Создание безопасной отказоустойчивой IT-среды», дал подсказки, которые помогут IT-специалисту при общении с руководством.

Делайте свою работу прозрачной

Директор, который ставит задачу и видит только результат, вряд ли сможет адекватно проанализировать ситуацию. Специфика работы IT-специалиста для него остается загадкой. Приоткройте завесу тайны — для этого не нужно сыпать техническими терминами, объясните буквально на пальцах, почему вы сделаете так, а не иначе, и к чему приведут все варианты (желательно, в долгосрочной перспективе).

Пример: директор увеличивает бюджет проекту и видит на выходе упавшие показатели. Сокращает бюджет — и вдруг показатели растут. Сделав очевидные выводы, он не понимает, что падение показателей связано с этапом внедрения и освоения на выделенные средства новой, более качественной и продвинутой системы. А в условиях урезанного бюджета IT-специалисту буквально из двух машин пришлось собирать одну, что увеличило текущие показатели, но обернулось катастрофой в будущем.

Используйте конкретные цифры

И IT-специалист, и директор говорят на языке цифр — и все равно друг друга не понимают. Цифры, которых понятны директору — это валюта, «человекочасы», KPI. Чтобы предоставить эти данные, проводите регулярный аудит своей инфраструктуры.

Посчитайте количество компьютеров и лицензий — и возле каждой единицы поставьте ценник, а затем распишите затраты человекочасов на обслуживание.

Пусть будет ясна стоимость привлечения нового рабочего места, стоимость владения рабочим местом, стоимость утилизации рабочего места. Оцените уровень безопасности своей системы в процентах, опишите допустимый — и вам будет несложно пояснить, что снижение этой цифры будет связано, например, с устаревшей программой. Руководство получит и инструмент для оценки реальной ситуации, и чувство контроля над происходящим — а к вам останется гораздо меньше вопросов.

Помогите поменять точку зрения

В современном мире уже не принято рассматривать необходимость лицензионного программного обеспечения с позиции «потратим деньги только для того, чтобы не разориться на штрафах за нелицензионное ПО». Лицензии и продвинутое оборудование бизнес начинает воспринимать как инвестицию. А считать прибыль всегда приятнее, чем предотвращать убытки — поэтому рисуйте перспективу роста вложенных денег.

Объясните, как новая CRM-система поможет компании быстрее продать, обойти конкурента, и, следовательно, выжить в сложной ситуации. Программа или оборудование станут не просто инструментом — а активом, в которой захочется вкладывать ресурсы и который необходимо будет защищать.

Напомните, что платить приходится за все

Штрафы и проверки далеко не всегда пугают руководство — кто-то надеется, что это обойдет стороной именно их фирму, кто-то полагается на связи. Но если вы столкнулись с ситуацией, когда руководитель предлагает использовать нелицензионное ПО, напомните, что бесплатный сыр бывает только в мышеловке.

Пора забыть о романтике пиратства: те, кто тратит свое время и деньги на создание нелицензионного программного обеспечения, в большинстве случаев рассчитывает вернуть эти средства другим путем. Например, получив доступ к ценным данным вашей организации через вирусы, которые могут быть изначально вшиты в пиратскую сборку программ.

Расскажите директору следующую историю: системный администратор небольшого подмосковного предприятия не смог добиться установки легального софта «хотя бы в бухгалтерии». В бухгалтерии — 15 компьютеров, благодаря которым контролируется работа со складом, поступление и списание сырья, оплачиваются услуги контрагентов, услуги транспортной компании и прочее. Нелегальный софт стал легкой мишенью для вирусной атаки, из-за которой работа бухгалтерии остановилась на неделю, и это обошлось предприятию в 1 миллион долларов.

Давайте выбирать — но из лучших готовых вариантов

Если вам нужно продвинуть свою идею для оптимизации, подготовьте два варианта решения вашей задачи — не больше и не меньше. Опишите бюджет и сроки, дайте вашему руководству возможность сделать выбор на основе конкретных данных — это располагает. Если же вы сами придерживаетесь конкретного варианта, его преимущества должны быть очевидны.

Покупать новую операционную систему или использовать старую, потому что за нее «уплочено»?

Позвольте руководству сделать выводы с помощью следующего иллюстративного примера: с 8 апреля 2014 г. поддержка и выпуск обновлений для Windows XP больше не доступны –использовать ее по привычке или ради экономии все равно что гостеприимно распахнуть дверь киберпреступникам.

Связано это с тем, что с каждым обновлением для линейки своей продукции компания Microsoft рассказывает об обнаруженных уязвимостях, которые могут быть применены и для Windows XP как для предшественницы современных операционных систем Microsoft. Вот только обновления на Windows XP, закрывающие данные лазейки, уже недоступны — а значит, киберпреступники смогут использовать официальную информацию для взлома системы.

Подводя итоги, надо сказать, что это далеко не все пути для IT-специалиста найти подход к генеральному или финансовому директору компании для продвижения своих идей. Если же переговоры раз за разом заходят в тупик, есть еще один вариант: зовите на помощь продавца, у которого собираетесь закупать нужное программное обеспечение и оборудование. В конце концов, продавать — это его задача.

За материал выражаем благодарность специалистам ГК «ГЭНДАЛЬФ»

Java — язык программирования, который очень строго соответствует принципам объектно-ориентированного программирования. В этой статье вы найдете несколько полезных материалов, с которых стоит начать знакомство с языком.

Для начинающих

• Отличная статья, в которой описано, как стоит подходить к изучению Java. После прочтения стоит заглянуть и в другие разделы сайта Skipy.ru, это уже будет полезно не только начинающим.
• Study-Java — сайт, полностью состоящий из туториалов по Java, которые подскажут вам, в каком направлении стоит идти и какие навыки нужно вырабатывать в первую очередь.
• Курс по основам языка Java.
• Обширное руководство по многим темам с примерами кода.
• Базовый курс по Java на ресурсе Stepik.
• Более 350 вопросов с ответами для подготовки к интервью на позицию Junior Java Developer.
• Наша подборка материалов для изучения языка Java.
• Подборка полезных советов от Наньянского технологического университета — там есть аналогичные материалы и по другим темам.

Форумы, на которых вы можете задать возникшие вопросы:

• JavaTalks;
• VPF:Java;
• Раздел Java на SQL.ru;
• Раздел Java на CyberForum
• Группа ru-java в ЖЖ;
• И, конечно же, обсуждение в нашей группе. Не забывайте про него.

Для продвинутых

• Раздел Java на developer.com собрал в себе руководства как по целым пластам языка, вроде Enterprise Edition, так и разъяснения отдельных нюансов, вроде новомодных лямбда-выражений. Вот, например, статья, прочитав которую, вы разберётесь с тем, что такое аннотации, зачем они нужны и как правильно их использовать.
• На сайте Tutorials Point есть раздел с исчерпывающим количеством туториалов по Java. Также там есть отдельный раздел для Java 8.
• Java2S — коллекция примеров на все случаи жизни. Примечательно, что здесь есть не только чистая Java, но и работа с разными библиотеками, например JUnit. Хорошо описаны и нововведения Java 8 — Date-Time API, лямбды, потоки (streams).
• Oskar Veerhoek — канал на YouTube, посвящённый OpenGL. Если вы собираетесь связать свою жизнь с программированием, маловероятно, что вам никогда не придётся работать с графикой. В течение курса из 41 видео автор расскажет вам, как работать с OpenGL в Java. Курс начинается с самых основ и написания 2D Minecraft'а, а заканчивается шейдерами, освещением и созданием 3D комнаты.

Для всех

• Java-Tips — сборник готовых рецептов, шпаргалок, туториалов и полезных библиотек… Сайт будет незаменим для любого Java-программиста, особенно если вы только начинаете изучать язык. Отдельное спасибо стоит сказать тому, кто сортировал это всё — вам не составит труда найти здесь то, что вам нужно. Присутствуют материалы как по Java SE, так и по Enterprise и Micro версиям.
• Регулярно обновляемый список вопросов и ответов.
• Примеры решённых практических задач.
• Структурированный справочник по языку.
• Подробное руководство с примерами по каждой теме.
• Обучающий материал от w3resource.
• Учебное пособие от Oracle, создателей языка.
• Помните, что официальная документация — это источник самой достоверной и качественной информации.
• Напоминаем, что на нашем сайте тоже есть порядочное количество статей по этому языку.

Практика

• Бесплатные задачи, отсортированные по категориям на Codingbat;
• Cписок задач от автора блога eax.me;
• Олимпиадные задачи с ACMP;
• Олимпиадные задачи с Codeforces;
• Задачи с ответами на Codewars.

Полезные библиотеки

• JUnit
  Любой код должен сопровождаться тестированием. Многие очень напрасно об этом забывают. Эта библиотека предназначена для автоматизации модульного тестирования. Еще несколько инструментов для тестирования в Java, вы найдете в нашей подборке.
• HttpClient
  Библиотека для работы с HTTP ресурсами.
• CommonsLang
  То, что «забыли» включить в JDK.
• CommonsMath
  Отличное дополнение к java.math.
• CommonsLogging
  Если вы используете для логирования System.out.println(), то вам стоит отрубить себе рук лучше воспользуйтесь этой библиотекой, так будет правильнее.
• CommonsNet
  Логическое продолжение java.net, множество классов для работы с сетевыми протоколами.
• CommonsVFS
  Библиотека, которая поможет вам абстрагироваться от способа хранения файлов — вы сможете достаточно обобщённо иметь к ним доступ по FTP, SFTP, WEBDAV, (G)ZIP и т.д.
• CommonsIO
  С ней работать с вводом-выводом станет значительно проще.

Java 9

О том, какие изменения появились в Java 9, читайте в нашем обзоре с примерами.

Статьи

• Подробный гайд по Java 9;
• Знакомство с Project Jigsaw;
• Java 9 Stream API: введение и материал по коллекторам;
• Java 9 Process API;
• Улучшения в Java Time (JSR-310);
• Конкурентность;
• Новое в Optional;
• Разбираемся с Stack-Walking API;
• Коллекции;
• «Applying @Deprecated Enhancements»;
• Variable Handles;
• Рефлексия vs Инкапсуляция;
• Создание multi-release JAR-файлов при помощи Maven: о формате JAR, и о формате JAR с использованием Maven;
• Ограничения памяти и Docker;
• Введение в JShell.

Больше статей можно найти на этом сайте.

Блоги

• Oracle (нет тега Java 9);
• SitePoint;
• Voxxed (выделим отличный цикл);
• Baeldung;
• Iteratr Learning (нет тега Java 9);
• CodeFX;
• Joda.

Книги и курсы

• Курс «Java 9 Modularity: First Look»;
• Книга «Java 9 Modularity»;
• Книга «Mastering Java 9»;
• Книга «Modular Programming in Java 9»;
• Книга «Java 9 with JShell»;
• Книга «Java 9 Module System».

В комментариях пишите, какие ресурсы были полезны для вас при изучении Java, самое интересное добавим в статью.

Часто задаваемые вопросы

Сколько времени нужно, чтобы выучить Java?

Основы синтаксиса можно освоить за 2–3 месяца при регулярных занятиях. Для уверенного владения языком на уровне Junior-разработчика обычно требуется 6–12 месяцев практики, включая работу с библиотеками и фреймворками.

С чего лучше начать изучение Java новичку?

Начните с базового курса на Stepik или официального учебного пособия от Oracle. Параллельно решайте задачи на Codewars или Codingbat — практика важнее теории. Когда освоите основы, переходите к изучению библиотек JUnit и Apache Commons.

Java или Kotlin — что выбрать в 2026 году?

Оба языка работают на JVM и востребованы на рынке. Java остается стандартом для enterprise-разработки, банковских систем и масштабных серверных приложений. Kotlin чаще выбирают для Android и новых проектов. Знание Java даёт фундамент, с которым переход на Kotlin занимает считанные недели.

Python

Объяснение глобальной и локальной областей видимости

Регулярные выражения Python для начинающих

Кросс-платформенная библиотека для получения системной информации

Потоки и глобальная блокировка интерпретатора Python

C

Небольшой учебник по С — наиболее важные темы в сжатом виде

Книга «Сетевое программирование с Биджем», в электронном виде распространяется бесплатно, в том числе на русском языке

Git

Простое введение в Git, выполненное в виде удобной шпаргалки, есть русская версия

Объемный урок, охватывает множество команд и схему работы Git

Vim

Шпаргалка по действиям, назначенным на каждую кнопку клавиатуры

Bash

Шпаргалка с полезными однострочными командами Bash

Список используемых в Bash специальных символов

Большое пособие по программированию на Bash

Редакторы кода

Vim

Atom

Brackets

Sublime Text

GNU Emacs

Notepad++

Разное

Системные вызовы Linux

Добиваемся загрузки Linux в 1 секунду, презентация

Список вопросов, которые могут задать на собеседовании разработчику

Кроссплатформенная система разработки десктопных приложений

Сайт с видеоуроками по системному администрированию

Структуры данных: стек или куча?

Гораздо проще иметь под рукой шпаргалку. На сайте OverAPI вы найдете шпаргалки по различным языкам и технологиям на любой вкус: от PHP до Haskell, от HTML до sed.

• Четыре базовых принципа ООП: абстракция, полиморфизм, наследование и инкапсуляция • Вместе с наследованием используйте делегацию, композицию и агрегацию • Принципы SOLID помогают проектировать гибкие и поддерживаемые системы • Правило DRY: каждая часть логики должна существовать в единственном месте

Главное

• Инкапсулируйте все, что может изменяться;
• Уделяйте больше внимания интерфейсам, а не их реализациям;
• Каждый класс в вашем приложении должен иметь только одно назначение;
• Классы — это их поведение и функциональность.

Базовые принципы ООП

• Абстракция — отделение концепции от ее экземпляра;
• Полиморфизм — реализация задач одной и той же идеи разными способами;
• Наследование — способность объекта или класса базироваться на другом объекте или классе. Это главный механизм для повторного использования кода. Наследственное отношение классов четко определяет их иерархию;
• Инкапсуляция — размещение одного объекта или класса внутри другого для разграничения доступа к ним.

Используйте следующее вместе с наследованием

• Делегация — перепоручение задачи от внешнего объекта внутреннему;
• Композиция — включение объектом-контейнером объекта-содержимого и управление его поведением; последний не может существовать вне первого;
• Агрегация — включение объектом-контейнером ссылки на объект-содержимое; при уничтожении первого последний продолжает существование.

Не повторяйся (Don't repeat yourself — DRY)

Избегайте повторного написания кода, вынося в абстракции часто используемые задачи и данные. Каждая часть вашего кода или информации должна находиться в единственном числе в единственном доступном месте. Это один из принципов читаемого кода.

Принцип единственной обязанности

Для каждого класса должно быть определено единственное назначение. Все ресурсы, необходимые для его осуществления, должны быть инкапсулированы в этот класс и подчинены только этой задаче.

Принцип открытости/закрытости

Программные сущности должны быть открыты для расширения, но закрыты для изменений.

Принцип подстановки Барбары Лисков

Методы, использующие некий тип, должны иметь возможность использовать его подтипы, не зная об этом.

Принцип разделения интерфейсов

Предпочтительнее разделять интерфейсы на более мелкие тематические, чтобы реализующие их классы не были вынуждены определять методы, которые непосредственно в них не используются.

Принцип инверсии зависимостей

Система должна конструироваться на основе абстракций "сверху вниз": не абстракции должны формироваться на основе деталей, а детали должны формироваться на основе абстракций.

Часто задаваемые вопросы

Чем отличается инкапсуляция от абстракции?

Абстракция скрывает сложность, выделяя только существенные характеристики объекта. Инкапсуляция скрывает внутреннюю реализацию, ограничивая прямой доступ к данным через модификаторы доступа (private, protected). Абстракция отвечает на вопрос «что делает объект», а инкапсуляция — «как именно он это делает и кто имеет доступ».

Когда использовать наследование, а когда композицию?

Наследование подходит, когда между классами есть отношение «является» (is-a): например, Кошка является Животным. Композицию выбирают при отношении «содержит» (has-a): Автомобиль содержит Двигатель. На практике композиция предпочтительнее, потому что она даёт более слабую связанность и гибкость при изменениях.

Что такое SOLID простыми словами?

SOLID — это пять принципов проектирования, которые помогают писать поддерживаемый код. S — один класс решает одну задачу. O — расширяйте классы, не меняя их код. L — подклассы должны работать везде, где работает родительский класс. I — лучше несколько маленьких интерфейсов, чем один большой. D — зависьте от абстракций, а не от конкретных реализаций.

Перевод статьи «Object-Orientated Design Principles»