Для тех, кто пользуется обычными GNU Coreutils, ничего не меняется, пока дистрибутив не переключится сам. Но тенденция понятна: Ubuntu уже ставит Rust-реализацию по умолчанию, и вопрос «а чем это отличается» становится практическим. Ответ версии 0.11: сообщениями об ошибках, скоростью и очередным шагом к полной совместимости с GNU.

• Новый диагностический движок на библиотеке ariadne: подсказки с указателем в 28 утилитах.
• Переменная UUTILS_DIAG принимает always, never и auto; в скриптах и пайпах по умолчанию сохраняется однострочное сообщение.
• PGO-сборки для Linux, macOS и Windows дают до 31% прироста; cp ускорен на 32,93%, join в одном сценарии в 2,5 раза быстрее GNU.
• Совместимость с тестами GNU: 653 успешных, 22 неудачных, 10 пропущенных из 685; было 645 и 28.
• Исправлены TOCTOU-проблемы в mv, cp, rm и chmod; 358 pull request от 26 новых участников.

Как выглядит новая ошибка

Идея, описанная Сильвестром Ледрю в блоге проекта, проста: GNU-утилиты десятилетиями отвечали на опечатку сухой строкой вроде «invalid field specification», и пользователь сам искал, где именно ошибся. Теперь под командой печатается сама команда, а под ней каретка, указывающая на неверный символ, и короткое объяснение. Реализовано это на библиотеке ariadne, той же, что используют некоторые парсеры на Rust.

Важная деталь для тех, кто пишет скрипты: многострочная диагностика включается только в интерактивном терминале. В пайпах и при перенаправлении вывода по умолчанию остаётся привычное однострочное сообщение, поэтому парсеры stderr не сломаются. Управляет этим переменная окружения UUTILS_DIAG со значениями always, never и auto. Попробовать без установки можно в браузерной песочнице проекта.

Скорость: «медленнее GNU теперь считается багом»

Команда прямо формулирует новую политику: «утилита, которая значительно медленнее GNU, теперь считается багом» (перевод редакции). В релизе это подкреплено PGO-сборками для Linux, macOS и Windows, которые, по замерам проекта, дают до 31% прироста. Отдельно названы cp, ускоренный на 32,93%, и join, который в одном из сценариев работает в 2,5 раза быстрее GNU-версии. Это замеры самого проекта на его наборах; на других данных разница будет иной.

Совместимость с GNU

Таблица в релизе сравнивает результаты на тестовом наборе GNU Coreutils: в 0.10.0 было 645 успешных и 28 неудачных тестов из 683, в 0.11.0 стало 653 успешных, 22 неудачных и 10 пропущенных из 685. Оставшиеся расхождения касаются редких флагов и краевых случаев, но именно они всплывают в старых скриптах, поэтому перед заменой системных утилит стоит прогнать свои сценарии.

Из исправлений безопасности названы TOCTOU-проблемы, то есть гонки между проверкой и использованием файла, в mv, cp, rm и chmod; также закрыты зависания и переполнения. Реализации kill и uptime доработаны для Windows.

Как попробовать

Проект распространяется под лицензией MIT и рассчитан на Linux, Windows, Redox и Fuchsia. Самый безопасный способ познакомиться: поставить uutils рядом с системными утилитами, а не вместо них. По README проекта, сборка из исходников выполняется через cargo, а в ряде дистрибутивов пакет называется uutils-coreutils или rust-coreutils и ставит бинарники в отдельный каталог. Точные имена пакетов зависят от дистрибутива, поэтому проверять их стоит в его репозитории.

Если ваши скрипты парсят stderr утилит, оставьте UUTILS_DIAG в значении auto: тогда в неинтерактивном режиме формат ошибок не изменится.

В релиз вошли 358 pull request от 26 новых участников; всего в проекте отметились более 1000 контрибьюторов. Редакция проверит, как изменится таблица совместимости в 0.12.

Источники: Релиз 0.11.0 на GitHub, Блог uutils: новая диагностика ошибок

Изображение на обложке: uutils

Для тех, кто пишет багрепорты из скриптов, собирает отчёты в CI или просто не хочет переключаться в браузер ради одной картинки, это закрывает давний разрыв между «вот команда, которая падает» и «вот как это выглядит». Единственное серьёзное исключение: GitHub Enterprise Server в этом релизе не поддерживается.

• Флаг --attach работает в gh issue create, edit, comment и в gh pr create, edit, comment; его можно повторять несколько раз.
• Форматы: PNG, JPEG, GIF, WebP, SVG для картинок и MP4, MOV, WebM для видео.
• Лимит на изображение и GIF 10 МБ; видео до 10 МБ на бесплатном плане и до 100 МБ на платных.
• Нужен OAuth-токен от gh auth login или classic personal access token и право записи в репозиторий.
• GitHub Enterprise Server не поддерживается; нужна версия gh 2.99.0.

Как это выглядит в командной строке

Минимальный пример из changelog: приложить скриншот к комментарию в issue.

Флаг повторяемый, поэтому к одному issue можно приложить сразу несколько файлов, указав --attach для каждого. Alt-текст задаётся после пути через решётку: --attach './login.png#The login error state'. Это тот же alt, который потом увидят читатели со скринридером, так что писать его стоит осмысленно.

Самая полезная деталь спрятана в обработке Markdown. Если в тексте issue или комментария уже стоит локальная ссылка вида , CLI перепишет её на адрес загруженного файла. Вложения, на которые в тексте ссылок нет, добавляются в конец Markdown. Значит, можно писать описание бага в редакторе с относительными путями к картинкам, а потом одной командой отправить и текст, и файлы.

Ограничения, о которых стоит знать заранее

Для загрузки нужен либо OAuth-токен, полученный через gh auth login, либо classic personal access token; другие типы токенов в changelog не упомянуты, и это стоит учитывать в CI. Кроме того, требуется право записи в репозиторий: приложить файл к чужому issue в проекте, где вы не участник, не получится, даже если оставлять комментарии там можно.

Лимиты размеров: 10 МБ для изображений и GIF, для видео 10 МБ на Free и 100 МБ на платных планах. GitHub Enterprise Server новую возможность не получил; сроки для самостоятельно развёрнутых инсталляций в публикации не названы.

Что ещё не сказано: как ведёт себя команда при превышении лимита, поддерживает ли она загрузку по URL вместо локального файла и когда флаг доберётся до gh release. Судя по тексту changelog, речь только об issue, pull request и комментариях.

Где это пригодится

• Тестовые пайплайны: упавший end-to-end тест прикладывает скриншот или запись браузера к автоматически созданному issue.
• Ревью интерфейсов: gh pr comment --attach с записью экрана вместо описания «нажмите сюда, потом сюда».
• Скрипты отчётов: график из matplotlib или диаграмма сборки уходит в комментарий к pull request без промежуточного хостинга.

Обновиться можно штатным способом: через менеджер пакетов, которым gh ставился, или скачав релиз 2.99.0 с GitHub.

Редакция проверит, появится ли поддержка Enterprise Server в следующих релизах gh.

Источник: Changelog GitHub: GitHub CLI media in issues, pull requests, and comments

Изображение на обложке: GitHub

На практике это netcat для интернета: на одной машине запускаете tailcat в режиме ожидания и получаете одноразовый адрес-токен, на другой вызываете tailcat с этим адресом, и между ними появляется шифрованный двунаправленный канал. Сверху можно пустить SSH, передачу файлов или проброс порта. Для разового доступа к машине за NAT это заменяет и промежуточный сервер, и регистрацию в чужом сервисе.

• tailcat — CLI и Go-пакет github.com/tailscale/tailcat под лицензией BSD-3-Clause.
• Использует WireGuard, NAT traversal и DERP-релеи Tailscale, но не control plane: аккаунты, вход и tailnet не нужны; IP-адреса внутри туннеля есть, но пользователю их знать не требуется.
• Адрес машины — её публичный ключ с информацией о DERP-сервере для первого контакта, закодированный в строку с префиксом tc.
• Сценарии: SSH на машину за NAT, передача файлов, временный доступ; есть экспериментальная браузерная демонстрация на WebAssembly.
• Прототип под названием derpcat написан в сентябре 2023 года; обещаний стабильности API и CLI у проекта нет.

Как соединение работает без сервера-посредника

В обычном Tailscale центральный сервер (control plane) раздаёт машинам ключи друг друга и координаты, по которым их искать. В tailcat этого посредника нет: всё, что нужно для соединения, упаковано в сам адрес. По описанию в блоге, это публичный ключ WireGuard плюс сведения о том, через какой DERP-релей к машине можно достучаться, если прямой путь через NAT не найдётся; строка начинается с tc и кодирует эти данные в base64. Получатель адреса знает и кому доверять, и где искать.

No accounts, login flow, tailnets, or IP addresses.

Дальше работает тот же механизм, что и в Tailscale: машины пытаются пробить NAT и соединиться напрямую, а если не выходит, трафик идёт через DERP-релей, зашифрованный концами так, что релей содержимого не видит. Релеи Tailscale публичные, и их можно заменить своим. Ни root, ни TUN-интерфейс, ни права администратора не нужны: tailcat работает в пространстве пользователя как обычная программа.

Чем это отличается от ngrok, SSH-туннелей и самого Tailscale

От ngrok и подобных сервисов tailcat отличается тем, что не выставляет ничего в публичный интернет: соединение получит только тот, у кого есть адрес, а адрес — это ключ. От SSH-прыжков через промежуточный сервер — тем, что промежуточный сервер не нужен вообще: DERP лишь помогает найти друг друга и при необходимости ретранслирует уже зашифрованные байты. От Tailscale — отсутствием всей управляющей части: нет списка устройств, ACL, MagicDNS, нет и постоянной сети, каждое соединение живёт само по себе.

Отсюда и границы применимости. tailcat хорош для разового доступа: подключиться к ноутбуку коллеги, забрать большой файл с домашней машины из офиса, дать подрядчику временный вход на стенд. Для постоянной сети между десятками серверов с правами доступа он не замена Tailscale или WireGuard-конфигу, и авторы этого не обещают: README прямо предупреждает, что инструмент бесплатный, но стабильность API и CLI не гарантируется.

Как попробовать

• Установка при наличии Go: go install github.com/tailscale/tailcat/cmd/tailcat@latest; готовые бинарники смотрите в релизах репозитория.
• На принимающей стороне запустите tailcat в режиме прослушивания и скопируйте выданный адрес; на второй машине передайте этот адрес как аргумент.
• Поверх канала поднимайте SSH или пробрасывайте порт; для передачи файлов подойдёт обычное перенаправление stdin и stdout, как с netcat.
• Для закрытого контура поднимите собственный DERP-сервер: код релея открыт в репозитории Tailscale.
• Браузерная демонстрация на WebAssembly лежит на GitHub Pages проекта и показывает, что канал можно открыть даже из вкладки.
• Публичные DERP-релеи даны без SLA, с ограничением частоты запросов и лишь в нескольких регионах; для рабочих сценариев поднимите свой релей.

Контекст

Первый прототип под именем derpcat Фицпатрик написал в сентябре 2023 года, публично проект показали после конференции TailscaleUp в августе 2026-го. Мотив компании понятен: чем больше людей знакомы с её сетевым стеком, тем проще им потом прийти за полноценным продуктом. Для разработчика это честная сделка: рабочий инструмент под BSD-лицензией без обязательств, но и без гарантий, что завтра его интерфейс не изменится.

Источники: tailcat: Tailscale without Tailscale (блог Tailscale), Репозиторий tailscale/tailcat

Изображение на обложке: Tailscale

Но awk - это не утилита для вырезания колонок, это полноценный язык программирования с ассоциативными массивами, регулярками, форматированным выводом и управляющими конструкциями. Все то, ради чего обычно тянутся за Python-скриптом, awk умеет в одну строку прямо в терминале.

Ниже - пять задач, которые на первый взгляд выглядят элементарно, но ломают привычку "awk это про колонки". По каждой разберем три вещи: как хочется решить сходу, почему это неоптимально, и как можно при помощи awk.

Задача 1: сумма по группам.

Дан файл /root/spend.txt - категория трат и сумма:

Нужно просуммировать по каждой категории.

Первое что приходит в голову - сгруппировать. Собрать уникальные категории, по каждой отфильтровать строки и сложить. Получается что-то такое:

Это работает. Но это три прохода по файлу на каждую категорию, внешний цикл в shell, и на большом файле оно будет работать очень медленно.

Да, awk '{sum += $2}' умеет накапливать одно число - общую сумму по всему файлу. Но как только сумм нужно несколько - по одной на категорию - рука тянется наружу, к циклу в shell, потому что "одна переменная - одна сумма". Но в awk не одна переменная. Здесь также есть ассоциативные массивы, где индексом может выступать строка.

Итого, решение через awk может выглядеть следующим образом:

Вот как это работает:

s[$1] += $2 - берем ячейку массива s с ключом "первое поле" и прибавляем к ней второе. Для строки food 10 это s["food"] += 10, для toys 5 - s["toys"] += 5. awk сам заводит новую ячейку когда встречает новый ключ, обнулять ничего не надо. Прошли весь файл - в массиве накопились суммы по всем категориям за один проход.

Блок END выполняется после того как файл закончился. for(k in s) обходит все ключи массива, print k, s[k] печатает ключ и накопленную по нему сумму.

Задача 2: уникальные строки с сохранением порядка

Дан файл /root/items.txt, строки в нем повторяются:

Нужно оставить только уникальные, сохранив порядок первого появления.

Тут даже awk сначала не вспоминаешь - есть же готовый инструмент:

Запускаем, получаем a b c. Вроде совпало. Но совпало случайно - в этом примере уникальные значения итак идут по алфавиту. sort -u сортирует, а значит **порядок первого появления теряется

awk в свою очередь помнит, какие строки уже видел, и делает это в один проход - потому что у него, опять же, есть ассоциативный массив.

Более простое решение задачи через awk:

По шагам:

$0 - это вся текущая строка целиком. seen[$0] - ячейка массива с ключом "эта строка". Для новой, еще не встречавшейся строки ее значение пустое, а в числовом контексте awk считает пустое за 0.

seen[$0]++ - это постфиксный инкремент: awk сначала возвращает текущее значение ячейки, а потом увеличивает его на 1. То есть при первой встрече строки выражение отдает 0 и тут же делает ячейку равной 1. При второй встрече отдает 1 (и делает равной 2), и так далее.

И ключевой момент: в awk, если условие написано без блока {...}, то то по умолчанию выполняется действие print - "напечатать строку"

Задача 3: строки между маркерами

В log.txt есть блок, обернутый в строки-маркеры --START-- и --END--:

Нужно вытащить то, что между маркерами - line1 и line2

И раз есть четкие границы, напрашивается grep или sed по диапазону. У sed даже есть готовый синтаксис "от x до y":

Но так мы получаем блок вместе с маркерами. Далее, чтобы выкинуть маркеры, можно начать городить что-то вроде sed -n '/--START--/,/--END--/{/--START--/d; /--END--/d; p}'. Но это уже не для слабонервных.

grep тут вообще не поможет - он смотрит на каждую строку отдельно и не знает, внутри блока она или снаружи. А вся суть задачи именно в этом - определить, находится ли текущая строка внутри интересующего нас блока. Инструменту надо помнить, где он находится, переходя от строки к строке. То есть нужна переменная-состояние - а это как раз задача для awk:

Здесь f - флаг. По умолчанию у неинициализированной переменной значение 0 = "не печатать".

Вся "программа" - это 3 правила подряд:

/--START--/{f=1; next} - строка совпала со стартовым маркером: ставим флаг в 1 и через next сразу прыгаем к следующей строке, не доходя до печати. Сам маркер не выводится.

/--END--/{f=0} - встретили конечный маркер, обнуляем флаг.

f - это третье правило, и оно ключевое. Голое условие без блока {...} в awk значит "напечатать строку, если условие истинно" (мы это уже видели в !seen[$0]++). Здесь условие - просто значение f. Когда f равен 1, строка печатается. Когда f равен 0, строка молча пропускается.

На выходе получаем ровно line1 и line2.

Задача 4: соединить два файла по ключу

Даны два файла с общим ключом в первом поле.

names.txt:

ages.txt:

Нужно соединить их по ключу-id и получить имя возраст.

По сути - обычный JOIN из SQL, только над двумя текстовыми файлами.

Как вариант, решить скриптом:

Работает, но каждая строка первого файла запускает отдельный grep по всему второму. Для 3-х строк неважно, но для файла на сотни тысяч строк это O(n²) и будет ползти очень долго.

Решение с помощью awk:

awk читает несколько файлов подряд как один поток и ведет два счетчика строк:

NR - общий номер строки с начала, сквозной по всем файлам.

FNR - номер строки внутри текущего файла, сбрасывается в 1 на каждом новом файле.

Пока awk идет по первому файлу, счетчики идут одинаково: FNR == NR. Как только awk переходит ко второму файлу, FNR обнуляется и стартует заново, а NR продолжает расти - равенство ломается. То есть FNR == NR - это способ понять, какой файл читается в данный момент.

FNR == NR {name[$1]=$2; next} - пока идем по names.txt, запоминаем: в ячейку name с ключом-id кладем имя.

{print name[$1], $2} - для каждой строки id возраст печатаем name[id] (имя, которое достаем из хэша по ключу мгновенно) и $2 (возраст).

Задача 5: awk на реальном файле - разбор /etc/passwd

/etc/passwd устроен так: семь полей, разделенных двоеточиями (имя, пароль-заглушка, UID, GID, комментарий, домашний каталог, login shell):

Нужно выписать имена пользователей, у которых shell - /bin/bash

Без awk эту задачу решают через grep | cut:

Работает, но с нюансом: grep '/bin/bash' матчит подстроку в любом месте строки, а не только в поле shell. Если у пользователя, скажем, домашний каталог /home/bin/bash-fan - grep его ошибочно поймает. Чтобы точно, надо якорить на конец: grep '/bin/bash$'. А потом еще cut отдельно. Два инструмента, и надо помнить про якорь.

awk же фильтрует именно по седьмому полю ($7 == "/bin/bash") - точное сравнение поля целиком, ложных срабатываний нет, и фильтр с извлечением в одной команде. Но чтобы обращаться к "седьмому полю", awk сначала надо объяснить, что поля здесь разделены не пробелами.

В предыдущих задачах было достаточно стандартного для awk разбития строк по пробелам, но тут поля через двоеточия.

Для этого у awk есть флаг -F, определяющий разделитель полей.

Пример:

С -F: поле $1 - имя, $7 - shell. Двоеточие как разделитель, все семь полей сразу доступны по номерам.

Нужны только строки, где седьмое поле равно /bin/bash:

$7 == "/bin/bash" - правило-условие: блок выполняется только для строк, где shell именно /bin/bash. Системные аккаунты с nologin отсеиваются сами. И печатаем только $1 - имя.

Ни в одной из пяти задач не пришлось тянуться за Python или склеивать пайп из четырех утилит - awk справился сам. Все потому, что это не "вырезалка колонок", а язык с ассоциативными массивами, состоянием между строками и полями.

И учить его целиком не надо. Достаточно нескольких шаблонов:

массив[ключ] += значение - суммы по группам

!seen[$0]++ - убрать дубли, сохранив порядок

f=1 … f=0 … f - вырезать блок между маркерами

FNR == NR{…; next} {…} - склеить два файла по ключу

-F: - сменить разделитель

Задачи я взял из своего сервиса для практики в изучении Linux и DevOps - IzzyLab.ru. Там команды набираешь в живом терминале в браузере, а решение проверяется автоматически по состоянию системы, а не по тому, что ты ввел. Задач по Linux и DevOps там еще несколько сотен.

Игнорирование в Git — это не магия, а просто набор шаблонов. Когда вы запускаете git status, Git сверяет имена файлов с тремя списками и решает, показывать их или нет. Важно: игнорируемый файл всё ещё лежит в рабочей директории, просто Git не предлагает его добавить в индекс.

• .gitignore — правила для всего репозитория, версионируются и делятся с командой.
• .git/info/exclude — локальные правила одного клона, не попадают в коммиты.
• ~/.config/git/ignore — глобальные правила для всех репозиториев на машине.
• git check-ignore -v filename покажет, какой именно файл игнорирует файл.
• Правильный выбор уровня избавляет команду от конфликтов и лишних правок .gitignore.

Три файла, которые говорят Git «не замечай»

Каждый из трёх файлов отвечает за свой масштаб. Отличаются они не синтаксисом — он везде одинаковый, — а областью действия и тем, попадают ли изменения в историю репозитория.

.gitignore — общие правила репозитория

Это классика. Файл лежит в корне проекта или в подкаталогах, попадает под контроль версий и работает одинаково у всех, кто клонирует репозиторий. Сюда стоит писать всё, что относится к проекту целиком: зависимости, сборочные артефакты, локальные конфиги IDE, тестовые базы.

Плюс очевиден: все члены команды видят одни и те же правила. Минус тоже очевиден: если правило нужно только вам, каждый раз править общий .gitignore и создавать коммит — избыточно.

.git/info/exclude — личные правила для одного репозитория

Внутри каталога .git каждого клона есть файл info/exclude. Он устроен так же, как .gitignore, но не входит в коммиты. Это идеальное место для файлов, которые есть только у вас: черновики, личные заметки, экспериментальные скрипты, локальные дампы.

Сценарий простой: вы держите в репозитории файл notes.txt с личными пометками. Добавлять его в .gitignore не хочется — коллегам он не нужен, а в .git/info/exclude он исчезает из git status только на вашей машине.

~/.config/git/ignore — глобальные правила для всей машины

Третий уровень действует на все репозитории текущего пользователя. Если у вас macOS, вы наверняка устали видеть .DS_Store в выводе git status. Вместо того чтобы добавлять его в каждый .gitignore, проще вынести на глобальный уровень.

Путь к глобальному файлу можно переопределить. Например, чтобы использовать .gitignore_global в домашней директории, выполните:

Вернуть значение по умолчанию можно командой git config --global --unset core.excludesFile.

Как проверить, кто именно игнорирует файл

Когда правил много, легко забыть, какой файл за что отвечает. Git предоставляет команду git check-ignore -v, которая показывает источник игнорирования: название файла с правилами, номер строки и сам шаблон.

Если файл игнорируется .gitignore, вывод будет начинаться с .gitignore; если локальным exclude — путь к нему; если глобальным ignore — путь в домашней директории. Если команда ничего не выводит, значит файл никто не игнорирует.

Полезно:
git check-ignore работает и с каталогами. Передайте путь к папке, чтобы узнать, почему она не попадает в индекс.

Когда какой уровень использовать

• .gitignore — правила, общие для всей команды: зависимости, сборочные артефакты, секреты.
• .git/info/exclude — персональные файлы внутри одного репозитория, которые не должны светиться в коммитах.
• ~/.config/git/ignore — файлы ОС и редактора, которые мешают в любом проекте на вашей машине.

Главный принцип: чем шире правило, тем реже его стоит менять. Глобальный ignore настраивается один раз при настройке рабочей машины, а .gitignore живёт вместе с проектом и развивается вместе с ним.

Выводы

Git предлагает не один, а три уровня игнорирования, и каждый решает свою задачу. .gitignore отвечает за командные договорённости, .git/info/exclude — за личный порядок в одном репозитории, а ~/.config/git/ignore — за чистоту рабочей машины в целом. Разделение уровней помогает не засорять общие правила личными исключениями и не тащить в коммиты то, что нужно только вам.

Хороший .gitignore защищает команду, а правильное использование exclude и global ignore защищает ваше собственное ментальное здоровье при работе с кодом.

Источник: Nelson Ameyin, «.gitignore isn’t the only way to ignore files in Git».

Попробуйте проверить свои репозитории: запустите git check-ignore -v на паре подозрительных файлов — возможно, вы найдёте правила, про которые давно забыли.

Android 17 вышел 16 июня. API 37, AppFunctions для ИИ-агентов, adaptive-first и Compose-first, строгие лимиты памяти и новые API приватности.

Google Play расширяет выбор платёжных систем и снижает комиссии: с 30 июня 2026 сервисный сбор отдельно от платёжного, первый $1M — 10%.

Безопасность: июньский бюллетень закрыл 124 уязвимости, включая zero-day CVE-2025-48595 в Framework. С 30 сентября 2026 начинается обязательная верификация разработчиков в четырёх странах.

Инструменты: Android CLI 1.0, 17+ Android skills, Android Bench с Gemma 4 и Gemini 3.5 Flash, Android XR SDK DP4 и Eclipsa Video для HDR.

Android 17: релиз 16 июня и API 37

16 июня 2026 года Google выпустил Android 17. Платформа переходит от «операционной системы» к «интеллектуальной системе»: центральную роль занимают AppFunctions — функции приложений, которые ИИ-агенты могут обнаруживать и вызывать через Jetpack-библиотеку. Разработчики аннотируют класс, добавляют KDoc, и Gemini получает доступ к локальному состоянию приложения.

Главное архитектурное изменение — adaptive-first: на больших экранах (sw > 600 dp) для приложений с targetSdk 37 игнорируются ограничения ориентации и размера. Вместе с этим появились App Bubbles, Bubble Bar и интерактивный Picture-in-Picture для десктопа. Google заявляет, что Compose теперь является первым классом UI: View-компоненты и View-based библиотеки переведены в режим обслуживания.

Производительность и приватность

Android 17 вводит лимиты памяти на основе объёма RAM устройства и убивает процессы, их нарушающие. Для диагностики добавили интеграцию LeakCanary в Android Studio Panda и on-device аномалию в ProfilingManager. ART получил generational GC, а MessageQueue для targetSdk 37 стал lock-free — это ускоряет старт и снижает пропуск кадров, но ломает рефлексию над приватными полями.

Из приватных нововведений — системный Contact Picker без разрешения READ_CONTACTS, системный Eyedropper для выбора цвета, временный доступ к локальной сети через ACCESS_LOCAL_NETWORK и post-quantum криптография с ML-DSA и гибридной подписью APK v3.2.

Инструменты и продуктивность: Android CLI 1.0, skills и Bench

9 июня в блоге Android Developers подвели итоги I/O по продуктивности. Главное — стабильный релиз Android CLI 1.0: теперь инструмент доступен через npm и Homebrew, умеет Journeys и команду studio для моста с Android Studio, а также интегрируется с Google Antigravity.

Каталог Android skills вырос до 17+ сценариев: адаптивный UI, CameraX, Perfetto SQL, Engage SDK, Wear OS, AppFunctions и другие. А Android Bench обзавёлся открытыми моделями, включая локальную Gemma 4, и свежими Gemini 3.5 Flash. В ближайшее время в бенчмарк добавят долгие многошаговые задачи.

Google Play: биллинг, комиссии и поиск

24 июня Google расширила выбор платёжных систем в Великобритании, ЕЭЗ и США. Разработчики могут предлагать альтернативный биллинг или внешние ссылки на свой сайт. С 30 июня 2026 сервисный сбор отделяется от платёжного: первый $1M в год — 10%, все автообновляемые подписки — 10%, остальное зависит от новой/существующей установки. Платёжная комиссия при использовании Google Play billing — 5% в этих регионах; при альтернативном биллинге она не берётся.

Также Google запустила программы Games Level Up и Apps Experience с пониженными ставками, а в Play Store появился AI-поиск Ask Play, Trusted Contributor-значки и более заметные скидки. Для разработчиков это означает, что ASO и монетизацию придётся пересматривать под новые механики отображения цен.

Безопасность: zero-day и верификация разработчиков

Июньский Android Security Bulletin закрыл 124 уязвимости. Самая неприятная — CVE-2025-48595 в Framework, уже эксплуатируемая в ограниченных целевых атаках. Она затрагивает Android 14–16 QPR2 и позволяет повысить привилегии без взаимодействия с пользователем. Критичный патч — уровень 2026-06-05, так как он включает исправления чипсетов Qualcomm и MediaTek.

18 июня Google обновила статус верификации разработчиков. С 30 сентября 2026 в Бразилии, Индонезии, Сингапуре и Таиланде станут обязательными регистрация приложений в семи магазинах. В июне на устройствах начали раскатывать системный сервис, который позже будет проверять регистрацию. В июле–августе появятся Android Developer ID Status API и Developer Console API для массовой регистрации через CI/CD.

Android XR: DP4, движки и Geospatial API

15 июня вышел Developer Preview 4 Android XR SDK. Для очков дополненной реальности добавили Jetpack Projected с Device Availability API, а Compose Glimmer оптимизирован под прозрачные дисплеи и тачпад. Для иммерсивных приложений — ранняя версия Geospatial API на базе ARCore и Visual Positioning System.

Кроме Unity для проводных XR-очков появилась официальная поддержка Unreal Engine и Godot, а также Android XR Engine Hub — десктопный инструмент для Windows с real-time тестированием прямо во вьюпорте движка. Программа Android XR Developer Catalyst Program открыта для заявок и даёт доступ к pre-release железу.

Premium-опыт: R8, Glance и Media3

В посте 2 июня о премиум-опыте Google акцентировала R8 Configuration Analyzer: он показывает, какие keep-rules мешают оптимизации. Monzo за счёт настройки R8 получили 30% прирост холодного старта и 35% снижение ANR.

Jetpack Glance теперь унифицирует виджеты для телефонов, часов и автомобилей на базе Compose, а RemoteCompose позволяет рендерить UI на внешних поверхностях. Media3 получил AI Effects, CodecDB, Scrubbing Mode в ExoPlayer и улучшенный CastPlayer. CameraX 1.5+ добавляет CameraXViewfinder Composable и динамические диапазоны.

Eclipsa Video: единый стандарт HDR

29 июня Google представила Eclipsa Video — стандарт HDR на базе SMPTE ST 2094-50, разработанный совместно с Apple и NBCUniversal. Он задаёт единый HDR reference white, адаптирует яркие участки под возможности дисплея и сохраняет творческий замысел кадр за кадром. Поддержка встроена в Android 17, ExoPlayer/Media3 обрабатывают метаданные автоматически.

FAQ

Выводы

Июнь 2026 показал, что Google делает ставку на три вещи: ИИ-агентов как часть рабочего процесса (AppFunctions, Android CLI, skills), адаптивность интерфейсов под любые форм-факторы и жёсткий контроль за безопасностью экосистемы. Разработчикам стоит в первую очередь протестировать приложения под Android 17, проверить R8-конфигурацию и подготовиться к новым правилам биллинга и верификации.

Самый быстрый способ не отстать — поставить Android CLI, добавить пару skills под свой проект и прогнать релиз на Android 17 эмуляторе, прежде чем OEM-партнёры начнут массово раскатывать обновление.

Источники: Android 17 is here, Top 3 updates for Android developer productivity, Expanded billing choice and lower fees on Google Play, Android developer verification, What's New in Android XR, Building Premium Android Experiences, Eclipsa Video.

Git worktrees позволяют держать несколько рабочих копий одного репозитория на разных ветках — и сейчас эта возможность в тренде. Забавно, что в Git она появилась ещё в 2015 году. Но worktrees действительно удобны, и в этой статье разберёмся, зачем они нужны, чем отличаются от обычных веток и почему внезапно стали популярны.

worktree — это дополнительная рабочая копия репозитория на другой ветке, привязанная к тому же .git.

С их помощью можно переключаться между задачами, не прерывая текущую работу и не используя stash.

Они особенно полезны при параллельной работе с ИИ-агентами и в приложении GitHub Copilot.

У worktrees есть ограничения: раздувание зависимостей, необходимость убирать папки, правила .gitignore и запрет на одновременный checkout одной ветки в нескольких worktrees.

Переключение контекста через ветки и stash

Представьте: вы работаете над задачей и вдруг получаете срочный баг. Нужно срочно переключить контекст.

Сначала, скорее всего, спрячете текущие изменения в stash:

Потом перейдёте на main и обновите её:

Затем создадите ветку с хотфиксом:

Пофиксите, закоммитите и запушите ветку:

После слияния pull request вы вернётесь к компьютеру, подтянете main и удалите ветку с багфиксом:

А потом сможете вернуться к задаче, над которой работали:

Фух. На чём мы остановились?

Переключение туда-сюда, перезагрузка файлов, переустановка node_modules в зависимости от того, что изменилось, — всё это отнимает много сил. Нагрузка от смены контекста серьёзная.

Это базовый пример, но иногда разработчики справлялись с таким хаосом сложными командами git stash или даже несколькими клонами одного репозитория (я сама грешила этим).

А потом появились… worktrees!

Переключение контекста через worktrees

С worktrees вы никогда не покидаете свою ветку и не используете stash, а редактор с вашей текущей фичей остаётся нетронутым.

Эта команда мгновенно создаёт соседнюю папку hotfix-workspace, базирует её на main и создаёт новую ветку hotfix-bug.

Теперь можно открыть эту папку в новом окне редактора (или перейти в неё через cd) и чинить баг. Исходное окно редактора остаётся в том же состоянии, в котором вы его оставили.

Pull request сливаете онлайн, как обычно, а после слияния можно просто удалить временную папку.

Гораздо плавнее! Нет риска конфликтов stash, редактор не перезагружается, и вы действительно можете работать параллельно.

Так почему же сейчас?

Долгое время worktrees были относительно неизвестны. Большинство разработчиков никогда о них не слышали, потому что либо Git GUI не поддерживали их (или относились как к второсортной функции), либо все привыкли к знакомой схеме: feature-ветка, работа, PR, merge и повтор.

Сейчас наша работа изменилась. ИИ заставляет нас работать параллельно больше, чем когда-либо в истории разработки ПО. Разработчики запускают множество сессий одновременно, а «культура код-ревью» растёт быстрее, чем «культура написания кода».

Агенты и люди могут делать больше параллельно с помощью worktrees. Это режим по умолчанию в приложении GitHub Copilot и во многих других современных инструментах.

Агенты и люди могут делать больше параллельно с помощью worktrees.

В чём подвох?

Worktrees решают кучу проблем, но есть нюансы, на которые стоит обращать внимание.

• Раздувание зависимостей: каждая папка worktree требует собственную копию зависимостей проекта. Если запускать npm install или pip install в нескольких worktrees, диск может быстро закончиться.
• Управление папками: нужно удалять папки worktree, чтобы со временем не засорять родительский каталог. Приложение GitHub Copilot часто делает это за вас, но если вы работаете в терминале, придётся следить самостоятельно.
• Требования к глобальному .gitignore: если создавать worktree внутри основного репозитория, их нужно вручную добавить в .gitignore, чтобы случайно не закоммитить. Можно создавать worktree за пределами основного репозитория (GitHub Copilot делает это по умолчанию), но это стоит учитывать.
• Ограничение «одна ветка»: Git не позволяет одновременно checkout’ить одну и ту же ветку в двух разных worktrees, чтобы избежать повреждения данных.

Как использовать git worktrees в приложении GitHub Copilot?

Отличный вопрос! Здорово, что там всё работает «из коробки». Когда вы открываете приложение, на главном экране есть выпадающий список, который спрашивает, где запускать новую сессию. По умолчанию выбран новый worktree.

Когда вы запускаете новую сессию, можно нажать на имя сессии вверху приложения и увидеть (забавное!) сгенерированное имя вашего worktree, а также путь, где он находится, проект, для которого он создан, и сведения о внесённых изменениях.

Проще простого!

Стоит ли использовать worktrees?

Я дам вам самый senior-ответ, который только можно: зависит от ситуации! Вам может быть удобнее работать по-другому. Возможно, вы не так много работаете параллельно и привыкли к ментальной модели веток и stash. Возможно, теперь вы будете использовать только worktrees. А может, захотите и то, и другое!

Мир у ваших ног, и попробовать всё это можно уже сегодня в приложении GitHub Copilot.

Об авторе. Cassidy Williams — старший директор по адвокации разработчиков в GitHub. Она создаёт ПО, консультирует стартапы и учит разработчиков строить лучше. Подписаться на её еженедельную рассылку можно на cassidoo.co/newsletter.

Выводы

Git worktrees — способ работать с несколькими ветками одновременно, не прерывая текущую задачу и не рискуя запутаться в stash. Они особенно удобны при параллельной работе с ИИ-агентами и встроены в приложение GitHub Copilot по умолчанию. Попробуйте — возможно, именно они упростят ваш рабочий процесс.

Мы все там были. Выучили ls, cd и grep — и на этом остановились. Терминал стал местом, где мы живём, но обустроить его мы так и не удосужились. Мы миримся с тем, что какие-то действия требуют 40 нажатий, хотя авторы шелла решили нашу проблему ещё в 1989 году.

Вот подборка приёмов, которые не то чтобы секретные — но которым почему-то не учат. Разделим их на две группы: универсальные (работают почти в любом POSIX-шелле) и для Bash/Zsh (интерактивные фишки).

TL;DR: Ctrl+W удаляет слово, Ctrl+U — строку до курсора, Ctrl+R ищет по истории, !! повторяет предыдущую команду (незаменимо для sudo !!), а cd - возвращает в предыдущую директорию. Начните хотя бы с этих пяти.

Универсальные: работают (почти) везде

Эти приёмы опираются на стандартные привязки клавиш Emacs-стиля через Readline. Даже если вы подключились по SSH к роутеру 2009 года выпуска или минимальному Alpine-контейнеру — они будут работать.

Замена Backspace

• Ctrl+W — удалить слово перед курсором. Набрали /var/log/nginx/, а нужно было /var/log/apache2/? Одно нажатие вместо 7 Backspace
• Ctrl+U — вырезать всё от курсора до начала строки. Набрали длинную команду rsync, но сначала нужно проверить директорию? Ctrl+U вырезает, а Ctrl+Y вставляет обратно
• Ctrl+K — то же самое, но вырезает от курсора до конца строки
• Ctrl+A и Ctrl+E — прыжок в начало и конец строки. Забудьте про Home и End — они далеко от домашнего ряда
• Alt+B и Alt+F — перемещение по словам назад и вперёд. Быстрый аналог стрелок (на Mac нужно настроить Option как Meta в терминале)

Терминал показывает иероглифы?

Случайно сделали cat на бинарник — и терминал превратился в месиво символов? Наберите вслепую reset и нажмите Enter. Терминал восстановится. Альтернатива — stty sane.

Экстренные выходы

• Ctrl+C — отменить текущую команду. Ваш аварийный выход, когда что-то зависло
• Ctrl+D — отправить EOF. Если командная строка пуста — разлогинит из шелла. Осторожнее!
• Ctrl+L — очистить экран, не прерывая набор текущей команды. Удобнее, чем clear

Прыгаем между директориями

cd - — переключение между двумя последними директориями. Вы в /usr/local/etc/postfix, перешли в /var/log посмотреть логи — cd - вернёт обратно. Как кнопка «последний канал» на пульте.

pushd и popd — если cd - это переключатель, то pushd это стек. pushd /etc перейдёт в /etc, запомнив предыдущую директорию. popd снимет её со стека и вернёт вас.

Мгновенная очистка файла и последний аргумент

> file.txt — очищает файл, сохраняя права и не прерывая процессы. $_ — последний аргумент предыдущей команды:

Страховка для скриптов

• -e — останов при ошибке (нюансы с if и пайпами)
• -u — ошибка при несуществующей переменной. Спасёт от rm -rf /usr/local/${OPECHATKA}/*
• -o pipefail — ошибка в любом звене пайпа = ошибка всей цепочки

Bash и Zsh: зона комфорта

Поиск по истории и «sudo !!»

Ctrl+R — обратный поиск по истории. Начните вводить часть команды — шелл найдёт её. !! — повторить предыдущую команду. Классика: получили «Permission denied» — sudo !!.

Редактор, brace expansion и процессы

Ctrl+X, Ctrl+E — открывает текущую команду в $EDITOR. fc — то же для предыдущей команды. Esc+. — вставляет последний аргумент прямо на месте курсора. Брейс-экспаншн для быстрых операций:

Спасти процесс от обрыва SSH

Терминал — это набор инструментов, а не полоса препятствий. Возьмите один приём, используйте его неделю — и переходите к следующему.

Источник: Shell Tricks That Actually Make Life Easier — Hofstede Blog

1. MONICA — ffmpeg без боли

MONICA — это интерактивная надстройка над ffmpeg, которая избавляет от необходимости каждый раз гуглить или спрашивать у GPT нужные команды.

Закидываете файлы в папку /import, запускаете инструмент, стрелками выбираете операцию (конвертировать, извлечь аудио, изменить размер), результат появляется в /export.​

Идея в том, что если вы часто делаете одни и те же операции, не нужно каждый раз ничего вводить — просто тыкаете в меню и не тратите токены на запросы к ИИ. Рецепты операций хранятся в JSON, можно добавлять свои. Если ffmpeg не установлен, MONICA сама его скачает. Инструмент работает пакетно — можно накидать несколько файлов и обработать все за раз.​

Установка через клонирование репозитория:

Код доступен на GitHub, при написании мог применяться ИИ, но сама утилита рабочая.​

2. lic — лицензии одной командой

Знакомая ситуация: создаёте новый репозиторий, нужна лицензия, идёте на choosealicense.com, копируете текст, вставляете, правите год и имя. lic делает это одной командой в терминале.​

Запускаете lic, выбираете лицензию из TUI-меню, вводите имя и год — готово. Файл LICENSE создаётся в текущей директории. Данные берутся из официальной базы лицензий GitHub.​

Установка:

Проект свежий — вышел в конце декабря 2024 года, но уже набрал 21 звезду и попал в Homebrew. Код доступен на GitHub, смотрите демо на видео.

3. PNANA — редактор между nano и vim

Терминальные редакторы живут где-то между «слишком просто» (nano) и «нужна неделя на изучение» (vim). PNANA пытается занять золотую середину — взять простоту nano, современный UI от micro и продуктивные возможности Sublime.​

Проект выложили буквально на днях. По сути это TUI-редактор на C++17 с использованием библиотеки FTXUI. Идея в том, чтобы можно было просто открыть и работать, без изучения мануалов. При этом есть поддержка tree-sitter для подсветки синтаксиса. FTXUI под капотом даёт кроссплатформенность, поддержку UTF-8, мыши и анимаций.​

Запуск:

Бинарных релизов пока нет, нужно собирать из исходников. Код на GitHub, смотрите демо на видео.​

4. CodeWeaver — весь код в одном Markdown-файле

CodeWeaver — это удобный CLI-инструмент, который собирает вашу кодовую базу в один читаемый документ: дерево файлов плюс содержимое каждого файла в code-блоках.​

Зачем это нужно? Скормить проект ИИ-ассистенту одним файлом (Cursor, Claude, ChatGPT), поделиться структурой проекта с коллегой или создать документацию.​

Что умеет:

• Рекурсивный обход директорий с tree-view​
• Фильтрация через regex: -include, -ignore​
• Автоматическое исключение бинарников​
• Копирование в буфер обмена: -clipboard​
• Логи включённых и исключённых файлов​

Установка:

Пример использования:

Получаете один codebase.md со всей структурой и кодом — готов для вставки в чат с ИИ.

5. clox — часы прямо в терминале

У clox вышла новая версия 1.3 — это консольные часы и календарь, которые показывают время прямо в терминале. Инструмент рассчитан на то, что вы всё делаете в командной строке и хотите иметь под рукой аккуратное текстовое отображение времени и даты.​

clox умеет показывать время в нужном часовом поясе, поддерживает ручные смещения, календарный режим и разные форматы даты. Часы рисуются псевдографикой, есть разные циферблаты, можно включать и выключать мигание, скрывать дату и пояс, переключать 12/24-часовой формат.​

Быстрый старт: устанавливаете пакет как обычный модуль Python: pip install clox==1.3. После этого достаточно запустить clox в терминале, чтобы увидеть часы, или python -m clox; завершение через Ctrl+C.

Можно поиграться с аргументами: выбрать вариант отображения clox --face=3, указать пояс clox --timezone="Etc/GMT+7" или включить календарь clox --calendar=month.​

Код в репозитории, смотрите пример работы на видео.​

6. Torrra v2 — торрент-клиент в TUI

Вышла вторая версия Torrra — это TUI-клиент, который позволяет искать и качать торренты прямо из консоли, без браузера и без отдельного GUI-клиента. Сделан на Python, интерфейс собран на Textual, так что всё выглядит аккуратно и отзывчиво.​

Можно подключаться к своим индексаторам Jackett или Prowlarr, смотреть результаты поиска и выбирать чем качать — через встроенный движок на базе libtorrent или передать внешний magnet в свой любимый клиент. Автор утверждает, что в версии v2 серьёзно ускорил UI, улучшил навигацию, прокачал поиск и работу с несколькими торрентами сразу, плюс почистил интеграцию с индексаторами и отполировал раскладку интерфейса.​

Установит можно через pipx install torrraлибо можно взять пакеты из AUR, Homebrew, докер-образ или готовые бинарники под основные платформы.​

После установки минимальный сценарий такой: поднимаете Jackett или Prowlarr, запускаете:

А дальше стрелками ходите по списку, Enter — скачать, p — пауза, r — продолжить, q — выйти.

Поведение можно подкрутить через config.toml: задать дефолтные индексаторы, пути, какие клиенты использовать, чтобы каждый раз не вбивать одно и то же в аргументах. Проект кроссплатформенный (Linux/macOS/Windows) и живой: есть документация и регулярные релизы.​

Код в репозитории, смотрите демо работы на видео.​

7. Git graph — история веток одной строкой

Полезная команда для терминала — компактный и наглядный вывод истории git:​

Она рисует ветки в виде графа, показывает автора, дату, теги, хэши и сообщения — аккуратно в одну строку. Читать историю становится в разы приятнее.​

Чтобы не печатать каждый раз, можно добавить алиас в .bashrc

или .zshrc:

Так не нужно будет ничего запоминать или сохранять, просто вбиваете graph — и получаете весь git-граф прямо в консоли. Красиво, удобно и без лишних утилит.​

Все семь инструментов объединены идеей продуктивности в терминале — каждый решает конкретную боль разработчика. Большинство свежие (конец 2024 — начало 2025 года) и активно развиваются. Попробуйте те, что закрывают ваши задачи — возможно, некоторые GUI-приложения вам больше не понадобятся.​

Вы научитесь:

• находить потерянные файлы,
• проверять скорость интернета,
• переименовывать сотни документов одной строкой,
• убивать зависшие процессы без перезагрузки,
• включать скрытые функции, которых нет в настройках.

Каждую команду объясняем простым языком, показываем синтаксис и приводим примеры использования.

Как найти любой файл за пару секунд

Команда find ищет файлы и папки по критериям. Finder тоже умеет искать, но через терминал вы получаете точный контроль над параметрами поиска.

Синтаксис:

Попробуем найти все PDF-файлы в папке «Документы»:

Символ «~» обозначает вашу домашнюю папку. Звёздочка «*» заменяет любую последовательность символов, поэтому «*.pdf» означает «все файлы с расширением pdf».

Больше примеров:

Команда find пригодится, когда:

• Вы не помните, куда сохранили файл.
• Нужно найти все скриншоты или документы определённого типа.
• Хотите очистить диск от больших файлов, но не знаете, где они лежат.

Как узнать, что съедает место на диске

Команда du (disk usage) показывает, сколько места занимают папки и файлы.

Самый полезный вариант использования:

Флаг «-s» выводит итоговый размер каждого элемента, «-h» форматирует числа в человекочитаемый вид (килобайты, мегабайты, гигабайты).

Результат выглядит так:

• 1.8G — /Users/username/Downloads/video.mp4
• 46M — /Users/username/Downloads/archive.zip
• 7.9M — /Users/username/Downloads/document.pdf

Найдём 10 самых больших папок в домашней директории:

Здесь команды объединены через символ «|». Результат du передаётся в «sort», который сортирует по размеру в обратном порядке, «head» оставляет только первые 10 строк.

Функции du пригодятся, когда:

• MacOS предупреждает о нехватке места на диске.
• Хотите понять, какие папки разрослись за время использования.
• Нужно решить, что удалить или перенести на внешний накопитель.

Как скачать файл по ссылке без браузера

Команда curl загружает файлы из интернета напрямую в указанную папку. Это быстрее, чем открывать браузер, и удобнее для больших файлов.

Базовый синтаксис:

Флаг «-O» сохраняет файл с оригинальным именем в текущую папку.

Чтобы сохранить файл с другим именем:

Продолжить прерванную загрузку:

Флаг «-C -» проверяет, сколько уже скачано, и продолжает с того места, где загрузка прервалась.

Показать прогресс загрузки:

Флаг «-#» отображает прогресс-бар вместо технической информации.

Перед загрузкой перейдите в нужную папку командой cd /путь/к/папке, иначе файл сохранится в текущей директории (по умолчанию — домашняя папка).

Как быстро просмотреть содержимое текстового файла

Команда cat показывает весь файл целиком.

Текст выводится прямо в терминал. Подходит для коротких файлов.

Команда head показывает начало файла.

Число после «-» задаёт количество строк. В данном случае head покажет первые 20 строк.

Команда tail выводит конец файла:

Так удобнее просматривать логи, где свежие записи добавляются в конец файла.

Команда less запускает постраничный просмотр:

Навигация:

• пробел — следующая страница;
• b — предыдущая страница;
• /слово — поиск по файлу;
• q — выход.

Как изменить скрытые настройки macOS

Команда defaults управляет системными настройками macOS. Включая те, которых нет в стандартных «Настройках». Apple хранит параметры в файлах формата .plist, и defaults редактирует их напрямую.

Показать скрытые файлы в Finder:

Строка «killall Finder» перезапускает Finder, чтобы изменения вступили в силу.

Изменить формат скриншотов с PNG на JPG:

JPG-файлы занимают меньше места, что удобно, если вы регулярно делаете скриншоты.

Изменить папку сохранения скриншотов:

Теперь скриншоты перестанут захламлять рабочий стол.

Ускорить анимацию Dock:

Первая команда убирает задержку перед появлением Dock, вторая ускоряет саму анимацию.

Вернуть настройку к значению по умолчанию:

Команда defaults пригодится, если:

• Хотите настроить систему под себя, но в «Настройках» нет нужной опции.
• Раздражают стандартные анимации или поведение интерфейса.
• Нужно оптимизировать рабочее окружение.

Перед изменением настроек запишите текущее значение. Посмотреть его можно командой «defaults read». Например, «defaults read com.apple.screencapture type».

Как управлять процессами и освобождать ресурсы системы

Команда top показывает запущенные процессы в реальном времени: какие программы потребляют процессор и память.

Запуск:

Экран обновляется каждые несколько секунд. Вы увидите таблицу с колонками:

• PID — идентификатор процесса;
• COMMAND — название программы;
• %CPU — процент использования процессора;
• MEM — использование памяти.

Управление внутри:

• q — выход;
• o cpu — сортировка по использованию процессора;
• o mem — сортировка по использованию памяти.

Чтобы завершить зависший процесс, найдите PID процесса в top или через команду «pgrep -l "название_программы"».

Затем завершите процесс:

Если процесс не реагирует на обычный kill:

Флаг «-9» принудительно завершает процесс без возможности сохранить данные.

Когда пригодится:

• Вентиляторы Mac работают на полную, и непонятно, какая программа нагружает систему.
• Приложение зависло и не закрывается обычным способом.
• Хотите понять, куда уходят ресурсы компьютера.

Команда htop показывает ту же информацию в более удобном виде, но её нужно установить отдельно через Homebrew.

Как упростить ввод длинных команд

Терминал macOS поддерживает алиасы — короткие команды, которые заменяют длинные.

Создать временный алиас (работает до закрытия терминала):

Теперь команда «ll» выводит содержимое папки в подробном формате, включая скрытые файлы.

Чтобы создать постоянный алиас, откройте файл конфигурации Zsh:

Добавьте строку с алиасом в конец файла. Сохраните файл (Ctrl+O, затем Enter) и выйдите (Ctrl+X).

Примените изменения:

Примеры полезных алиасов:

Команда alias пригодится, если вы часто выполняете одни и те же длинные команды или хотите создать свои «горячие клавиши» для терминала.

Как узнать информацию о своём Mac одной командой

Чтобы выяснить, какой процессор стоит в Mac, сколько оперативной памяти установлено или какая версия macOS запущена, обычно открывают меню «Об этом Mac». Терминал даёт гораздо больше информации и делает это быстрее.

Команда system_profiler выводит подробные сведения о железе и программном обеспечении. Для обзора основных характеристик введите:

Терминал покажет модель Mac, идентификатор модели, название процессора, количество ядер, объём оперативной памяти и серийный номер. Информация пригодится при обращении в поддержку Apple или при продаже устройства.

Для просмотра информации о дисках:

Отобразится название каждого тома, файловая система, общий объём и свободное место.

Если хотите узнать всё о сетевых интерфейсах:

Команда выведет список всех Wi-Fi, Ethernet, Bluetooth PAN. Для каждого интерфейса отобразится IP-адрес, MAC-адрес и статус подключения.

Полный отчёт о системе:

Команда сохраняет подробный отчёт в текстовый файл на рабочем столе. Файл содержит информацию обо всём: от установленных приложений до подключённых USB-устройств.

Как проверить скорость интернета и сетевые соединения

Команда ping отправляет тестовые пакеты на указанный адрес и измеряет время ответа:

Терминал начнёт отправлять запросы и показывать время отклика в миллисекундах. Нормальный пинг до крупных сайтов — 20-100 мс.

Чтобы остановить ping, нажмите «Ctrl+ C». Для отправки определённого количества запросов добавьте флаг «-c»:

Команда отправит ровно 10 пакетов и покажет статистику: минимальное, среднее и максимальное время отклика с процентами потерянных пакетов.

В macOS Monterey и новее появилась встроенная утилита для измерения скорости интернета:

Команда измерит скорость загрузки и выгрузки, покажет показатель RPM (Round-trips Per Minute) — он отражает отзывчивость соединения. Тест занимает около 15-20 секунд.

Как очистить кэш DNS при проблемах с сайтами

Иногда сайт не открывается, хотя интернет работает нормально. Или сайт переехал на другой сервер, но браузер упорно показывает старую версию. Причина в кэше DNS, для очистки используйте комбинацию двух команд:

Система запросит пароль администратора. После выполнения кэш очистится, и macOS начнёт заново запрашивать адреса сайтов у DNS-серверов.

Когда это помогает:

• Сайт не открывается, хотя у других пользователей работает.
• После смены DNS-серверов в настройках сети.
• При разработке, когда переключаетесь между локальным и рабочим сервером.
• Когда сайт переехал на новый хостинг, но отображается старая версию.

Проверить текущий DNS-кэш нельзя — Apple не предоставила такой команды. Очистка занимает секунду и ничего не ломает, поэтому при проблемах с доступом к сайтам стоит попробовать.

Как создавать и распаковывать архивы

Finder умеет создавать ZIP-архивы через контекстное меню. Терминал даёт больше контроля: выбор степени сжатия, исключение определённых файлов, работа с разными форматами архивов.

Создание ZIP-архива из папки:

Флаг «-r» означает рекурсивную обработку — в архив попадут все вложенные папки и файлы. Без этого флага заархивируется только сама папка.

Создание архива с паролем:

Флаг «-e» включает шифрование. Терминал дважды попросит ввести пароль. Без этого пароля распаковать архив не получится.

Исключение определённых файлов:

Команда создаст архив проекта, но пропустит служебные файлы .DS_Store и папку node_modules.

Распаковка ZIP-архива:

Архив распакуется в текущую директорию. Для распаковки в конкретную папку:

Как узнать историю введённых команд и повторить их

После нескольких дней работы с терминалом накапливается история команд. Вместо того чтобы вспоминать и заново набирать длинную строку, её можно найти в истории.

Просмотр последних команд:

Терминал выведет пронумерованный список всех введённых команд. По умолчанию Zsh хранит 1000 последних команд.

Для поиска конкретной команды используйте grep:

Эта команда покажет только строки, содержащие слово «docker».

Повторение последней команды:

Два восклицательных знака выполнят предыдущую команду.

Очистка истории (если вводили что-то конфиденциальное):

Для полной очистки, включая файл истории:

Как переименовать много файлов одной командой

Переименование одного файла — это стандартная задача, для неё необязательно открывать терминал. Зато в ситуации, когда нужно переименовать 500 фотографий или добавить префикс к сотне документов, использование Finder превращается в пытку.

Базовое переименование одного файла через терминал:

Команда mv (move) перемещает файл. Если указать тот же каталог, но другое имя — файл переименуется.

Массовое переименование с добавлением префикса:

Цикл пройдёт по всем JPG-файлам в текущей папке и добавит к каждому префикс «vacation_». Файл «IMG_001.jpg» станет «vacation_IMG_001.jpg».

Замена части имени во всех файлах:

Конструкция ${file/IMG/Photo} заменяет «IMG» на «Photo» в имени файла. Файл «IMG_001.jpg» станет «Photo_001.jpg».

Добавление даты к имени файла:

Каждый PDF-файл получит префикс с текущей датой в формате «2025-01-15_».

Изменение расширения файлов:

Конструкция ${file%.jpeg} удаляет расширение .jpeg, а затем добавляется .jpg.

Как выключить или перезагрузить Mac из терминала

Немедленная перезагрузка:

Система запросит пароль и сразу начнёт перезагрузку. Несохранённые данные в приложениях будут потеряны.

Перезагрузка через определённое время:

Mac перезагрузится через 5 минут. Таймер даст время сохранить работу в других приложениях.

Выключение Mac:

Флаг «-h» означает «halt» — полное выключение.

Выключение в определённое время:

Mac выключится в 23:00.

Отмена запланированного выключения:

Если передумали, команда отменит запланированное выключение.

Усыпление Mac:

Команда не требует sudo и мгновенно переводит Mac в режим сна.

Как открыть файл или папку в нужном приложении

Команда open связывает терминал с графическим интерфейсом macOS.

Открытие текущей папки в Finder:

Точка означает текущую директорию. Команда пригодится, когда вы перешли в нужную папку через терминал и хотите продолжить работу в Finder.

Открытие конкретной папки:

Finder откроет папку «Загрузки».

Открытие файла в приложении по умолчанию:

PDF откроется в программе, назначенной по умолчанию для этого типа файлов (обычно «Просмотр»).

Открытие файла в конкретном приложении:

Флаг «-a» указывает приложение. Файл project.py откроется в VS Code, даже если по умолчанию Python-файлы открываются в другом редакторе.

Открытие нескольких файлов:

Все JPG-файлы в текущей папке откроются в приложении для просмотра изображений.

Показать файл в Finder (не открывая):

Флаг «-R» откроет Finder и выделит указанный файл. Полезно, чтобы определить расположение файла.

Итоги

Начните с команд find, du и cat. Они решают повседневные задачи: найти потерянный файл, выяснить, что занимает место на диске, быстро просмотреть содержимое документа.

После освоения базы переходите к связкам команд. Например, find находит файлы, а du показывает их размер — вместе они помогают очистить диск.

Для специфичных задач используйте:

• ping и networkQuality — диагностируют проблемы с интернетом;
• top — выявляет программы, загружающие процессор;
• kill — завершает зависшие процессы;
• defaults — настраивает скрытые параметры интерфейса;
• цикл for с командой mv — переименовывает сотни файлов за секунды;
• history возвращает ранее введённые строки.

Сохраните эту подборку и обращайтесь к ней по мере необходимости. Через пару недель регулярного использования команды запомнятся сами.

Допустим, у нас сломался билд после релиза версии v2.0.0. Последняя стабильная версия — v1.2.0. Проблема появилась где-то между ними. В такой ситуации можно искать причину наугад, а можно воспользоваться git bisect. Эта команда использует бинарный поиск, чтобы найти самый первый коммит с багом:

Мы запускаем git bisect start, далее, при помощи git bisect bad и git bisect good, указываем диапазон коммитов, от нерабочего до стабильного. Git сам начнёт переключать нас между промежуточными версиями. Например, если коммитов 50, то он отправит нас на 25-й.

Далее мы проверяем этот коммит: если баг сохраняется, то отмечаем его как «плохой» с помощью git bisect bad; если баг исчез — отмечаем «хороший» через git bisect good. Git снова разделит диапазон пополам и отправит на следующий коммит для проверки. Так продолжается до тех пор, пока не останется один коммит, который внёс баг.

2. git switch — переключаемся между ветками без checkout

В любой активной разработке приходится прыгать между разными задачами. Раньше для этого использовали git checkout. Команда по возможностям напоминает швейцарский нож: она может не только переключать между ветками, но и заменять файлы, создавать новые ветки и даже возвращать отдельные коммиты. Из-за такой универсальности git checkout часто путает новичков (да и опытных разработчиков тоже), можно легко потерять все изменения из-за случайной ошибки.

В 2019 году в Git появилась отдельная команда — git switch. Она делает ровно одну вещь: быстро и безопасно переключает между ветками или создаёт новую. Ошибиться здесь сложно.

Примеры использования:

В этом примере мы сначала быстро переключаемся на ветку «new-login» с новой фичей, чтобы что-то проверить, а потом одной командой возвращаемся обратно — продолжать багфикс. Если появляется ещё одна срочная задача, заводим для неё отдельную ветку «urgent-redirect» с помощью -c и сразу попадаем в нужное место.

Такой подход экономит время и избавляет от путаницы, которая раньше возникала с многофункциональным git checkout.

3. git restore — откатываем изменения для конкретных файлов

Допустим, мы внесли кучу изменений, что-то пошло не так — и хочется вернуть всё обратно, но только для определённых файлов. Использовать git reset или checkout слишком рискованно: легко случайно стереть не то, что нужно. В таких случаях пригодится команда git restore.

Она работает как с рабочей директорией, так и с индексом, не затрагивая остальной проект.

Примеры использования:

В первом случае файл main.c возвращается к состоянию последнего коммита. Во втором мы убираем из индекса все файлы с расширением .js, но наши изменения остаются в рабочей директории. Третий вариант позволяет вернуть все файлы к состоянию предыдущего коммита, если, например, мы случайно наделали лишних изменений во всём проекте.

4. git rebase — приводим историю в порядок

Иногда хочется привести историю коммитов в порядок: объединить случайные правки, переименовать сообщения и т. д. Команда git rebase -i открывает текстовый интерфейс, где можно управлять списком последних коммитов:

• Объединять несколько в один (squash),
• Менять порядок (pick),
• Редактировать сообщения (reword),
• Вставлять дополнительные команды (exec).

Примеры использования:

Git откроет в редакторе список из последних трёх коммитов, там будет указан их хэш и комментарий:

Мы можем перетасовать коммиты при помощи команды pick, в этом примере мы поменяли верхний и нижний коммиты местами:

Если хотим объединить второй коммит с предыдущим, то можем использовать команду squash:

Теперь оба изменения попадут в один коммит.

Чтобы изменить сообщение у последнего коммита, меняем pick на reword:

После этой команды git предложит ввести новый текст комментария.

Таким образом, за одну операцию можно собрать историю под ключ: объединить, переименовать, проверить — и только потом отправить в общий репозиторий аккуратную, читаемую цепочку коммитов. Однако не рекомендуется использовать git rebase для командной работы, так как стирание истории может запутать других разработчиков и привести к конфликтам в разных версиях проекта.

5. git stash — прячем незаконченные правки, чтобы вернуться к ним позже

Бывает, что срочно нужно переключиться на другую задачу или ветку, но текущие изменения ещё не готовы к коммиту. Не хочется захламлять историю, да и откладывать задачу опасно — можно забыть, где остановился. Для этого в Git есть команда git stash, которая убирает все незавершённые правки «под ковёр» до лучших времён.

Пример использования:

В первом примере мы сохраняем все незакоммиченные изменения при помощи git stash save, давая им осмысленное имя. Так мы сможем вернуться к правкам позже.

Команда git stash list показывает все «стеши» — сохранённые правки, которые нам надо применить.

git stash apply возвращает изменения в рабочую директорию, но не удаляет стеши из списка. Ещё есть git stash pop, который делает то же самое, но сразу удаляет стеши.

6. git cherry-pick — добавляем только нужные коммиты

Иногда в соседней ветке уже есть нужный багфикс или маленькая фича, а добавлять её всю не хочется — появится куча лишних изменений. Для таких случаев подходит git cherry-pick: эта команда позволяет взять конкретный коммит (или диапазон коммитов) и аккуратно «приземлить» его в свою ветку.

Примеры использования:

Сначала мы применяем команду git cherry-pick, после которой указываем хэш нужного коммита (например, f1a2b3c). Git найдёт этот коммит в истории и «применит» его изменения к текущей ветке — как будто мы только что их закоммитили сами.

Если нужно забрать сразу несколько коммитов, можно указать диапазон через две точки «..» как в примере: git cherry-pick 1a..4d. Важно: команда возьмёт все коммиты после 1a, но не сам 1a.

Иногда при cherry-pick возникают конфликты — это нормально. В таком случае Git попросит разрешить эти конфликты вручную. После того как это сделано, мы можем ввести команду git cherry-pick --continue, чтобы продолжить слияние.

7. git log — визуализируем историю проекта

Когда в проекте появляется несколько веток и десятки коммитов, обычный просмотр истории быстро превращается в путаницу. В такие моменты помогает визуализация истории — чтобы увидеть, где расходились ветки, когда были слияния, и где появился тот самый «пропавший» коммит.

В Git для этого есть команда:

• --graph рисует дерево истории с линиями, которое показывает, где ветки расходятся и сливаются.
• --decorate подписывает ветки и теги прямо в выводе, чтобы сразу было видно, где «main», «feature», релиз.
• --oneline делает вывод лаконичным: каждая запись — одна строка, только хеш и короткое описание.
• --all показывает не только текущую ветку, но и всю историю репозитория.

Писать эту команду неудобно, она слишком длинная, поэтому мы можем создать алиас — короткую версию:

Теперь, чтобы команда сработала, достаточно применить git graph.

Например, если у нас две ветки, которые разошлись, а потом слились, мы увидим вот такой граф:

Звёздочки и линии показывают, где расходились ветки (feature/login отделялась от main), а где обратно слились (Merge).

Метки (например, main, feature/login, tag: v1.0) появляются рядом с коммитами — это и есть результат --decorate.

Все коммиты выстроены по одной строке — это делает схему быстрой для чтения.

Заключение

Освоить Git — значит не просто выучить базовые команды, а знать, как быстро решить типовые проблемы и не тратить время на рутину. Даже одна «правильная» команда может в нужный момент сэкономить время и нервы. А какие команды-git вы используете чаще всего? Напишите в комментариях. Кто знает, может в следующий раз именно ваша подборка появится в будущих материалах.

Впервые представленное в 2016 году, это решение стало важной частью рабочего процесса для разработчиков, которым нужны мощные инструменты командной строки и скрипты Linux в среде Windows.

Больше новостей — в нашем тг-канале «Представляешь»

WSL предлагает более легкую и интегрированную альтернативу традиционным виртуальным машинам, что делает его популярным выбором среди программистов и DevOps-инженеров.

Что изменилось

Теперь Microsoft решила сделать почти весь исходный код WSL открытым. Об этом компания объявила на конференции Build.

В блоге Microsoft старший инженер компании Пьер Буле отметил, что этот шаг был сделан в ответ на многолетние просьбы сообщества. Фактически, это закрывает первый pull request, созданный на GitHub еще в 2016 году, когда проект только начинал развиваться.

Какие компоненты остались закрытыми

Хотя большая часть WSL теперь открыта, несколько ключевых элементов остаются проприетарными:

• lxcore.sys — основной драйвер ядра для WSL 1, первой версии системы, выпущенной в 2016 году.
• p9rdr.sys и p9np.dll — компоненты, отвечающие за редирект файловой системы между Windows и Linux, что позволяет легко получать доступ к данным из обеих операционных систем.

Microsoft не исключает, что эти компоненты тоже могут быть открыты в будущем, но пока конкретных планов на этот счет не объявлено.

Почему это важно

Открытие исходного кода WSL означает, что теперь сообщество разработчиков может вносить прямые изменения в проект, исправлять баги, добавлять новые функции и оптимизировать производительность. Это может ускорить развитие WSL и улучшить интеграцию Linux и Windows, что особенно важно для тех, кто использует обе системы в повседневной работе.

Что нового в WSL

В последние месяцы Microsoft активно развивала WSL. Например, компания добавила поддержку дистрибутивов Fedora и Arch Linux, расширив выбор для пользователей, которым нужны более гибкие настройки системы.

Эти изменения стали возможны благодаря переходу WSL на модель установки через Microsoft Store, что упростило добавление новых функций без необходимости обновлять саму операционную систему.

Чтобы установить WSL, достаточно набрать wsl --install в командной строке или выбрать нужный дистрибутив в Microsoft Store. Можно использовать несколько дистрибутивов одновременно и переключаться между ними в зависимости от текущих задач.

Мы собрали топ-10 малоизвестных и относительно новых языков программирования, которые с высокой долей вероятности могут стать популярными в профессиональной среде.

Критерии отбора языков

Каждый язык остается востребованным, пока им пользуются для написания кода. Например, COBOL, который появился еще в середине прошлого века, до сих пор применим в банковской системе США, а Fortran — в прикладной математике.

Однако стремительное развитие компьютерных технологий побуждает к разработке принципиально новых, более эффективных и производительных инструментов. Они могут выполнять сугубо утилитарные задачи (вроде управления системами и устройствами), или становятся универсальными средствами программирования.

Иногда даже сами создатели языка не подозревают, какой продукт у них появился. Так случилось с С, который разработали американские программисты Керниган и Ритчи. Они всего лишь хотели перенести любимую игру с сервера на офисный компьютер, но поскольку действующая операционка не подходила для этих целей, пришлось создавать новый язык. Теперь им пользуются миллионы программистов во всем мире.

В топ языков программирования входят перспективные для развития инструменты. При отборе мы пользовались экспертными данными, собранными из авторитетных профессиональных источников. Рассмотрим ключевые факторы.

Технологический прогресс

Языки программирования развиваются параллельно с техническим прогрессом. К числу наиболее актуальных направлении в современной индустрии относятся:

• Искусственный интеллект. Для разработки таких технологий и управления ими нужны языки, способные продуктивно работать со сложными алгоритмами, массивами данных и параллельными вычислениями.
• Квантовые технологии. Новые архитектурные концепции могут «заставить» нас использовать абсолютно непривычные языки.
• Мобильные устройства и IoT. Эта отрасль задает тренд на развитие легких по структуре и более производительных языков, которые работают со встраиваемыми системами.
• Аппараты. Распространение многоядерных процессоров и распределенных по разным компьютерам систем повышает потребность в языках программирования, поддерживающих параллелизм.
• Блокчейн. Да, чтобы проводить смарт-контракты и писать децентрализованные приложения, привычных языков может быть недостаточно.

Отраслевые потребности

На развитие и востребованность языков программирования влияют и потребности различных отраслей. Например, финансовый сектор нуждается в языках, которые обеспечивают максимальный уровень безопасности и надежности. К таким языкам можно отнести, например, F#.

В сфере здравоохранения нужны языки, которые упрощают анализ данных диагностики или используются для машинного обучения систем, задействованных в прогнозировании заболеваний. Таким инструментом может стать, например, Solidity. Созданный на этом языке софт на основе ИИ можно применять для аналитики диагностических данных с последующим прогнозированием течения заболеваний.

В игровой индустрии нужны языки, которые обеспечивают высокую производительность и возможность реализации интерактивных технологий гейминга (например, дополненную реальность) в онлайн-режиме.

Тренды в сообществах разработчиков

Еще один значимый фактор отбора программных языков — потребности сообщества разработчиков. Профи и любители ориентируются на простоту синтаксиса, наличие библиотек и фреймворков, легкость в использовании инструмента для выполнения реальных задач.

По этой причине языки с открытым исходным кодом и популярные «народные» продукты с активными сообществами развиваются быстрее. Они способствуют обширной инфраструктуре в виде вспомогательных инструментов и ресурсов.

Топ-10 языков программирования

Рассмотрим уникальные особенности, сильные стороны и сферы применения языков программирования, которые обладают большим потенциалом.

Zig

Этот язык в последнее время стал одним из самых обсуждаемых в профессиональном сообществе. В популярных профильных изданиях его даже называют «новой звездой на небосводе современной разработки».

Его создатель, американский программист Эндрю Келли, ставил задачу объединить плюсы низкоуровневого программирования с надежностью и удобством высокоуровневых языков.

Это типизированный компилируемый инструмент с инновационными концепциями в основе. Статическая типизация отвечает за максимальную надежность кода и позволяет выявить большинство ошибок еще до выполнения программ.

Основные плюсы:

• продукты на Zig отличаются стабильностью, безопасностью и простотой дальнейшей поддержки;
• язык можно использовать для разработки низкоуровневого ПО в качестве легковесной альтернативы C;
• выполнение кода в процессе компиляции и ручное управление памятью делает работу более простой и безопасной;
• производительность Zig делает его подходящим инструментом для системного программирования и создания приложений с лимитированными ресурсами.

Язык будет все активнее использоваться в проектах, где важны производительность и максимальный уровень контроля. Он идеально подходит для разработки игр, сетевого и системного программирования.

Код на Zig выглядит следующим образом:

Пример проекта на Zig — репозиторий Zig-gamedev для разработки игр на этом языке.

Готовый продукт, созданный на основе модулей библиотеки — фэнтезийная игра от первого лица и с открытым миром Tides of Revival.

Crystal

Язык с Ruby-подобным, предельно простым синтаксисом и высокой производительностью. Как и Zig, он статически типизирован и компилируем. Объединяет ясность и простоту Ruby с эффективностью и скоростью C.

В числе главных преимуществ Crystal:

• сходство с синтаксисом Ruby делает его предельно простым для изучения;
• по производительности Crystal не уступает самым востребованным компилируемым языкам;
• проверка в процессе компиляции и глобальный вывод типов позволяют выявлять ошибки на ранних этапах разработки, поэтому язык оптимален для создания приложений.

Производительность, безопасность и простота применения делают Crystal отличным выбором для написания сценариев, в том числе высокого уровня. На этом языке разрабатывают инструменты командной строки, микросервисы и веб-продукты различной степени сложности. По мере развития фреймворков и библиотек Crystal становится все более востребованным и имеет все шансы войти в число основных языков для разработки приложений.

Примеры сервисов, созданных на Crystal:

• Kinko booking — платформа для бронирования гостиниц в туристических агентствах в режиме реального времени;
• Eat App — облачные приложения автоматизации для ресторанного бизнеса, повышающие эффективность работы предприятий;
• Nabobil.no — европейский каршеринг.

Пример кода наглядно демонстрирует лаконичность Crystal:

puts “Hello World!”

Elixir

Язык, в котором реализована функциональная методика создания кода, построен на базе виртуальной машины Erlang. Использует динамическую типизацию переменных, подходит для работы с распределенными системами.

Главные плюсы:

• динамичность и функциональность языка позволяют использовать его для разработки масштабируемых и отказоустойчивых приложений;
• поскольку код выстраивается из процессов, он отлично справляется с параллелизмом и одновременным выполнением множества задач, в том числе на разных устройствах;
• идеально подходит для создания и поддержки распределенных систем, а также приложений реального времени;
• системы на Elixir продолжают работу даже при отказе нескольких составных частей.

Язык будет все чаще использоваться для разработки масштабируемых, распределенных и отказоустойчивых бэкенд-систем. Это относится к игровым онлайн-платформам, информационным ресурсам реального времени и другим приложениям с большим трафиком. Поскольку спрос на такие продукты только растет, будущее Elixir выглядит вполне определенным.

Код тоже предельно лаконичен:

IO.puts(“Hello, World!”)

На Elixir создан фреймворк Phoenix, который содержит модули для разработки быстро масштабируемых приложений.

Nim

Этот статически-типизированный и компилируемый язык развивает концепции Ada, Modula, Python, но стремится превзойти их по эффективности и выразительности.

Основные преимущества:

• язык используется для метапрограммирования — то есть для настройки и генерации кода;
• универсальный синтаксис позволяет применять Nim как для веб-разработки, так и для научных вычислений и работы с большими данными;
• поскольку язык компилируемый, разработчик может использовать для работы не только собственные библиотеки, но и фреймворки на C и C++.

Nim уже сейчас применяется для веб-разработки, системного программирования и создания сценариев. Однако его универсальность, эффективность и возможность метапрограммирования делают его инструментом с большим потенциалом, в том числе в сфере разработки продуктов на основе ИИ.

Код на Nim с последующим компилированием:

Самые известные фреймворки на Nim — это Jester и Karax. Первый используется для серверной разработки, второй — для клиентской. Обе библиотеки есть в свободном доступе на GitHub.

F#

Функционально ориентированный язык, работающий на базе экосистемы .NET — кроссплатформенной среды для разработки приложений.

Преимущества F#:

• лаконичный и ясный синтаксис, относительно простой для понимания;
• надежный вывод типов, что позволяет использовать F# для машинного обучения, анализа массивов данных и параллельного программирования;
• благодаря безопасности подходит для разработки приложений, работающих с конфиденциальными данными в финансовой сфере.

Поскольку вся финансовая отрасль постепенно уходит в цифру, а системы становятся все более сложными, F#, как производительный и точный инструмент, все чаще будет использоваться для создания ПО, в котором важна надежность и предельная корректность выполняемых операций.

В плане лаконичности F# вполне сравним с предыдущими примерами:

printfn “Hello, world!”

Giraffe — популярная библиотека на F# для разработки веб-приложений с высокой производительностью и безопасностью.

Еще один полезный фреймворк на этом языке — Saturn.

Julia

Высокопроизводительный и высокоуровневый язык с динамической типизацией. Изначально создавался для сложных математических вычислений и анализа данных. Объединяет скорость C++ и простоту Python.

Плюсы Julia:

• высокая скорость, благодаря компиляции Just-In-Time и множеству опций диспетчеризации, делают язык предпочтительным инструментом для сложных вычислений и анализа данных;
• подходит для создания эффективного нативного кода для исполнения алгоритмов на реальном оборудовании;
• язык постоянно обновляется и совершенствуется.

Способность Julia обрабатывать большие массивы данных и работать со сложными задачами применяется для глубокого обучения, а также разработки ИИ. Язык используется для научных исследований в экономике, физике, астрономии и других дисциплинах. Благодаря тому, что сообщество Julia постоянно растет, а библиотеки регулярно пополняются, язык имеет большой потенциал в науке и машинном обучении.

Простой сценарий на Julia выглядит так:

Примеры библиотек на Julia для научных разработок по астрофизике JuliaAstro, JuliaSpace, по биологии и химии: JuliaBio, Molecular simulations, по экономике: QuantEcon, JuliaQuant.

Scala

Этот язык считается флагманом функционального программирования, то есть работает не с конкретными переменными, а с функциями, которые их описывают. Scala компилируется в Java и может использоваться там, где применяется этот язык (практически везде).

Преимущества:

• объектно-ориентированный подход позволяет создавать более четкий и структурированный код для широкого спектра продуктов;
• лаконичность — простой и краткий синтаксис более удобен, он быстрее пишется и читается;
• код на Scala кроссплатформенный и запускается где угодно, поэтому программистам не нужно думать о совместимости.

Масштабируемость Scala и его универсальность позволят этому языку в будущем частично заменить Java и в полной мере реализовать концепцию функционального программирования во множестве проектов.

Код на Scala:

@main def hello() = println(“Hello, World!”)

Библиотека Scala.js компилирует этот язык в JavaScript. Этого инструмента достаточно, чтобы начать разработку с объектно-ориентированным подходом.

Red

Минималистичный, лаконичный по синтаксису, но при этом функционально полноценный язык был создан как универсальный инструмент для решения самого широкого круга задач — от написания сценариев до низкоуровневого системного программирования.

Ключевые преимущества:

• простота синтаксиса, легкость в освоении и использовании делают Red идеальным инструментом для начинающих программистов;
• несмотря на минималистичность, язык обладает мощью и гибкостью, что позволяет использовать его для приложений любого уровня сложности;
• есть множество GUI-библиотек, которые существенно упрощают написание кода на Red.

Сейчас применение языка ограничивается локальными проектами, но эксперты уверены, что его широкое распространение — вопрос времени. Способность поддерживать как высоко-, так и низкоуровневые проекты позволяет рассчитывать, что Red войдет в число наиболее востребованных языков для мобильной и веб-разработки, IoT, создания драйверов и графических интерфейсов.

Код на Red:

На Red написан проект SmartXML, предназначенный для хранения и передачи структурированных данных. Он также поддерживает вычисления с большими числами и используется в прикладной математике.

Ballerina

Язык с открытым исходным кодом, специально созданный для работы с облачными технологиями и разработки сетевых сервисов.

Плюсы Ballerina:

• использует объектно-ориентированный подход и существенно упрощает обработку данных;
• идеально подходит для работы с микросервисами;
• совмещает функции языка и платформы для интеграции веб-сервисов, поддерживает множество протоколов.

По мнению экспертного сообщества, Ballerina имеет все шансы стать со временем новым стандартом в разработке облачных структур и веб-сервисов, благодаря разнообразным встроенным инструментам.

Код на Ballerina выглядит следующим образом:

На языке, в частности, написано расширение Choreo для создания, развертывания и тестирования облачных приложений непосредственно из редактора Visual Studio Code.

Solidity

Высокоуровневый язык, разработанный для виртуальной машины Ethereum. Функционирует на основе блокчейна и смарт-контрактов. Синтаксис Solidity напоминает Python, при этом язык основан на принципиально иных концепциях.

Плюсы Solidity:

• позволяет быстро и эффективно создавать смарт-контракты, не испытывая технических сложностей;
• относительно прост для освоения для тех, кто знаком с Python и Java.

Большинство экспертов считают, что со временем смарт-контракты будут использоваться практически во всех отраслях промышленности, где есть цифровые технологии. Уже сегодня смарты применяют для управления цепями поставок, а также в сфере здравоохранения для сохранения конфиденциальности данных пациентов.

Создание смарт-контракта на Solidity выглядит так:

На Solidity работают децентрализованные проекты типа Uniswap и Compound, где можно брать кредиты в крипте без посредников, а также NFT-маркетплейсы OpenSea и Rarible.Игра Cryptokitties для покупки, разведения и продажи виртуальных кошек тоже написана на этом языке.

Как выбрать язык для изучения

При выборе перспективного языка программирования разработчику в первую очередь стоит учитывать область своих профессиональных интересов. Собственные инструменты есть в сферах веб-приложений, игр, продуктов на основе ИИ, программ для аналитики данных.

Аспекты, на которые стоит обязательно обратить внимание — активность сообщества и наличие подробной документации. Все языки из представленного нами списка развиваются и имеют обширную аудиторию пользователей.

Значение имеют и вспомогательные инструменты — библиотеки и фреймворки. Готовые решения значительно упрощают как освоение языка, так и разработку конкретных продуктов для прикладных задач.

Следите за трендами ИТ-индустрии. Направления с серьезным потенциалом развития в ближайшие 10 лет: ИИ; квантовые вычисления; интернет вещей; блокчейн и смарт-контракты; автоматизация и робототехника.

Изучив новые языки раньше других, вы сможете опередить рынок и стать востребованным специалистом с минимальной конкуренцией. Если вы новичок, вы дадите мощный старт своей карьере разработчика.

А если хотите изучить хотя бы один из языков (или просто присматриваетесь) — все самые полезные инструменты тут

Начинающим же советую статью с базовыми операторами.

nl: нумерация строк

Порой приходится вычитывать и редактировать код прямо в CLI, ведь некоторые файлы не дублируются силами git на ноутбук намеренно. Такое встречается, например, при разработке вебхук-ботов. Если в большинстве IDE строки пронумерованы по умолчанию, то почему бы не сохранить комфорт и при работе с терминалом? Здесь поможет команда nl:

&&: комбинация независимых команд

Большинство линуксоидов знакомятся с конвейерами (pipe) на курсах и знают, как передать результат первой команды второй:

Но что писать bash, если понадобилось запустить несвязанные команды? Pipe в таком случае выпадает в ошибку. Здесь на помощь придет оператор «двойной амперсанд»:

Вывода у второй директивы нет, но файл появился:

pv: удивляем родителей

Это развлекательный инструмент, позволяющий имитировать скорый набор текста, как у хакеров в кино. Прежде чем баловаться этой красотой, установим pv:

Теперь запустим набор текста командами echo и pv:

Если быстро нажимать клавиши, можно ненароком стать сыном маминой подруги

at: отложенный запуск

Подходит для и̶м̶и̶т̶а̶ц̶и̶и̶ ̶р̶а̶б̶о̶т̶ы запуска команд в определенное время, под капотом используется утилита cron.

Если регулярных директив по расписанию собирается целая коллекция, лучше перейти на Apache Airflow. Гайд по установке ПО можно изучить здесь.

>: отправка логов в файл

Если на вашем сервере сидит проект из нескольких десятков взаимосвязанных модулей (например, сайт на Django), то мониторить в консоли все ошибки, с которыми сталкиваются посетители портала, просто бессмысленно. Лучше наладить вывод из главного файла проекта, впоследствии почитывать трейсбеки и исправлять возникающие проблемы:

cmatrix: raining code, как в «Матрице»

Прекрасный скринсейвер силами сторонней утилиты. Для запуска «дождя из кода» достаточно одноименной команды:

fold: подгонка под длину «не более 80 символов»

Еще одна сторонняя утилита от «жертв» Vim, судя по всему, ибо горизонтальная прокрутка там неудобная:

Посмотрим, как утилита разрубила код на куски не более 80 символов:

Не нравится мне это в случае с кодом (разорвал аргумент функции), жди ошибок. Но для текстовых файлов очень удобно:

Может, вы знаете утилиту для автоматических переносов строк в коде для Linux? Поделитесь в комментариях.

Заключение

Команды терминала представляют собой неотъемлемую часть эффективного управления операционной системой. Знание их и корректное применение способствуют повышению производительности и обеспечивают более глубокий контроль над проектом.

Почему мы пользуемся контейнерами

Разработчики пользуются библиотеками. Они позволяют не изобретать велосипед и пользоваться готовыми функциями.

К сожалению, если появляется новый дистрибутив, подтягиваются и новые библиотеки. Все они поставляются с определенными версиями ОС, и их нужно тестировать в различных средах. А также закрывать уязвимости, делать бэкпорт фич с учетом старых версий библиотек на более ранних дистрибутивах. И учитывать, что в разных дистрибутивах могут различаться стандарты размещения файлов — FHS.

Чаще всего ресурсов на поддержку такого «зоопарка» нет. Чтобы избежать постоянных тестов совместимости, слой библиотек передается вместе с docker image, из которого разворачивается тот самый контейнер. В нем есть всё необходимое в переносимом виде.

Чем технология контейнеризации отличается от виртуализации

У операционной системы есть абстракция-посредник между программами и оборудованием — ядро, которое обеспечивает API-вызовы. Происходит это через системные вызовы. Чаще всего они относительно низкоуровневые, надежные и примитивные. Например, «считай 10 байт, открой файл, считай 10 байт». Большинству программ этого достаточно.

Обратите внимание на эти системные вызовы: с помощью fopen можно смотреть, по какому пути открывается файл, а с clone(fork) и exec — видеть, как идут запуски тредов и внешних программ в контейнере.

Если, например, приложению приходится работать с аппаратными токенами, то нужны полноценные драйверы. Здесь может понадобиться виртуализация, где гипервизор host-OS позволяет запустить любое ядро с нужными драйверами.

Получается матрешка. Есть железо, на нем работает программа — ядро. Она создала процесс и запустила в нем гипервизор. Тот создал абстракцию железа, в которой запустилась программа-ядро. Оно создало процесс, в котором запустило программу. Не про это ли думал Нолан, когда снимал «Начало»?

При контейнеризации мы остаемся на уровне абстракции ядра (на котором запущены контейнеры), и так же отправляем туда системные вызовы. Процесс не знает о файловой системе и компьютере, он получает всю необходимую информацию из ядра.

Что почитать: «Linux. Системное администрирование», Р. Лав. В книге описаны системные вызовы, происходящие в Linux. Помогает понять, как работает ОС «с пользовательской точки зрения».

Что такое namespace

Ядро умеет изолировать программы друг от друга через процессы. Между ними изоляция осуществляется благодаря namespaces, которые позволяют отвечать на системные вызовы каждого приложения по-разному. Это как с билетами на концерт: по одному можно пройти на танцпол, по другому — в ложу, по VIP — пообщаться с артистом за кулисами.

С помощью Linux namespace мы показываем процессу, что ядро должно отдавать ресурсы из особой области, где распакованы docker image или лежат socket-файлы сетевых подключений.

Нужно понимать, за что отвечают такие namespaces:

• Файловая система (Mount) — область файловой системы, которая предоставляется приложению как корневая.
• UTS — собственный hostname.
• PID — позволяет в различных пространствах давать одинаковые ID процессам.
• Сети (Network) — позволяет изолировать ресурсы, связанные с сетью. При этом процессы из разных пространств видят свои сетевые устройства, таблицы маршрутизации, правила firewall и так далее.
• Межпроцессное взаимодействие (IPC) — позволяет организовать межпроцессное взаимодействие.
• Пользовательские ID (User) — позволяет иметь копию пользовательских и групповых идентификаторов.
• Время (Time) — позволяет разным процессам видеть разное системное время или часовой пояс.

Процесс в среде разработки ведет себя немного по-другому, нежели чем в контейнере после сборки. Обработка тех же системных вызовов и набор ресурсов, которые в итоге система вернет процессу при запросе, могут отличаться. Например, процесс запрашивает список пользователей, а он может быть вынесен в другой namespace. Или система может выдать другое дерево файловой системы, потому что базовый образ файловой системы для этого docker image от другого дистрибутива.

Также на удаленке многие разработчики начали работать в других временных зонах. Часто при дебаге тестировщики не могут найти ошибки в соседних системах из-за разницы временных меток в логах разработчика и системы.

Что почитать: «Внутреннее устройство Linux», Д. Кетов. В книге рассматриваются основные подсистемы ядра и их сущности: файлы и файловые системы, виртуальная память и отображаемые файлы, процессы, нити и средства межпроцессного взаимодействия, каналы, сокеты и разделяемая память.

Посмотрим на конкретных примерах, какие проблемы можно отследить.

Кейс №1: выросло System time

Процесс может потреблять большое количество процессорного времени. Можно диагностировать это стандартными средствами. Посмотреть на цифры в выводе команды TOP:

• US( user time);
• SY (system time);
• WA (wait);
• IO wait и так далее.

Если разработчик не понимает, за что эти цифры отвечают, он решит, что накосячил где-то в коде. Хотя на самом деле процесс может потреблять много system time.

Пример из практики: информационная безопасность экспериментировала с журналами аудита и добавила дополнительные правила. По графикам системы мониторингов Grafana нагрузка на сервере подскочила процентов на 30. В этот же день был релиз фронтенд-приложения. Естественно, все решили, что фронт начал атаковать бэкенд, и именно он потребляет больше ресурсов даже не на пике.

Первая идея — искать, какие REST-вызовы дали нагрузку. На сервере мы видим, что на самом деле выросло SY. В процессе разработчики поняли, что были добавлены новые правила аудита, и решили их убрать. Тогда нагрузка вернулась к обычным стандартным значениям.

Что почитать: «Сетевые операционные системы», В. Олифер, Н. Олифер. В книге рассматриваются концепции и принципы построения большинства современных ОС.

Кейс №2: ошибка в документации

Команда писала приложение, в котором использовались криптографические подписи. После сборки и упаковки в Image, все перестало работать, это типичная ситуация. Ошибка говорит, что недоступен файл, который точно должен быть доступен. Базовый образ минималистичен, утилит диагностики в себе не содержит. Для разработчика это тупиком.

Проблема решилась обычным strace на компьютере разработчика, в котором довольно быстро удалось выудить ошибку системного вызова fopen. Оказалось, в документации криптобиблиотеки ошибка, и монтировать файлы с закрытым ключом нужно по другому пути. Разработчик же пользовался графическим интерфейсом криптобиблиотеки, и о путях знал только из документации.

Что в итоге

Технология контейнеризации — это не магическая виртуализация. По большому счету, понятие процесса, в котором запускаются программы, никуда не делось. Просто с точки зрения операционной системы он вынесен в отдельный пул ресурсов. Если разработчик понимает, какие стандартные средства операционной системы задействованы в процессе, он сможет диагностировать и ошибки, которые могут возникать в том числе при запуске приложений в контейнерах.

Рассмотрели использование команд и утилит, таких как chmod, chown и chgrp, для управления правами доступа к файлам и каталогам.

1. Что такое UID и GID в Linux
2. Краткий список команд для управления правами в Linux
3. Команда chmod для управления правами в Linux
4. Команда chown
5. Команда chgrp
6. Команда id
7. Команда umask

Что такое UID и GID в Linux

UID (User Identifier) и GID (Group Identifier) в Linux играют важную роль в идентификации пользователей и групп.

UID отображает уникальный идентификатор для каждого пользователя, в то время как GID используется для определения принадлежности к группам.

Они используются системой для установления доступа к файлам, ресурсам и управления безопасностью.

UID (User Identifier)

UID – это уникальный числовой идентификатор пользователя, который используется операционной системой для идентификации пользователя. Каждому пользователю в системе назначается свой уникальный UID.

UID представлен в виде числа и связан с конкретным пользователем в системе. У каждого пользователя есть свой уникальный UID, которое является основным идентификатором пользователя в системе.

При создании нового пользователя в Linux, система автоматически назначает ему уникальный UID. Этот UID используется для определения владельца файлов и директорий в системе, а также для контроля доступа к ним.

В системе Linux, UID 0 зарезервирован для суперпользователя, также известного как root. Как суперпользователь, root имеет полный доступ ко всем файлам и ресурсам в системе. Кроме того, у каждого пользователя есть свой собственный UID, который определяет его права доступа к файлам и директориям.

GID (Group Identifier)

GID в Linux – это идентификатор группы, который используется для идентификации группы пользователей в системе. GID представляет собой числовой идентификатор, который присваивается каждой группе в Linux.

В системе Linux каждый пользователь может быть членом одной или нескольких групп пользователей. Группы используются для управления доступом к файлам, директориям и другим ресурсам в системе. Пользователи, входящие в одну и ту же группу, могут иметь общие права доступа к определенным файлам и директориям.

GID используется для определения принадлежности пользователей к конкретным группам и для управления разрешениями доступа к ресурсам. При создании новой группы в системе, ей автоматически назначается уникальный GID. Как и UID, GID также может быть изменен или назначен пользователем вручную.

Когда файл или директория создается в Linux, ей назначаются права доступа, определенные для владельца, группы и остальных пользователей. Права доступа директории можно установить так, чтобы все файлы, созданные в ней, автоматически наследовали GID этой директории.

Краткий список команд для управления правами в Linux

В Linux права доступа к файлам и директориям играют важную роль в обеспечении безопасности и определении возможностей пользователя для чтения, записи и выполнения файлов. Права доступа в Linux управляются с помощью комбинации трёх групп: владелец файла, группа и остальные пользователи.

Права доступа в Linux имеют три основных типа: чтение (read), запись (write) и выполнение (execute). Владелец файла имеет право на все три типа доступа, группа может иметь свои собственные права, и остальным пользователям также могут быть назначены отдельные права.

Каждый файл или директория в Linux имеет набор прав доступа, который представлен в виде трёх наборов битов: биты чтения, записи и выполнения для владельца, группы и остальных пользователей. Например, для файла, у которого установлены права чтения и записи для владельца, право чтения для группы и право чтения для остальных пользователей, права доступа будут выглядеть так: -rw-r--r--.

Ниже представлены основные команды, которые позволяют работать с правами доступа в Linux.

chmod

Команда chmod используется для изменения прав доступа к файлам и директориям. Она позволяет устанавливать или изменять права чтения, записи и выполнения для владельца файла, группы и остальных пользователей.

Пример: chmod u+rwx filename (установка прав на чтение, запись и выполнение для владельца файла).

chown

Команда chown используется для изменения владельца и/или группы файла или директории. Она позволяет сменить владельца файла или директории на указанного пользователя и группу.

Пример: chown username:groupname filename (изменить владельца и группу файла).

chgrp

Команда chgrp используется для изменения группы файла или директории. Она позволяет сменить группу на указанную.

Пример: chgrp groupname filename (изменить группу файла).

id

Команда id показывает информацию о текущем пользователе, такую как uid (идентификатор пользователя), gid (идентификатор группы) и список групп, в которых состоит пользователь.

Пример: id -n выведет имя текущего пользователя вместо числового идентификатора.

umask

Команда umask используется для управления маской создания файлов. Она определяет, какие права доступа не будут установлены по умолчанию при создании нового файла или директории.

Пример: umask -S выведет маску прав доступа в символьном формате, например, u=rwx,g=rx,o=rx.

Команда chmod для управления правами в Linux

Команда chmod в Linux имеет различные опции для управления правами доступа к файлам и директориям.

1. u (user): Эта опция применяется к владельцу файла или директории. Например, chmod u+r filename добавляет право на чтение для владельца файла, а chmod u-wx directory удаляет право на запись и выполнение для владельца директории.
2. g (group): Эта опция применяется к группе файла или директории. Например, chmod g+r filename добавляет право на чтение для группы файла, а chmod g-x directory удаляет право на выполнение для группы директории.
3. o (others): Эта опция применяется ко всем остальным пользователям системы, не являющимся владельцем файла или членами группы. Например, chmod o+r filename добавляет право на чтение для остальных пользователей, а chmod o-wx directory удаляет право на запись и выполнение для остальных пользователей.
4. a (all): Эта опция применяется ко всем пользователям – владельцу, группе и остальным пользователям. Например, chmod a+r filename добавляет право на чтение для всех пользователей.
5. + (add): Эта опция добавляет указанные права доступа к текущим правам доступа файла или директории. Например, chmod +x filename добавляет право на выполнение для всех пользователей.
6. - (remove): Эта опция удаляет указанные права доступа из текущих прав доступа файла или директории. Например, chmod -w directory удаляет право на запись для всех пользователей.
7. = (set): Эта опция устанавливает указанные права доступа, заменяя существующие права доступа файла или директории. Например, chmod u=rw filename устанавливает только права чтения и записи для владельца файла.

Команда chown для управления правами в Linux

Команда chown в Linux используется для изменения владельца и/или группы файла или директории. Она позволяет сменить владельца или группу на указанный пользователь или группу.

1. chown user file: Изменяет владельца файла или директории на указанного пользователя. Например, chown john file.txt устанавливает пользователя “john” в качестве владельца файла “file.txt”.
2. chown user:group file: Изменяет владельца и группу файла или директории. Например, chown john:users file.txt устанавливает пользователя “john” в качестве владельца и группы “users” для файла “file.txt”.
3. chown :group file: Изменяет только группу файла или директории. Например, chown :users file.txt устанавливает группу “users” для файла “file.txt”, сохраняя текущего владельца.
4. chown -R user directory: Рекурсивно изменяет владельца для всего содержимого директории. Например, chown -R john documents изменяет владельца всех файлов и поддиректорий внутри директории “documents” на пользователя “john”.
5. chown --reference=reference_file file: Копирует права доступа существующего файла “reference_file” на указанный файл. Например, chown --reference=reference_file new_file устанавливает владельца и группу нового файла “new_file” такими же, как у файла “reference_file”.
6. chown -h user symlink: Изменяет владельца символической ссылки без изменения владельца файла, на который ссылается символическая ссылка. Например, chown -h john symlink.txt изменяет владельца символической ссылки “symlink.txt”.

Команда chgrp для управления правами в Linux

Команда chgrp в Linux используется для изменения группы владельцев для файлов и каталогов. Группа владельцев определяет, к какой группе пользователей принадлежит файл или каталог. Это позволяет управлять доступом к файлам и каталогам для членов определенной группы.

1. -R или --recursive: Рекурсивно изменяет группу владельцев для всех файлов и подкаталогов в указанном каталоге. Например, chgrp -R group1 /path/to/directory изменит группу владельцев для всех файлов и подкаталогов в /path/to/directory на group1.
2. --reference=<файл или каталог>: Копирует группу владельцев из заданного файла или каталога на другие файлы и каталоги. Например, chgrp --reference=file1 file2 скопирует группу владельцев из file1 на file2.
3. --no-dereference: Не следовать символическим ссылкам и изменять группу владельцев самих ссылок, а не файлов, на которые они указывают. Например, chgrp --no-dereference group1 symlink1 изменит группу владельцев symlink1, а не файла, на который он указывает.
4. --preserve-root: Защищает корневой каталог от изменения группы владельцев. Например, chgrp --preserve-root group1 / не изменит группу владельцев для корневого каталога /.
5. --verbose: Выводит подробную информацию о каждом изменении группы владельцев. Например, chgrp --verbose group1 file1 выведет информацию о изменении группы владельцев для file1.
6. --help: Выводит справку о команде chgrp. Например, chgrp --help отобразит справку о команде chgrp.

Команда id для управления правами в Linux

Команда id в Linux используется для вывода информации о реальном и эффективном идентификаторах пользователя и группы. id позволяет узнать информацию о идентификаторах пользователя, таких как UID (User Identifier) и GID (Group Identifier), а также о его принадлежности к различным группам.

1. -a или --ignore: Игнорирует групповой список и выводит только информацию об идентификаторах пользователя. Например, id -a выведет информацию о реальном и эффективном UID пользователя без списка групп, к которым он принадлежит.
2. -Z или --context: Выводит только контекст безопасности процесса. Например, id -Z выведет контекст безопасности текущего процесса.
3. -g или --group: Выводит только эффективный идентификатор группы. Например, id -g выведет эффективный идентификатор группы текущего пользователя.
4. -G или --groups: Выводит все идентификаторы групп, к которым принадлежит пользователь. Например, id -G выведет все идентификаторы групп, к которым принадлежит текущий пользователь.
5. -n или --name: Выводит имя вместо числовых идентификаторов. Например, id -n выведет имя текущего пользователя вместо числового идентификатора.

Команда umask для управления правами в Linux

Команда umask в Linux используется для установки маски прав доступа по умолчанию для новых файлов и каталогов. Маска прав доступа определяет, какие права доступа будут автоматически установлены при создании нового файла или каталога.

1. -S или --symbolic: Выводит маску прав доступа в символьном формате. Например, umask -S выведет маску прав доступа в символьном формате, например, u=rwx,g=rx,o=rx.
2. -p или --preserve: Сохраняет текущую маску прав доступа и выводит ее значение. Например, umask -p сохранит текущую маску прав доступа и выведет ее значение, например, 0022.
3. -r или --reference=<файл>: Устанавливает маску прав доступа в соответствии с правами доступа заданного файла. Например, umask -r file1 установит маску прав доступа в соответствии с правами доступа file1.
4. -S <маска> или --symbolic=<маска>: Устанавливает маску прав доступа с заданным символьным значением. Например, umask -S u=rwx,g=rx,o=rx установит маску прав доступа для пользователя: чтение, запись и выполнение; для группы и остальных: чтение и выполнение.
5. <маска>: Устанавливает маску прав доступа с заданным числовым значением. Например, umask 0022 установит маску прав доступа 0022, что означает, что для новых файлов и каталогов будут автоматически включены права чтения и выполнения для группы и остальных, а право записи будет выключено для всех.

Заключение

Права пользователей в Linux играют важную роль в обеспечении безопасности и контроля доступа к файлам и ресурсам.

Система основана на использовании UID (User Identifier) и GID (Group Identifier) для идентификации пользователей и групп.

Через команды chmod, chown и другие утилиты администраторы могут управлять правами доступа к файлам и директориям, обеспечивая контроль над разрешениями.

Разработчик и спикер-консультант Айко Клостерман опубликовал свой список трюков, которые могут быть очень полезны в ваших программистских буднях.

cd –

Так или иначе, большинство из нас в курсе, как работает команда cd. Но многие ли из вас знали, что cd с минусом вернёт вас в предыдущую директорию? Пример:

!!

Можно легко «использовать» предыдущую команду, добавив в её начало новую. Пример:

!:[index]

Также Клостерман рассказал об удобном способе выбрать лишь часть предыдущей команды. Для этого подойдёт обращение к индексу определённой фразы. Пример:

!:[index]-[index]

Подобным образом можно выбрать и несколько команд. Пример:

Переход в начало и конец строки

Для того, чтобы попасть в самое начало строки, достаточно прожать сочетание Ctrl + A. В свою очередь в её конец можно попасть, нажав Ctrl + E.

Стоит отметить, что сам Клостерман использует Z Shell в iTerm2 для macOS. Ознакомиться с полным списком таких вот трюков можно на его сайте по ссылке.

Источник: Aiko.dev

Если большинство советов в сети предлагают выполнить мини-квест для настройки сканера отпечатка пальцев, решение Уолша умещается в две строки.

Как заменить ввод пароля на Touch ID?

• Открыть Терминал.
• Открыть утилиту sudo, введя команду sudo vi /etc/pam.d/sudo.
• Вписать в первую строку: auth sufficient pam_tid.so.
• Всё получилось, вы великолепны!

Теперь каждый раз, как у вас возникнет необходимость ввести пароль из-за использования sudo, достаточно будет приложить палец к сканеру отпечатка пальцев MacBook.

Источник: davidwalsh.name

Инструменты для сборки программ

Речь пойдёт про интерпретируемые программные платформы, доступные в большинстве систем — Python, Perl, awk, Bash. Кроме того, вам понадобится система сборки кода Make.

Код, который пишет программист, часто разделяется на файлы заголовков .h и файлы исходного кода .c.

При этом компилятор gcc делает следующее:

• При компиляции -S исходный код преобразуется с .c в код сборки .s.
• При компиляции -c код сборки трансформируется в объектный код .o.
• Ссылка -l — это ссылка на стандартные библиотеки для создания исполняемого файла.

По умолчанию gcc объединяет вышеуказанные этапы, создавая исполняемый файл.

gcc hello.c — создает a.out, а не .o или .s-файлы.

Система сборки Make

Данная система автоматизирует компиляцию нескольких исходных файлов в сложном проекте, упорядочивает зависимые действия и выполняет их по порядку. После чего ею считывается конфигурация из файла «сборки», обычно именуемого Makefile. В итоге Makefile действует как программный компонент процесса сборки проекта.

Процесс работы make-команды

make будет считывать данные из Makefile и запускать команды, чтобы построить конечную цель. Например, в Makefile, показанном выше, make будет запускать команды для правил 2–4, за которыми последует правило 1:

gcc -c dep1.c # создать dep1.o
gcc -c dep2.c # создать dep2.o
gcc -c main.c # создать main.o

gcc -o an_exe main.o dep1.o dep2.o -lm

Утилиты терминала Linux

Чтобы запустить команду в определённое время, используйте at:

at 17:00
at> log_days_activities.sh # иногда можно сократить: at> prompt [Ctrl+D]

at предлагает использование ключевых слов, таких как now, noon, today, tomorrow (сейчас, полдень, сегодня, завтра), а также различные опции, например, часы и дни, которые можно указывать с символом +.

at noon
at now + 1 year
at 3:08pm + 1 day
at 15:01 December 19, 2018

Используйте cron, если вы хотите задать периодичность запуска команд.

Утилита терминала Linux cron позволяет настроить периодический запуск посредством файла crontab, который управляет процессом и определяет, что и когда требуется выполнить. Запись может быть создана в любом файле и добавлена в систему с помощью команды crontab следующим образом:

echo '15 18 30 6 * find /home -mtime +30 -print' > f00
crontab f00 # добавить предыдущую команду в систему crontab

crontab -l # список записей crontab
crontab -r # удалить записи crontab

Вывод команды cron будет осуществляться через почту (в качестве альтернативы она может быть перенаправлена в файл с помощью >).

Анатомия записи в crontab:

В данном случае получаем следующее: выполнение команды find ежегодно 30 июня в 18:15.

Применение математики

• Генерация случайных чисел с помощью shuf (может потребоваться установка):
  shuf -i 1-100 -n 1
• Форматирование чисел с помощью numfmt:
  numfmt --to=si 1000
  1.0K
  numfmt --from=iec 1K
  1024
• Использование bc в качестве универсального калькулятора:
  bc <<< 48+36 # без пробелов по обе стороны от +
  echo 'obase = 16; ibase = 10; 56 '| bc # десятичное в шестнадцатеричное
  echo 'scale=8; 60/7.02' |bc # произвольная точность

Python-утилиты

• Если вам нужно установить простой веб-сервер менее чем за минуту, то просто используйте:
  python3 -m http.server 35000
• Если требуется распечатать файл json:
  python3 -m json.tool afile.json
• Если требуется запустить небольшие программы на Python:
  python -c "import math; print (str (math.pi) [: 7])"
• Если требуется применить математику:
  python -c "print(6*6+20)"
  python -c "fctrl=lambda x:0**x or x*fctrl(x-1);
  print(fctrl(6))" # вычислить факториал

Различные полезности

Далее будут приведены всевозможные команды, которые во многом облегчат жизнь рядовому пользователю и сэкономят его время.

• Чтобы выполнить команду в течение указанного времени с использованием тайм-аута:
  timeout 2 ping google.com
• Отобразить изменяющуюся переменную:
  watch -n 5 free -m
• Используйте yes для автоматического подтверждения операций:
  yes | pip install pkg --upgrade
  yes "this is a test" | head -50 > testfile.txt # позволяет создать файл с произвольным количеством строк
• Создание PDF-файла из текста с помощью vim:
  vim states.txt -c "hardcopy> states.ps | q" &&
  ps2pdf states.ps # позволяет преобразовать .ps в .pdf
• Запуск команды от имени другой группы Linux:
  sg grpgit -c 'git push'
• Отображение CSV-файла в формате столбца или таблицы:
  column -t -s , filename.csv
• В случае, если возникли трудности с отправкой двоичных исполняемых файлов по электронной почте:
  xxd f.exe f.hex # hexdump exe, необходимо просто отправить его по e-mail
  xxd -r f.hex f.exe # конвертируем приёмник обратно в exe
• Если требуется сгенерировать пароль:
  head /dev/urandom | tr -dc A-Za-z0-9 | head -c 8
  openssl rand 8 -base64 | cut -c1-8 # -base64 8 для конкретной версии
• Pandoc для конвертации файлов (md, tex, txt, html, docx, pdf, odt):
  pandoc manual.md -o manual.pdf
  pandoc example.txt -o example.html
  pandoc -s example.txt -o example.docx
• Также можно анализировать и читать файлы XML с помощью xmllint.
• Чтобы разделить большой файл на небольшие части (например, для отправки в виде вложения по почте):
  split -b 20M large.tgz parts_ # блоки по 20 МБ
  # отправить части__* по почте
  cat parts_a *> large.tgz # на принимающей стороне

Если вы пользуетесь не только Linux, но и Windows, посмотрите наше руководство по Windows PowerShell для начинающих.

Управление сеансами: tmux

Управление рабочим пространством с помощью tmux

tmux — это один из инструментов терминала Linux, а точнее терминальный мультиплексор, который позволяет создавать несколько постоянных терминалов в рамках одного входа в систему. Другими словами, tmux — это программа, которая даёт возможность вам работать с несколькими «вкладками» в одном окне терминала.

tmux будет полезен в следующих случаях:

• если компиляция или другая аналогичная операция в перспективе может занять много времени;
• для интерактивной многозадачности;
• в необычных случаях, например, при парном программировании;
• с целью экономии времени и одновременного осуществления нескольких операций.

Краткое руководство по tmux

Стандартный рабочий tmux-процесс:

tmux new -s s1 # запуск нового сеанса

Ctrl+B :detach — позволяет прервать сеанс, выйти из системы, вернуться домой.

Позже снова можете зайти в систему. Для того нужно:

tmux a-t s1

Дополнительные полезные команды tmux:

• Ctrl+B ( — возврат к предыдущей сессии;
• Ctrl+B ) — переход к следующей сессии;
• tmux ls — получение списка всех сессий;
• tmux kill-session -t s1 — окончание сессии.

Непосредственная коллаборация в tmux:

#user1#
tmux -S /tmp/collab
chmod 777 /tmp/collab

#user2#
tmux -S /tmp/collab attach

Создание частей окна и их синхронизация

• tmux new -s s2 — начать новую сессию;
• Ctrl+B " — горизонтальное разделение;
• Ctrl+B % — вертикальное разделение;
• Ctrl+B :setw — для включения и выключения синхронизации;
• Ctrl+B o — прокрутить окна;
• Ctrl+B x — убрать активные окна.

ssh-конфигурация и туннелирование

Ssh-конфигурация (~/.ssh/config)

Host login1
hostname login1.ornl.gov
User km0

Host cades
Port 22
hostname or-slurm-login.ornl.gov
ProxyJump login1
User km0
ServerAliveCountMax=3 # максимальное количество сообщений, отправленных без ack
ServerAliveInterval=15 # отправка нулевого сообщения каждые 15 секунд

Чтобы перейти на ssh/scp, необходимо использовать команду ssh/scp cades.

Преимущества ssh-конфигурации

Конфигурация облегчает запоминание ssh-команд при наличии нескольких хостов. При этом настройка подключения к отдельным хостам выполняется автоматически. Для дополнительной информации касательно данного типа конфигурации смотрите man 5 ssh_config.

Например: ssh summit достаточно для подключения к summit.olcf.ornl.gov со всеми свойствами, упомянутыми в этом разделе:

Host summit
Port 22
hostname summit.olcf.ornl.gov
User ketan2
ServerAliveCountMax=3
ServerAliveInterval=15

Переадресация порта с помощью SSH-туннелирования:

Чтобы запустить HTTP-сервер на удаленном узле и просмотреть его через локальный веб-браузер, нужно:

1. remote$ python2 -m SimpleHTTPServer 25000 OR;
2. remote$ python3 -m http.server 25000;
3. local$ ssh -L 8000:localhost:25000 id@remote -N;
4. Откройте браузер на локальном компьютере и перейдите на http://localhost:8000.

Инкрементное удалённое копирование с помощью rsync

Такое копирование позволяет синхронизировать данные между локальным и удалённым хранилищем. При этом можно использовать набор опций, а именно: -а и -v как наиболее часто используемые.

rsync -av localdir/ remotehost:~/remotedir.

Также есть лайфхак для применения rsync: быстрое удаление большого каталога можно осуществить посредством этой команды:

mkdir empty && rsync -a --delete empty/ large_dir/.

Безопасная связь через GnuPG

Основы использования GNU Privacy Guard

GnuPG — это инструмент командной строки Linux для безопасной связи. Она имеет следующие функции:

• создание пар ключей;
• обмен ключами и верификация;
• шифровка и расшифровка документов;
• аутентификация документов с помощью цифровых подписей.

При всех вышеперечисленных плюсах, данная программа не предполагает:

• концепцию криптографии с открытым ключом;
• сложные и продвинутые варианты использования.

Создание новой пары ключей

Для начала используйте gpg --gen-key, после чего нужно будет ответить на предложенные вопросы.

1. Укажите имя и адрес электронной почты в качестве идентификатора, потом выберите фразу-пароль.
2. «Артефакты» ключей можете посмотреть по адресу $HOME/.gnupg dir.

Далее необходимо создать сертификат аннулирования:

gpg --output revoke.asc --gen-revoke <ID>.

Для чего используйте электронную почту в качестве идентификатора. Также стоит включить функцию уведомления, если пара ключей больше не может быть использована. Например, если вы забыли свою фразу для восстановления пароля, потеряли ключи и т. д.

Обмен ключами и верификация

Экспорт открытого ключа:

• gpg --output pub.gpg --export — бинарный код;
• gpg --armor --export > pubtxt.gpg — кодировка ASCII.

Импорт открытого ключа:

gpg --import billpub.gpg — импорт по умолчанию.

После чего проверьте и подпишите импортированный ключ, для чего есть следующая команда:

gpg --edit-key b@ms.us — здесь указывается ключевая информация и подсказка.

command> fpr — отпечатки пальцев, проверка по телефону.

Остаётся лишь пройти верификацию в командной строке — command> sign.

Шифрование и расшифровка документов

Ниже приведён пример шифрования документа с помощью открытого ключа пользователя (пусть это будет Билл):

gpg --output doc_pdf.gpg --encrypt --recipient.

b@ms.us doc.pdf — как вы уже поняли, у вас должен быть ключ Билла в свободном доступе.

Билл расшифровывает документ (то есть у него должен быть его персональный ключ и фраза-пароль):

gpg --output doc.pdf --decrypt doc_pdf.gpg.

Документы могут быть зашифрованы без ключа, просто посредством фразы-пароля:

gpg --output doc_pdf.gpg --symmetric doc.pdf.

Аутентификация документов с помощью цифровых подписей

Документы с цифровой подписью подтверждают тот факт, что они являются подлинными и что они не подвергались чьим-либо посторонним изменениям:

gpg-output doc.signed-sign doc.pdf.

Помните, что у вас должен быть закрытый ключ для создания цифровой подписи.

Подписанный документ можно проверить и расшифровать следующим образом:

gpg --ouput doc.pdf --decrypt doc.signed.

Инструменты Bash

Это оболочка командной строки Linux. В данном случае могут быть применены такие команды и утилиты, как grep, sed, awk и определены переменные, константы, условные обозначения, циклы и функции. Bash также предполагает использование арифметических операций и логических операций: && (и) и || (или):

• wget ...|| curl ... — выполнить curl iff wget не удается;
• make install && make test — срабатывает команда test iff install.

Файлы Shell «Startup» устанавливают среду при запуске оболочки.

.bashrc — файл, который запускается в каждой новой создаваемой оболочке.

.bash_profile — файл, который запускается только в «оболочке входа в систему», а не во всех оболочках. Например, он не запустится, если вы вызовете сценарий оболочки, который создает «подоболочку».

Псевдонимы и функции

Псевдонимы — это короткие и удобные имена для длинных команд. Как правило, они определяются в .bashrc или отдельном файле .aliases. Чтобы временно обойти псевдоним (скажем, поменять псевдоним ls на ls -a), используйте \: \ ls.

Также необходимо помнить о том, что функции Bash обычно определяются в файле .bashrc/.bash_profile и что функции более выразительны по сравнению с псевдонимами. Поэтому, обычно, следует отдавать предпочтение именно им.

Примеры псевдонимов:

• alias s=ssh;
• alias c=clear;
• alias cx='chmod +x';
• alias ls='ls -thor‘;
• alias more=less;
• alias ps='ps auxf';
• alias psg='ps aux | grep -v grep | grep -i -e USER -e';
• alias ..='cd ..';
• alias myp='ps -fjH -u $USER';
• alias cleanup='rm -f *.tmp *.aux *.log'.

Примеры полезных функций:

• mcd() { mkdir -p $1; cd $1 };
• cdl() { cd $1; ls};
• backup() { cp "$1"{,.bak};};
• gfind() { find / -iname $@ 2>/dev/null };
• lfind() { find . -iname $@ 2>/dev/null };
• rtfm() { help $@ || man $@ || $BROWSER "http://www.google.com/search?q=$@"; };
• Смотрите /usr/share/doc/bash-*/examples/functions для поиска дополнительных примеров функций.

Переменные и подстановка команд

Переменные являются неявно типизированными, они могут представлять собой буквальное значение или замену команды.

vname = value — присвоить значение переменной vname.

$vname — прочесть значение переменной vname.

Подстановка команды:

• curdir=$(pwd);
• curdate=$(date +%F);
• echo "There are $(ls -1 | wc -l) items in the current dir".

Условная инструкция

В данном случае используется конструкция if-then-else (условного оператора), а именно — управляющая структура программы с ветвлением, аналогичная языкам программирования.

Существуют две формы механизмов условной оценки:

• $ if test $USER = 'km0'; then echo 'I know you'; else echo 'Who are you'; fi;
• $ if [ -f /etc/yum.conf ]; then echo 'yum.conf exists'; else echo 'file do not exist'; fi.

Условные инструкции:

• Строка-z строка — если длина строки равна 0;-n строка — если длина строки не равна 0;string1 = string2 — если строки идентичны (обратите внимание на одиночный знак =).
• Числаint1 -eq int2 — если первое целое число равно второму;-ne, -gt, -ge, -lt, -le — если не равно; больше, чем; больше или равно.
• Файл-r имя_файла — если файл существует и доступен для чтения;-w имя_файла — если файл существует и доступен для записи;-f, -d, -s — если файл или каталог существует и не пуст.
• Логические операции!, -a, -o — отрицание, логическое И, логическое ИЛИ.

Циклы

Тут циклы представлены в 3 различных формах:

• for i in {0..9}; do echo $i; done;
• for ((i=0;i<10;i++)){ echo $i;}  # аналогично С++;
• for var in list; do comand; done # в стиле Python.

Также такая схема может применяться при параллельной замене команд:

• for i in $(\ls -1 *.txt); do echo "$i"; done;
• for i in $(get_files.sh); do upload.sh "$i"; done.

Heredoc-синтаксис

Данный синтаксис позволяет создавать «встроенные» файлы.

Пример команды:

sh << END
echo "Hello World"
END <нажмите enter>

Использование heredoc позволяет:

• создавать многострочные сообщения с использованием cat;
• использовать переменные для подключения к созданным файлам, что позволяет, например, тестировать несколько конфигураций для программ.

В следующей части мы поговорим о сборке программ и утилитах терминала Linux.

Репозиторий проекта на GitHub

Самое важное — скриншоты:

Всего в списке 16 тем и их вариаций. Можно изменить тему или создать свой вариант. Параметры работы хранятся в файле settings.json. Их можно менять прямо в эмуляторе, нажав сочетание клавиш Ctrl+Shift+S.

Особенности eDEX-UI:

• Полнофункциональный эмулятор терминала с вкладками.
• Мониторинг системы и сети в реальном времени.
• Поддержка сенсорных дисплеев.
• Встроенное средство просмотра каталогов.
• Расширенные возможности для настройки внешнего вида и функциональности.
• Звуковые эффекты, созданные для максимального голливудского хакерского настроения.

Конечно, по мощности кастомизации eDEX-UI не сравнится со Zsh. Это, скорее, развлечение, которое помогает немного разнообразить работу.

Основы в терминале Linux

Ниже представлена схема типичной команды в терминале ОС Linux:

Следующие команды позволят вам лучше узнать систему:

• id — если вы хотите получить информацию касательно вашей учётной записи;
• w — чтобы понимать, кто на данный момент находится в системе (-f — для того, чтобы узнать, откуда был совершен вход);
• lsblk — если вы хотите открыть список блочных устройств хранения данных;
• lscpu — отображает информацию о процессорах;
• lstopo — предоставляет доступ к топологии аппаратного ПО отображения информации (требуются пакеты hwloc, hwloc-gui);
• free — показывает объём свободной и уже используемой памяти (используйте также free -g);
• lsb_release -a — если вы хотите получить информацию о распределении данных;

Примечание Для PS0: используйте Ctrl+C, чтобы деактивировать неактуальные команды. Что касается PS1: некоторые команды могут быть недоступны. Чтобы проверить, какие именно, введите which <cmdname>.

Работа с процессами

Для начала создайте список процессов по имени, идентификационного номеру процесса и т. д. (обычно используемый признак состояния aux).

Учитывайте особенности реализации программных потоков: POSIX, GNU и BSD, а также то, что они отличаются в работе и применении. Вышеуказанные реализации отличаются различными опциями: POSIX (-), GNU (–), BSD (без тире).

Индикаторы процесса в данной системе: top, htop, atop.

Понижайте приоритет процесса, используя nice. Например, следующим образом:

nice -n 19 tar cvzf archive.tgz large_dir

Чтобы аннулировать процесс, введите kill <pid>. Данная команда используется для завершения процессов-зомби или прекращения зависших сеансов.

Далее идут команды терминала Linux, которые спасут положение в затруднительных ситуациях:

• man nano — данная команда обеспечивает доступ к организованным по разделам справочным страницам. Итого на каждый раздел — одна страница. Например: 5 passwd #5й раздел;
• wget --help — весьма удобная команда, которая позволит быстро получить справку по синтаксису;
• info curl — позволяет получить информацию о команде (в данном случае о curl);
• /usr/share/doc — используйте в браузере. В случае проблемы, не забывайте, что обычно файлы README содержат информацию и примеры команд. Просмотр осуществляется с помощью браузера.

Работа с файлами

Следующие команды потребуются вам при работе с файлами разного типа и объёма:

• cat — для относительно коротких файлов:
  cat states.txt;
• less —  считывает текст не полностью, а небольшими фрагментами:
  less /etc/ntp.conf;
• more — для длинных файлов;
• tail -f — используется для просмотра растущего файла в окне интерактивного запуска кода.

Что вы можете сделать с двоичными файлами? На самом деле, вариантов не очень много:

• strings — команда выведет готовые к печати строки файла;
• od — позволит вам напечатать файл в восьмеричном формате;
• cmp — даёт возможность побайтно сравнивать файлы.

Если вам требуется сравнить текстовые файлы друг с другом, введите следующие команды:

• comm — отсортированные файлы будут строка за строкой;
• diff — позволяет построчно выявить различия. Эта команда используется наиболее часто в силу богатого набора опций.

Интернет в командной строке

При работе в терминале Linux с интернет-ресурсами применяйте следующие команды:

• curl — обычно используется для загрузок из интернета:
  curl -O http://www.gutenberg.org/files/4300/4300-0.txt
  curl ifconfig.me #быстро определяет ваш ID
• wget — аналогичная команда:
  wget http://www.gutenberg.org/files/4300/4300-0.txt
  wget https://kubernetespodcast.com/episodes/KPfGep{001..062}.mp3
• lynx — позволяет использовать достаточно удобный текстовый браузер. Под удобным в данном случае подразумевается, что вы:сможете наконец-то избавиться от постоянно всплывающих рекламных окон;решите проблему с медленным/зависающим интернетом, например: lynx text.npr.org;сможете иметь доступ к локальным html-страницам, например, к тем, что можно найти с помощью /usr/share/doc;
• w3m и links — дополнительные текстовые браузеры: w3m lite.cnn.com.

Горячие клавиши

Навигация

Ctrl+] <char> перемещает курсор на первое вхождение <char> вправо.

Ctrl+alt+] <char> перемещает курсор на первое вхождение <char> влево.

Удаление

Используйте Ctrl+Y, чтобы вставить обратно удалённые файлы.

Дополнительно

• Alt+. — если требуется вставить последний аргумент предыдущей команды;
• Alt-<N>-Alt-. — если требуется использовать N-й аргумент предыдущей команды;
• Ctrl+L — используется для очистки терминала;
• cd – — требуется для внесения изменений в предыдущий каталог;
• cd — перейти в домашний каталог;
• Ctrl+R — обзор истории;
• Ctrl+D — выход из терминала.

Подстановочные символы

Далее приведены подстановочные символы, которые расширяют объём команды терминала Linux во время её выполнения:

• *  позволяет расширить команду до любого количества символов:
  ls -lh /etc/*.conf — все элементы с расширением .conf;
• ? позволяет расширить команду до одного символа:
  ls -ld ? ?? ??? — сюда относятся элементы, длина которых составляет 1, 2 или 3 символа;
• ! — отрицание:
  ls -ld [!0-9]* — элементы, которые не начинаются с числовых значений;
• Экранирование и цитирование с целью предотвращения расширения:\ для экранирования подстановочного знака;' для цитирования подстановочного знака.

Хитрости, которые сэкономят время

Этот список полезных знаков позволит вам в разы ускорить работу с командами:

• !! — повторяет последнюю команду;
• !$ — позволяет изменить команду, сохраняя последний аргумент:cat states.txt — используется, если файл слишком длинный, чтобы поместиться на экране;less !$ — используется для повторного открытия в меньшем объёме;
• !* —позволяет изменить команду, сохраняя при этом все аргументы:head states.txt | grep '^Al' — при использовании должен быть хвост;tail !* — нет необходимости вводить остальную часть команды;
• >x.txt — используется для создания пустого файла или очистки существующего.
• lsof -P -i -n — позволит определить, к каким скриптам идёт обращение со стороны веб-сервера.

Потоки ввода-вывода терминала и переадресация

В терминале Linux работа осуществляется через три потока ввода-вывода: вход (stdin), выход (stdout) и ошибка (stderr).

Данные потоки представлены файловыми дескрипторами. Их также принято считать идентификаторами: 0 для stdin, 1 для stdout, 2 для stderr.

Использование угловых скобок применяется для перенаправления (переадресации) команд и файлов в них и из них:

• > для отправления в поток;
• < для получения из потока;
• >> для добавления в поток;
• << для непосредственного присоединения потока (используется в «heredoc»);
• <<< используется в «herestring» (на сегодняшний день не особо распространенная команда);
• & используется для записи в поток, например &1 для записи в stdout.

Дополнительные примеры переадресации приведены ниже:

• чтобы отправить stdout и stderr в один и тот же файл (короткий вариант bash v4+)
  pip install rtv > stdouterr.txt 2>&1 ac -pd &> stdouterr.txt;
• чтобы пропустить и stdout, и stderr:
  wget imgs.xkcd.com/comics/command_line_fu.png &> /dev/null
  /dev/null — это «нулевой» файл для удаления потоков. А ещё это паблик со смешными мемами для ITшников (ВК и Телеграм);
• чтение из stdin в качестве вывода команды:
  diff <(ls dirA) <(ls dirB);
• добавить stdout в файл журнала
  sudo yum -y update >> yum_update.log.

Каналы

Канал — это особая концепция системы Linux, которая автоматизирует перенаправление вывода одной команды посредством использования входных данных на следующую команду. Такое использование каналов приводит к эффективным комбинациям независимых команд. Ниже приведены некоторые из них:

• find .| less — позволяет прокручивать длинный список файлов постранично;
• head prose.txt | grep -i 'little' echo $PATH | tr ':' '\n' — переводит на новую строку;
• history | tail — отображает последние 10 команд;
• free -m|grep Mem:|awk '{print $4}' — отображает доступную память;
• du -s *|sort -n|tail — отображает 10 наиболее больших файлов/каталогов в pwd.

Расшифровка и отладка команд каналов

free -m|grep Mem:|awk '{print $4}'

Приведённая выше команда эквивалентна выполнению следующих 4 команд:

• free -m > tmp1.txt
• grep Mem: tmp1.txt > tmp2.txt
• awk '{print $4}' tmp2.txt
• rm tmp1.txt tmp2.txt

Сокращение этапов работы с командами зачастую является эффективным и более простым способом, который позволяет сэкономить время и упростить процесс. Например, вышеупомянутый конвейер можно уменьшить следующим образом:

free -m|awk '/Mem:/{print $4}'

Ниже приведено ещё несколько примеров каналов:

Чтобы получить доступ к pdf-файлам страниц справочника man:

man -t diff | ps2pdf - diffhelp.pdf 

Чтобы получить актуальные на сегодняшний день файлы:

ls -al --time-style=+%D | grep `date +%D`

Топ-10 самых часто используемых команд:

history | awk '{a[$2]++}END{for(i in a){print a[i] " " i}}' | sort -rn | head

Далее будут команды терминала Linux, которые принимают только литеральные аргументы.

Большинство команд получают входные данные, например, из stdin (канала) и файла:

wc < states.txt #ок 

wc states.txt #ок

Однако, существуют определённые исключения. Например, некоторые команды получают входные данные только из stdin, а не из файла:

tr 'N' 'n’ states.txt #работать не будет

tr 'N' 'n’ < states.txt #работать будет

Некоторые команды не получают входные данные ни из stdin, ни из файла. Например, следующие:

• echo < states.txt  — не подходит. Предполагается, что вы собираетесь распечатать содержимое файла;
• echo states.txt  — не подходит. Предполагается, что вы собираетесь распечатать содержимое файла;
• echo «Привет, как дела?» —  принимает литеральные аргументы.

cp, touch, rm, chmod относятся к другим примерам.

Xargs: когда канала недостаточно

Некоторые команды не считываются из стандартного входа, канала или файла. Им, как правило, требуются аргументы. Кроме того, некоторые системы ограничивают количество аргументов в командной строке.

Например команда rm tmpdir/*.log завершится ошибкой, если файлов .log будет слишком много.

Итак, команда xargs решает сразу обе проблемы: преобразует стандартный поток ввода команды в литеральные аргументы и разбивает args на допустимое число, многократно запуская команду.

Например, можно попробовать создать файлы с именами в somelist.txt:

xargs touch < somelist.txt

Параллельность в GNU

В данном случае речь идёт о параллельном выполнении задач из командной строки. В некотором смысле похожее на xargs. Что по итогу это даёт?

• Позволяет обрабатывать параметры как независимые аргументы команды и выполнять параллельно команду.
• Осуществляет синхронизированный вывод — как если бы команды в Linux-терминале выполнялись последовательно.
• Обеспечивает настраиваемое количество параллельных заданий.
• Хорошо подходит для выполнения простых команд или скриптов на вычислительных узлах для использования многоядерной архитектуры.

Необходимо учитывать, что, возможно, потребуется специальная установка, так как по умолчанию это недоступно.

Примеры параллельного выполнения в GNU:

Для того, чтобы найти все html-файлы и переместить их в каталог:

find . -имя '*.html' | parallel mv {} web/

Для того, чтобы удалить файл pict0000.jpg и заменить его на pict9999.jpg (здесь подразумевается одновременное выполнение 16 параллельных заданий):

seq -w 0 9999 | parallel -j 16 rm pict{}.jpg

Создание миниатюр для всех файлов изображений (требуется программное обеспечение imagemagick):

ls *.jpg | parallel convert -geometry 120 {} thumb_{}

Загрузка из списка URL-адресов и отчёт о неудачных загрузках:

cat urlfile | parallel "wget {} 2>errors.txt"

Для дополнительной информации можно ознакомиться с книгой GNU parallel 2018.

Классические инструменты для программирования: find, grep, awk, sed

Особенности find

Путь: может иметь несколько вариантов, например .find /usr /opt -iname "*.so".

Критерии:

• -name,  -iname, -type (f, d, l), -inum <Н>;
• -user<uname>, -group<gname>,  -perm (ugo+/-rwx);
• -size +x[c], -empty, -newer <fname>;
• -atime +x, -amin +x, -mmin -x, -mtime -x;
• критерии могут быть объединены с логическими и (- а) и или (-о).

Действие:

• -print — действие по умолчанию — отображать;
• -ls — выполните команду ls -lids для каждого результирующего файла;
• -exec cmd — выполнить команду;
• -ok cmd — используется как exec, за исключением того, что команда выполняется после подтверждения пользователем.

Примеры команд для поиска:

• find . -type f -iname "*.txt" — xt-файлы в curdir;
• find . -maxdepth 1 — эквивалент ls;
• find ./somedir -type f -size +512M -print — все файлы размером более 512M в ./somedir;
• find /usr/bin ! -type l — не символьная ссылка в /usr/bin;
• find $HOME -type f -atime +365 -exec rm {} + — позволяет удалить все файлы, которые не были доступны в течение года;
• find . \( -name "*.c" -o -name "*.h" \) — все файлы, имеющие расширение .c или .h.

Grep: поиск шаблонов в тексте

Grep изначально представлял собой команду global regular expression print или «g/re/p» в текстовом редакторе ed. Данная функция оказалась настолько полезной, что была разработана отдельная утилита под названием grep.

Grep позволяет извлекать строки из текста, который соответствует определённому шаблону. Также можно находить строки с определённым рисунком в большом объёме текста. Сюда относится:

• поиск в списке процессов;
• выборочная проверка большого количества файлов на наличие паттерна;
• исключение некоторого фрагмента текста из большого текстового объёма.

Полезные опции grep:

• -i: игнорировать случай;
• -n: отображение номеров строк вместе со строками;
• -v: инвертированный вывод. Отберутся те строки, которые не совпадают с регулярным выражением;
• -c: печать конкретного количества совпадающих строк;
• -A<n>: включение n-строк после совпадения;
• -B<n>: включение n-строк перед совпадением;
• -o: печать только совпадающего выражения (а не всей строки);
• -E: позволяет использовать «расширенные» регулярные выражения.

Регулярные выражения в терминале Linux

Регулярные выражения (regex) — это язык описания шаблона строк.

Точка «.» является специальным символом, который будет соответствовать любому символу (кроме новой строки). Например, b.t будет соответствовать bat, bbt, b%t и так далее, но при этом сюда не подойдут bt, xbt.

Класс символов: один из элементов в квадратных скобках [ ] будет совпадать, при этом допускаются последовательности:

[Cc]at — соотносится с Cat и cat.
[f-h]ate — соотносится с fate, gate, hate.

Символ «^» внутри класса символов означает отрицание, например:

b[^eo]at будет соответствовать brat, но не boat или beat.

Расширенные выражения запускаются с помощью egrep или grep -E, при этом:

«*» соответствует нулю или более, «+» соответствует одному или более, «?» соответствует нулю или разовому появлению предыдущего символа, например:

[hc]+at будет соответствовать hat, cat, hhat, chat, cchhat  и т. д.

«|» является разделителем для нескольких шаблонов, а «(» и «)» позволяют группировать шаблоны, например:

([cC]at)|([dD]og) будет соответствовать cat, Cat, dog и Dog.

«{}» может использоваться для указания диапазона повторения, например:

ba{2,4}t будет соответствовать baat, baaat и baaaat, но не bat.

Примеры grep

Строки, которые заканчиваются двумя гласными:

grep '[aeiou][aeiou]$' prose.txt

Проверка 5 строк до и после строки, где встречается «little»:

grep -A5 -B5 'little' prose.txt 

Комментируйте команды и выполняйте поиск последних использованных в истории:

some -hard 'to' \remember --complex=command #success 

history | grep '#success'

Удостоверьтесь, что вы правильно написали все команды в терминале Linux и избежали возможных двусмысленностей:

grep -E '^ambig(uou|ou|ouo)s$' /usr/share/dict/linux.words

find + grep — ещё одна очень полезная комбинация вам на заметку.

find . -iname "*.py" -exec grep 'add[_-]item' {} +

awk: извлечение и использование данных

awk — это специальный программируемый фильтр, который считывает и обрабатывает входные данные строку за строкой. Он располагает широким спектром встроенных функций:

• явные поля ($1 ... $NF) и управление записями;
• функции (математические, построчная обработка и т. д.);
• синтаксический анализ и фильтрация регулярных выражений.

Этот фильтр также позволяет работать с переменными, циклы, условными обозначениями, массивами ассоциативных элементов, пользовательскими функциями.

Анатомия awk

В большинстве случае используется в качестве однострочной идиомы следующего вида:

awk ‘awk_prog’ file.txt

или:

command | awk ‘awk_prog’

Где awk_prog это:

• BEGIN {действие} — выполнить определённое действие один раз перед чтением и обработкой входных данных;
• шаблон или условие {действие} — выполнить действие для каждой строки входных файлов и/или stdin, которые удовлетворяют шаблону или условию;
• END {действие} — выполнить определённое действие один раз после прочтения и обработки входных данных.

В команде нужно указывать хотя бы один из вышеперечисленных разделов.

Шаблоны, условия и действия

Шаблон — это регулярное выражение, которое соответствует (или не соответствует) входной строке, например:

• /New/ — любая строка, содержащая New;
• /^[0-9]+ / — строка, начинающаяся с цифр;
• /(POST|PUT|DELETE)/ — строка, которая содержит определённые слова;

Условие — это булевое выражение, которое выбирает входные строки, например:

$3>1 — строки, для которых третье поле больше, чем 1

Действие — это последовательность операций, например:

• {print $1, $NF} — печать первого и последнего поля/столбца;
• {print log($2)} — получить журнал второго поля/столбца;
• {for (i=1;i<x;i++){sum += $3}} — получить суммарное значение.

При этом пользовательские функции могут быть определены и указаны в любом блоке действий.

Полезные однострочные awk-команды терминала Linux

• awk '{print $1}' states.txt;
• awk '/New/{print $1}' states.txt;
• awk NF > 0 prose.txt — печать строк, содержащих хотя бы одно поле (пропустить пустые строки);
• awk '{print NF, $0}' states.txt — поля в каждой строке и в самой строке;
• awk '{длина печати($0)}' states.txt — символы в каждой строке;
• awk 'BEGIN{print substr("New York",5)}' #York;

sed: синтаксический анализ и преобразование текста

sed — это специальный потоковый редактор, который ищет шаблон в тексте и применяет к нему необходимые изменения.

Данный редактор может быть в том числе пакетным или неинтерактивным редактором. Его функции заключаются в том, что он считывает из файла или из stdin (при наличии каналов) по одной строке за раз. При этом исходный входной файл остается неизменным (так как sed также является фильтром), после чего результаты преобразуются в стандартные выходные данные.

Опции sed:

• адрес — может быть номером строки, диапазоном или совпадением. Может быть оставлен по умолчанию, либо являться файлом целиком;
• команда — s:substitute (замена), p:print (печать), d:delete (удалить), a:append (добавить), i:insert (вставить), q:quit (завершить);
• regex — регулярные выражения;
• знак-разграничитель — в данном случае необязательно использовать «/», можно также применять  «|» или «:» или любой другой символ;
• модификатор — его роль может выполнять число n, которое применяет команду к N-му вхождению, g применяет ко всей строке в целом;
• общие признаки состояния sed — -n (без печати), -e (несколько операций), -f (чтение sed из файла), -i (на месте редактирования).

Полезные примеры sed:

• sed -n '5,9 p' states.txt — печать строк с 5 по 9;
• sed '20,30 s|New|Old|1' states.txt — влияет на 1-е вхождение в стр. 20–30;
• sed -n '$p' states.txt — печать последней строки;
• sed '1,3 d' states.txt — удалить первые 3 строки;
• sed '/^$/d' states.txt — удалить все пустые строки;
• sed '/York/!s/New/Old/' states.txt — заменить всё, кроме  York;
• kubectl -n kube-system get configmap/kube-dns -o yaml | sed 's/8.8.8.8/1.1.1.1/' | kubectl replace -f -.

В следующей части разберём основные инструменты терминала Linux.

Примечание Для macOS сначала понадобится установить менеджер пакетов Homebrew.

sl

Сначала установим:

Команда sl призывает паровоз, проезжающий у вас в терминале справа налево.

fortune

Позвольте компьютеру предсказать вашу судьбу. fortuneвыводит в терминале цитаты, шутки и даже стихи.

Детальная информация по применению команды есть на сайте fortune.

cowsay

После ввода $ cowsay hello в терминале выйдет корова и «произнесёт» введённые слова (в данном случае hello).

А если соединить её с командой fortune, то вашу судьбу расскажет вам именно корова:

toilet

Эта команда превращает введённый текст в ASCII-графику любых цветов:

Желающим больше узнать о том, как пользоваться toilet (pun intended), советуем прочитать небольшое руководство.

oneko

Пожалуй, самая прикольная команда в списке, но только для Linux. После ввода на экране появляется котик, который будет гнаться за курсором.

А если не любите котов — можно поменять на собачку.

xeyes

Приложение идёт в комплекте с графической системой x11. Эти глаза не только для забавы: они помогают обнаружить маленький курсор на большом экране.

cmatrix

cmatrix выводит на экране падающий текст, прямо как в фильме «Матрица». Исходный код доступен на GitHub.

Напишите в комментариях, какие ещё прикольные команды терминалов Linux и macOS вы знаете! И посоветуйте, пожалуйста, котиков под MacOS. Очень нужно!

PowerShell — это объектно-ориентированный программный движок и скриптовый язык с интерфейсом командной строки, предоставляющий широкие возможности для конфигурирования операционных систем семейства MS Windows. Он предлагает как чисто консольный интерфейс, так и полноценную среду разработки PowerShell ISE (Integrated Scripting Environment, встроенное скриптовое окружение) для скриптов.

Для запуска интерфейса командной строки введите powershell в меню «Выполнить» (WinKey + R). PowerShell ISE запускается с помощью команды «PowerShell ISE» в том же меню. ISE более предпочтительно, так как предоставляет более широкие возможности разработчику благодаря подсветке синтаксиса, функции автозаполнения кода и другим особенностям, присущим многим «большим» IDE.

Написание и запуск скриптов

Скрипты сохраняются в виде файлов с расширением .ps1. Несмотря на то, что PowerShell уже давно является нативной частью ОС Windows, вы не сможете запустить его скрипты простым двойным щелчком. Для этого надо кликнуть правой кнопкой по скрипту и выбрать «Запустить в PowerShell».

Также существуют системные политики, ограничивающие выполнение скриптов. Можно проверить текущие параметры политики, введя команду Get-ExecutionPolicy. Результатом будет одно из следующих значений:

• Restricted — выполнение скриптов запрещено. Стандартная конфигурация;
• AllSigned — можно запускать скрипты, подписанные доверенным разработчиком; перед запуском скрипта PowerShell запросит у вас подтверждение;
• RemoteSigned — можно запускать собственные скрипты или те, что подписаны доверенным разработчиком;
• Unrestricted — можно запускать любые скрипты.

Для начала работы необходимо изменить настройку политики запуска на RemoteSigned, используя команду Set-ExecutionPolicy:

Командлеты

Командлеты — это команды с предопределённой функцией, подобные условным операторам в языках программирования. У них есть несколько ключевых особенностей:

• существуют системные, пользовательские и опциональные командлеты;
• результатом выполнения командлета будет объект или массив объектов;
• командлеты могут обрабатывать данные и передавать их другим командлетам с помощью конвейеров;
• командлеты нечувствительны к регистру, так что нет никакой разницы между Get-ADUser, get-aduser и gEt-AdUsEr;
• в качестве разделителя используется символ ; .

Каждый командлет содержит в себе глагол и существительное, разделяемые дефисом. Например:

• Get-Process — отобразить текущие процессы, запущенные на компьютере;
• Get-Service — отобразить список служб и их статус;
• Get-Content — отобразить содержимое указанного файла, например Get-Content C:\Windows\System32\drivers\etc\hosts.

При необходимости список всех доступных командлетов можно вывести с помощью Get-Help-Category. Запомните эту команду — она крайне важна для тех, кто изучает PowerShell с нуля, так как помогает быстрее начать ориентироваться в его возможностях.

Также можно создавать свои командлеты, но эта тема выходит за рамки нашего руководства по PowerShell для начинающих.

Параметры

У каждого командлета есть несколько параметров, определяющих его работу. PowerShell ISE автоматически предлагает все доступные параметры с отображением их типа. Например, Get-Service-NameW* выводит список служб, у которых имя начинается с W. Если вы забыли, какие параметры у введённого командлета, воспользуйтесь Get-Member.

Например, Get-Process | Get-Member:

Если вы не нашли того, что нужно, или не уверены в том, как правильно задаются параметры, можно даже запросить примеры с помощью параметра -Examples. Встроенное руководство по PowerShell покажет, для чего используются разные параметры:

Некоторые командлеты также могут вызываться с помощью алиасов. Например, вместо Get-Help можно просто написать Help — эта команда также вызовет встроенное руководство по PowerShell.

При написании больших скриптов или коллективной разработке можно пользоваться комментариями. Каждый комментарий начинается с символа #, а блок комментариев ограничивается комбинациями символов <# и #> в начале и в конце соответственно.

Конвейер

PowerShell позволяет осуществлять обмен данными между командлетами с помощью конвейера. Например:

• GetService | SortObject -property Status — сортировка запущенных служб по статусу;
• "Hello World!" | Out-File C:\ps\test.txt — запись текста в файл.

Можно использовать несколько конвейеров. Например, следующий скрипт выводит список имён всех служб за исключением остановленных:

Get-Service | WHERE {$_.status -eq "Running"} | SELECT displayname

Заключение

Это руководство для тех, кто изучает PowerShell с нуля, поэтому здесь раскрыты только базовые понятия и приёмы. После его прочтения у вас должно появиться представление о том, что собой представляет этот инструмент. Также мы рассмотрели варианты изменения политики выполнения скриптов, что такое командлет, как они обмениваются данными с помощью конвейера и как получить свойства нужного объекта. Помните, что в случае затруднений можно воспользоваться командлетом Get-Help – это одна из самых важных команд для начинающих изучать PowerShell.

Если пользуетесь не только Windows, но и Linux, посмотрите статью про команды терминала Linux для начинающих. В ней рассказывается про работу с процессами и файлами, навигацию, каналы, xargs, awk и grep.

Использование табов для автодополнения

Когда вы начинаете что-то вводить в терминале, вы можете нажать Tab и вам будут предложены возможные варианты продолжения, которые начинаются с введённой вами строки.

Например, если вы хотите скопировать файл с именем file1.txt, вы можете ввести только cp f, нажать Tab и увидеть возможные варианты.

Также Tab можно использовать для автодополнения команд.

Возвращение в последнюю рабочую директорию

Представьте ситуацию, когда вы спустились глубоко по иерархии папок, затем перешли в папку, которая находится в совершенно другом месте, а потом поняли, что вам нужно вернуться обратно. В таком случае вам всего лишь нужно ввести следующую команду:

cd -

Она вернёт вас в последнюю рабочую директорию и вам не придётся вручную вводить длинный путь.

Примечание Последняя рабочая директория хранится в переменной окружения OLDPWD; вы можете использовать эту переменную для своих целей (попробуйте echo $OLDPWD) или даже подложить команде cd - другой путь (OLDPWD=/usr/bin cd -).

Возвращение в домашнюю директорию

Это слишком очевидно. Чтобы вернуться в домашнюю директорию из любого места, вы можете использовать следующую команду:

cd ~

А вообще, можно ограничиться командой cd и получить тот же результат. В большинстве современных дистрибутивов Linux эта команда должна сработать.

Вывести содержимое каталога

Вы, наверное, догадываетесь, какая команда нужна для отображения содержимого каталога. Всем известно, что для этого можно использовать ls -l.

Однако не все знают, что можно обойтись командой ll.

Конечно, всё зависит от дистрибутива, но в большинстве случаев вы сможете воспользоваться этой командой.

Примечание На самом деле, ll является не отдельной командой, а псевдонимом для ls -l.

Запуск нескольких команд за раз

Допустим, вам нужно запустить несколько команд одну за другой. Что вы будете делать? Подождёте завершения первой команды, а затем запустите следующую?

Вместо этого вы можете использовать разделитель ;. Таким образом можно запустить несколько команд на одной строке. Вам не нужно ждать, пока какая-то из команд завершит свою работу, чтобы запустить следующую.

command_1; command_2; command_3

Примечание При запуске команд таким образом, они выполняются не параллельно, а последовательно. Если вам нужен именно первый вариант, то используйте конструкцию (command_1 &); (command_2 &).

Запуск нескольких команд за раз при условии, что предыдущая команда была выполнена успешно

Как запускать несколько команд за раз вы уже знаете. А как убедиться, что команды не завершились с ошибкой?

Допустим, вы хотите собрать код и запустить его в случае успешной сборки.

В этом случае вы можете использовать разделитель &&, который запускает следующую команду только при условии, что предыдущая успешно завершилась.

command_1 && command_2

Как пример использования && можно привести команду sudo apt update && sudo apt upgrade для обновления системы через терминал на системах, основанных на Debian.

Время убивать

Есть несколько способов «убить» программу. Команда killall сделает это по имени, а kill требуется номер процесса. Например, killall chrome убьёт все процессы chrome. Также можно послать любому процессу сигнал прерывания (как Ctrl+C) с помощью kill -INT <номер процесса>.

Пора остановиться

Чтобы поставить работающую команду на паузу нажмите комбинацию Ctrl+Z, а чтобы продолжить — %.

Простой поиск и использование предыдущих команд

Представим ситуацию, когда вы воспользовались какой-то командой пару часов назад и снова хотите её использовать, но не можете вспомнить название.

Здесь поможет обратный поиск. С его помощью можно по заданному условию найти команду в истории.

Просто нажмите комбинацию Ctrl+R и введите часть команды. Затем вам будут показаны команды из истории, которые удовлетворяют заданному условию.

Ctrl+R <условие>

По умолчанию показывается только один результат. Чтобы увидеть больше результатов, нужно повторно нажать Ctrl+R. Чтобы выйти из поиска, нажмите Ctrl+C.

Учтите, что в некоторых оболочках Bash можно использовать Page Up и Page Down с условием поиска для автодополнения команды.

Выводим консоль из зависания после Ctrl+S

Многие привыкли использовать комбинацию Ctrl+S для сохранения. Однако после её использования в терминале, он часто зависает. Чтобы вернуть его в нормальное состояние, нажмите комбинацию Ctrl+Q.

Переход к началу или концу строки

Допустим, вы вводите длинную команду и вдруг понимаете, что вам нужно что-то изменить в её начале. Чтобы попасть в начало или конец строки вы можете несколько раз нажать клавишу стрелки влево/вправо или Home/End. А можете нажать Ctrl+A или Ctrl+E.

Чтение лог-файла в реальном времени

В ситуациях, когда вам нужно анализировать логи при запущенном приложении, можно использовать команду tail с флагом -f.

tail -f <путь к лог-файлу>

Также можно использовать регулярные выражения в grep, чтобы выводить только нужные строки:

tail -f <путь к лог-файлу> | grep <регулярное выражение>

Кроме того, вы можете использовать флаг -F, чтобы tail продолжал работу даже в случае удаления лог-файла. Таким образом, когда лог-файл снова будет создан, tail продолжит логирование.

Если вы хотите просматривать системный лог в реальном времени, воспользуйтесь аналогичной опцией -f команды journalctl:

journalctl -f

Чтение сжатых логов без извлечения

Серверные логи обычно сжимаются gzip’ом для сохранения дискового пространства. Это становится проблемой для разработчика или сисадмина, который анализирует эти логи. Возможно, вам придётся скопировать архив в другое место, а затем извлечь его, так как не всегда есть права на извлечение логов.

К счастью, в таких ситуациях всегда спасут z-команды. Они являются альтернативами обычных команд, которые используются для работы с логами вроде less, cat, grep.

Поэтому вы можете воспользоваться zless, zcat, zgrep и т.д., даже не извлекая логи.

Использование less для чтения файлов

Команда cat не всегда лучший выбор для отображения содержимого файла, особенно если он большой — cat выведет сразу весь файл.

Вы можете использовать Vi, Vim или другой терминальный текстовый редактор, но если вам просто нужно прочитать файл, то команда less подойдёт гораздо лучше.

less <путь к файлу>

В less можно искать нужную подстроку, листать по страницам, отображать номера строк и не только. А ещё less может читать не только текстовые документы, но ещё и архивы и другие типы файлов.

Использование аргумента предыдущей команды с помощью !$

Использование аргумента предыдущей команды может пригодиться во многих ситуациях. Например, вы создали директорию и вам нужно сразу в неё перейти.

Ещё лучше использовать alt+. . Множественное нажатие точки позволяет выбрать аргумент одной из нескольких предыдущих команд.

Использование предыдущей команды в текущей с помощью !!

С помощью !! можно вызвать даже всю предыдущую команду. Это особенно полезно в тех случаях, когда оказывается, что для запуска команды нужны рут-привилегии.

Быстрое sudo !! позволяет сэкономить немного времени.

Использование alias для исправления опечаток

Вероятно, вы уже знаете, зачем нужна команда alias. Её можно приспособить для исправления опечаток.

Представим, что вместо grep вы часто пишете gerp. Если вы установите псевдоним следующим образом, то вам не придётся больше перепечатывать команду:

alias gerp=grep

К слову, для исправления опечаток не обязательно использовать псевдонимы — утилита The Fuck сама исправит предыдущую команду.

Перезагружаемся

Чтобы выключить компьютер из терминала, введите poweroff, а для перезагрузки — reboot.

Вставка скопированного текста в терминал

Здесь не всё однозначно, так как между дистрибутивами Linux и терминалами есть определённая разница. Но в общем случае вставить текст можно одним из следующих способов:

• Скопируйте текст и кликните правую кнопку мыши для вставки (работает в Putty и других Windows-клиентах SSH);
• Скопируйте текст и нажмите среднюю кнопку мыши (колёсико) для вставки;
• Ctrl+Shift+C для копирования и Ctrl+Shift+V для вставки;
• В некоторых эмуляторах терминала работает привычная комбинация Ctrl+V.

Завершить работающий процесс/команду

Возможно, это слишком очевидно. Если у вас запущена команда, работу которой вы хотите завершить, просто нажмите Ctrl+C и команде будет отправлен сигнал прерывания (SIGINT). А если вы хотите быстро покинуть терминал, нажмите комбинацию Ctrl+D, которая для баша и других интерактивных программ означает окончание ввода.

Команда для скриптов или команд, которым нужен интерактивный ответ

Команда yes может пригодиться, если какой-то скрипт/команда требует взаимодействия с пользователем, которое заключается только в нажатии Y каждый раз.

yes | <команда или скрипт>

Очистить файл, не удаляя его

Если вам нужно только очистить содержимое файла, а не удалить его, вы можете сделать это следующим образом:

> имя_файла

Узнать, есть ли файл с определённым текстом

В терминале Linux можно искать разными способами. Если вам нужно узнать, есть ли файл(ы) с определённым текстом, можете воспользоваться этой командой:

grep -Pri <текст_для_поиска> <путь_к_директории>

Получаем справку для каждой команды

Почти все команды/инструменты командной строки содержат справку с указаниями по работе. Чтобы получить справку, воспользуйтесь этой командой:

<команда> --help

Кроме того, порой можно получить более подробную справку с помощью команды man <команда>.

Получаем историю команд

Если вы хотите взглянуть на все команды, которые вы когда-либо запускали, введите history. Если вам нужен не полный список, а только несколько последних, воспользуйтесь командой fc -l.

Быстро запускаем команды из истории

При получении команд одним из вышеуказанных способов рядом с каждой командой находится её номер в истории. Чтобы быстро запустить команду из этого списка просто введите !<номер команды>.

Выполняем команду в обход истории

Если вы хотите выполнить команду так, чтобы она не сохранилась в истории, просто введите пробел перед командой.

Поднимаем простой HTTP-сервер

Чтобы поднять сервер и сделать доступной текущую директорию по адресу http://localhost:8000/ введите python3 -m http.server.

Пишем длинные команды с удобством

Если зажать Ctrl, а затем нажать по очереди X и E, то откроется текстовый редактор, в котором можно будет спокойно записать длинную команду, а после выхода из него — выполнить её.

Восстанавливаем терминал

Если вы вывели в терминал сырые бинарные данные или ещё что-то, что выводить не стоило, то убрать увиденную абракадабру позволит команда reset.

Информация о файловых системах

Чтобы получить информацию о текущих смонтированных файловых системах с удобным оформлением по столбцам, введите команду mount | column -t.

Также вы можете воспользоваться командой findmnt, которая отображает информацию в виде красивого дерева и сама форматирует столбцы, а также может найти нужную файловую систему:

Деревья процессов

Есть инструмент pstree, который умеет рисовать красивые деревья процессов. Например:

Экран блокировки

Чтобы заблокировать экран, используйте команду $ loginctl lock-session.

Для разблокировки экрана введите команду $ loginctl unlock-session. Конечно, вряд ли вы сможете использовать терминал при заблокированном экране, однако вы можете пойти обходными путями. Например, можно создать задачу для разблокировки через какое-то время.

Супершелл

Чтобы запустить шелл от имени суперпользователя, можно воспользоваться командой sudo -s. Во многих источниках можно встретить вариант sudo su, который тоже работает, но медленнее, так как запускает лишний процесс.

Быстро открываем файлы в программе по умолчанию

Команда xdg-open позволяет открыть любой файл в соответствующей программе. Например, xdg-open file.txt откроет файл в текстовом редакторе по умолчанию.

Статус системных сервисов

Чтобы посмотреть статус системных сервисов, введите команду systemctl status или systemctl status <имя сервиса>, если вас интересует конкретный сервис.

Быстро ищем файлы

Если вам нужно найти файл, но вы не знаете, где конкретно он находится, можно воспользоваться командой find. Например:

Используем вывод одной команды в качестве аргумента другой

Чтобы использовать вывод одной команды в качестве аргумента другой, используйте конструкцию команда-2 $(команда-1). Например:

Календарь

Команда cal может нарисовать календарь на текущий месяц (и даже выделить текущее число) или на другой промежуток:

Планировщик задач

Чтобы выполнить какую-то команду в нужное вам время, воспользуйтесь at:

echo команда-для-выполнения | at время_выполнения

Учтите, что эта команда может отсутствовать на вашей системе, и вам придётся установить её самостоятельно.

Получаем свой внешний IP

Чтобы получить свой внешний IP-адрес введите curl ifconfig.me или curl ipinfo.io/ip. Возможно, сначала вам придётся установить curl.

Прогноз погоды

Введите команду curl wttr.in/<нужный город> и получите красивую таблицу с прогнозом погоды:

Получаем таблицу ASCII

Чтобы получить быстрый доступ к таблице ASCII просто введите man ascii.

Простой калькулятор

Небольшие выражения можно вычислять прямо в терминале. Это можно сделать либо с помощью конструкции echo <выражение> | bc, либо echo $((<выражение>)). Например:

Выполняем команду в другой директории и возвращаемся обратно

Если вы хотите выполнить команду в другой директории, но при это не хотите покидать текущую, то просто оберните команду скобками. Например, (cd /tmp && ls). Здесь скобки запускают подшелл (subshell), внутри которого мы и выполняем cd.

Узнаём, какие библиотеки нужны команде/библиотеке

Чтобы узнать, какие динамические библиотеки нужны программе или библиотеке и как они будут разрешены при запуске, используйте команду ldd:

Узнаём, что лежит внутри файла

Чтобы определить тип содержимого, находящегося в файле, используйте команду file:

Многократный запуск команды

Чтобы запускать команду каждые несколько секунд (по умолчанию две) и смотреть на её вывод, воспользуйтесь командой watch <команда>.

Время на запуск команды

Чтобы узнать, сколько времени уходит на запуск команды, используйте time <команда>.

Системные вызовы команды

Чтобы узнать, какие системные вызовы совершает программа, введите strace <команда>.

Запоминаем набираемую команду

Если вы набираете какую-то команду и вам по какой-то причине нужно прерваться и, например, ввести другую команду, вы можете «запомнить» то, что вы ввели комбинацией Ctrl+U, а затем вставить комбинацией Ctrl+Y.

Выкачиваем сайты

Чтобы выкачать сайт используйте команду wget --random-wait -r -p -e robots=off -U mozilla <адрес сайта>.

Проводим туннели

С помощью команды ssh -N -L 2001:localhost:80 somemachine можно создать туннель от 80 порта на удалённой машине до 2001 на локальной.

А какие полезные команды знаете вы? Делитесь в комментариях.

Зачем Redis еще один CLI-клиент?

Разработчики утверждают, что работа с защищенными серверами Redis с помощью клиента командной строки по умолчанию — redis-cli — доставляет определенные неудобства. Для каждого соединения необходимо настроить утилиту Stunnel, которая обеспечивает безопасное подключение, с ее помощью направить сервер на локальный порт и, наконец, подключиться к этому порту с помощью redis-cli.

С одним сервером это не такая большая проблема, но когда постоянно обращаешься к 4 или 5 серверам Redis, приходится держать в голове все локальные порты для каждого сервера. В дополнение к мороке с управлением сертификатами для проверки серверов, это все становится немного утомительным.

Авторы Redli попробовали решить проблему с помощью скрипта stunredis для автоматизированной настройки туннелей по запросу, но он не всегда работал корректно.

Что умеет Redli?

Специалисты IBM написали CLI-клиент на языке программирования Go с использованием обработчика флагов командной строки Redigo, интерактивной библиотеки и JSON из документации Redis. Среди ключевых возможностей Redli:

• схемы rediss: в унифицированных идентификаторах ресурса (URI) для полного указания соединения с БД Redis;
• флаг --tls для активации протоколов TLS/SSL, а также -h, -p и -a, которые аналогичны таковым в redis-cli;
• флаг --long, показывающий полное имя сервера и порт в строке;
• help с помощью по каждой команде;
• завершение вкладки для команд;
• история каждого сеанса;
• все поддерживаемые Redis команды, в том числе и будущие;
• немедленное выполнение операций Redis, написанных сразу после команды Redli.

По сообщениям разработчиков, из-за принципов работы интерфейса он пока не поддерживает особенные флаги отладки и отчетов --stat, --latency и --bigkeys. Это будет исправлено в последующих обновлениях.

Все установочные файлы доступны на GitHub-странице проекта, а распространяются они под лицензией Apache 2.

В феврале 2017 года из-за проблем с кластерами Redis система управления версиями GitLab вышла из строя на полчаса после неудачной попытки обновления.

PowerShell разработана специально для администраторов гибридных облачных систем и пользователей, желающих автоматизировать управление операционной системой и ее программами.

Ключевые особенности PowerShell

Самодостаточные пакеты в формате snap работают нативно на популярных Linux-дистрибутивах, обновляются автоматически и предоставляют высокий уровень безопасности для пользователей. По словам авторов проекта, snap-версия устанавливается проще, чем классические приложения, получает прямые обновления от Microsoft и обеспечивает гибкость при работе с несколькими ОС.

Microsoft также опубликовала превью-версию программы для всех желающих опробовать новые функции первыми. Она распространяется как отдельный пакет, поэтому ей можно пользоваться наряду со стабильным релизом. Подробнее узнать о PowerShell для Linux можно в блоге компании.

Загрузить обе версии можно с помощью команд snap install powershell –classic и snap install powershell-preview –classic.

В версию Linux-дистрибутива Ubuntu 18.04 LTS была полностью интегрирована поддержка пакетов в формате snap. Каталог snap-приложений в официальном магазине пополнился 3 тысячами пакетов популярных программ.

Все скрипты из набора Bash-Snippets были полностью протестированы на MacOS и Linux. Большинство этих скриптов было протестировано на Windows 10. Скрипты не работают с Cygwin или Mysys2.

Установка

Для MacOS через homebrew, для Linux через linuxbrew:

Все скрипты:
brew install bash-snippets # installs all tools

Отдельные скрипты:
brew install bash-snippets --without-all-tools --with-newton --with-weather

Установка через Git:

Для начала необходимо клонировать репозиторий:

git clone https://github.com/alexanderepstein/Bash-Snippets

Затем нужно перейти в клонированную директорию:

cd Bash-Snippets

Запустить скрипт управляемой установки, это позволит выбрать какие скрипты устанавливать:

./install.sh

Установить все скрипты:

./install.sh all

Установить отдельный скрипт, указав его имя:

./install.sh stocks

Скрипты

Youtube-Viewer

Дает возможность запустить просмотр видео прямо из терминала. Можно использовать ytview -c [channel name] чтобы просмотреть недавние видео с этого канала. Или использовать ytview -s [videoToSearch] или просто ytview [videoToSearch] для поиска.

Weather

Показывает прогноз погоды на 3 дня. Если запустить команду без аргументов, погода будет показана исходя из геопозиции IP-адреса.

Можно получить более точный прогноз погоды, передав аргументами город и страну. Также эта команда может показывать текущую фазу луны.

Meme

Моментальный генератор мемов.

Qrify

Переводит любую текстовую строку в QR-код. Может быть полезно для передачи ссылок или сохранения текстовых команд в телефон.

Short

Раскрывает полный вариант сокращенной ссылки.

Cheat

Это самый быстрый способ найти необходимые параметры команд или куски кода. Поддерживает различные языки и множество bash-команд.

Cloudup

Инструмент, который облегчает резервное копирование репозиториев Github на Bitbucket.  Кроме того, вы можете сделать резервную копию хранилищ любого пользователя Github на ваш Bitbucket.

Используя флаг -a можно скопировать все репозитории. Запустив команду без флагов можно копировать репозитории выборочно.

Crypt

Обертка для openssl, позволяющая быстро шифровать и расшифровывать файлы.

crypt -e [original file] [encrypted file] # encrypts filescrypt -d [encrypted file] [output file] # decrypts files

Детали шифрования:

• использует алгоритм шифрования AES 256;
• cоль создается перед созданием ключа;
• пароль не отображается в открытом виде, когда OpenSSL генерирует ключ на основе пароля;
• зашифрованные данные кодируются в Base64, чтобы их можно было использовать как обычный текст в электронном письме. (Обычно не требуется, если данные прикреплены как файл)

ВНИМАНИЕ: Используйте разные имена файлов, иначе ваш файл будет перезаписан!

Cryptocurrency

Это конвертер криптовалют, который использует обменные курсы в реальном времени.

В примере показано, что после запуска cryptocurrency, скрипт предлагает ввести значения для трех аргументов:

Базовая валюта – BTC
Валюта назначения – доллар США
Сумма – 12,35
Если вы хотите обойти управляемый ввод, вы можете передать 3 аргумента с командой:

cryptocurrency [базовая валюта] [валюта назначения] [сумма обмена]Допустимым вариантом использования будет:

cryptocurrency BTC USD 12,35

Currency

Конвертер валют. Использует обменные курсы в реальном времени.

Если вы не хотите использовать интерактивный ввод, вы можете передать 3 аргумента с командой:

currency [базовая валюта] [валюта назначения] [сумма обмена]

Geo

Предоставляет данные о WAN IP, LAN IP, IP-адрес роутера, DNS, MAC-адрес и IP по геолокации.

Lyrics

Находит текст для указанной песни.

Movies

Быстрый поиск информации о фильме.

Newton

Выполняет любые вычисления вплоть до символьных.

Siteciphers

С помощью команды siteciphers можно узнать, какие алгоритмы шифрования и хеширования включены или отключены для указанного сайта. Некоторые алгоритмы считаются уязвимыми, поэтому при смене конфигурации компьютера и ПО может быть полезно знать отключен ли он на самом деле.

Отдельные браузеры (например старые версии IE) не поддерживают некоторые новые криптографические алгоритмы. В такой ситуации список поддерживаемых алгоритмов поможет сделать необходимые настройки.

Stocks

Предоставляет информацию о конкретном тикере акций.

Taste

Движок предлагает 3 рекомендации, исходя из указанного элемента. Доступные темы: шоу, книги, музыка, артисты, фильмы, авторы, игры.

Необходим ключ API (бесплатный). Получить ключ можно на официальном сайте проекта. После того, как ключ получен, необходимо запустить следующую команду:

export TASTE_API_KEY="yourAPIKeyGoesHere" >> ~/.bash_profile

Todo

Простой список дел для командной строки.

Transfer

Быстрая передача файлов с помощью командной строки.

Любите работать в терминале? Тогда посмотрите полезные команды Linux для терминала.

Что значит «нет»? А надо! Ловите Teletun и наслаждайтесь!

Установка

Установите пакет telegram-cli (например, с помощью snap).

Запустите telegram-cli следующим образом:

Убедитесь, что -P написана с большой буквы.

Установите зависимости:

Скачайте скрипт и запустите его. Молитесь в ожидании чуда.

Обратите внимание, одна сторона запускает скрипт без параметров, а вторая должна передать параметр --server. Затем клиент будет доступен по адресу 10.8.0.1 или 10.8.0.2 в зависимости от того, с какой стороны вы находитесь.

Как бы нелепо это ни звучало, но на многих платформах для нормальной работы нужны root-права.

Производительность

Не то чтобы это имело значение (вы же не думали, что будете использовать это для чего-то серьёзного?), но производительность не так уж и плоха.

Конечно, пропускная способность сильно ограничена, но зато пинг находится в пределах 100-150 мс. Наверное поэтому Telegram называется системой для обмена мгновенными сообщениями.

TL;DR

Разработка получила название tldr – сокращение от Too Long;Didn’t Read (слишком длинно;не читал). Она сокращает справку к популярным утилитам, делая её более дружелюбной. Очень легко забыть, за что отвечают lsof или tar. И вызов помощника через man tar не очень-то упрощает жизнь:

Вместо этого tldr предлагает ознакомиться со следующими подсказками:

Репозиторий инструмента постоянно пополняется новыми коллекциями самых распространённых утилит UNIX, Linux, macOS и SunOS.

Клиенты

У tldr есть множество реализаций:

• Alfred Workflow;
• Клиенты для Android:tldr-viewer, доступный в Google Play;tldroid, доступный в Google Play;
• Клиенты для Bash:tldr;tldr-bash-client;
• Клиент для C++: brew install tldr;
• Клиент для Crystalt: brew install porras/tap/tlcr;
• Клиент для Dart: pub global activate tldr;
• Dash docset: Preferences > Downloads > User Contributed, пункт списка tldr pages;
• Клиент для Elixir (бинарные файлы пока не доступны);
• Клиент для Emacs, доступен в MELPA;
• Клиенты для Go:github.com/pranavraja/tldr: go get github.com/pranavraja/tldr(или скомпилированные релизы);4d63.com/tldr: go get 4d63.com/tldr или brew install 4d63/tldr/tldr(или скомпилированные релизы);
• Клиенты для iOS:tldr-man-page, доступен в App Store;tldr-pages, доступен в App Store;
• Клиент для Haskell: stack install tldr;
• Клиент для Node.js: npm install -g tldr;
• Клиент для Perl5: cpanm App::tldr;
• Клиент для PHP: composer global require brainmaestro/tldr;
• Клиенты для Python:tldr-python-client: pip install tldr;tldr.py: pip install tldr.py;
• Клиент для R: devtools::install_github('kirillseva/tldrrr');
• Клиент для Ruby: gem install tldrb;
• Клиенты для Rust:rust-tldr (тонкий клиент с поиском онлайн): cargo install tldr;tealdeer (полноценный клиент с оффлайн кэшем): cargo install tealdeer;
• Веб-клиенты:tldr.jsx: http://tldr.ostera.io/;DistroWatch.

Инструменты и интерфейсы командной строки — эффективная вещь, так как они позволяют автоматизировать практически всё что угодно. Как следствие, эти интерфейсы с течением времени могут стать довольно сложными.

Обычно всё начинается с простого скрипта на Python, который что-то делает. Например, получает доступ к веб-API и выводит результат в консоль:

Вы можете запустить этот скрипт с помощью команды python3 print_user_agent.py, и он выведет имя user-agent, использованного для вызова API.

Как и было сказано, довольно простой скрипт.

Но что делать, когда подобная программа растёт и становится всё более сложной?

Решением этого вопроса мы сегодня и займёмся. Вы узнаете об основах написания интерфейсов командной строки на Python и о том, как click позволяет упростить этот процесс.

Используя эти знания, мы шаг за шагом перейдём от простого скрипта к интерфейсу командной строки с аргументами, опциями и полезными инструкциями по использованию. Всё это мы сделаем с помощью библиотеки click.

К концу этой статьи вы будете знать:

• Почему click — лучшая альтернатива argparse и optparse;
• Как с его помощью создать простой CLI;
• Как добавить обязательные аргументы командной строки в ваши скрипты;
• Как парсить флаги и опции командной строки;
• Как сделать ваши консольные приложения более удобными, добавив справочный текст.

Вы увидите, как сделать всё это с минимальным количеством шаблонного кода.

Примечание переводчика Код в данной статье написан на Python 3.6, работоспособность на более ранних версиях не гарантируется.

Итак, начнём!

Зачем вам писать скрипты и инструменты для командной строки на Python?

Код выше — всего лишь пример, не очень полезный в реальной жизни. На самом деле скрипты бывают куда более сложные. Возможно, вы имели опыт с ними и знаете, что они могут быть важной частью нашей повседневной работы: некоторые скрипты остаются на протяжении всего времени жизни проекта, для которого они были написаны. Некоторые начинают приносить пользу другим командам или проектам. У них даже может расширяться функционал.

В этих случаях важно сделать скрипты более гибкими и настраиваемыми с помощью параметров командной строки. Они позволяют указать имя сервера, учётные данные или любую другую информацию скрипту.

Здесь приходят на выручку такие модули, как optparse и argparse, которые делают нашу жизнь на порядок проще. Но прежде чем мы с ними познакомимся, давайте разберёмся с терминологией.

Основы интерфейса командной строки

Интерфейс командной строки (CLI) начинается с имени исполняемого файла. Вы вводите имя в консоль и получаете доступ к главной точке входа скрипта, такого как pip.

В зависимости от сложности CLI обычно есть определённые параметры, которые вы можете передавать скрипту:

1. Аргумент, который является обязательным параметром. Если его не передать, то CLI вернёт ошибку. Например, в следующей команде click является аргументом: pip install click.
2. Опция — необязательный параметр, который объединяет имя и значение, например --cache-dir ./my-cache. Вы говорите CLI, что значение ./my-cache должно использоваться как директория для кэша.
3. Флаг, который включает или выключает определённый сценарий. Вероятно, самым частым является --help. Вы только указываете имя, а CLI самостоятельно интерпретирует значение.

С более сложными CLI, такими как pip или Heroku CLI, вы получаете доступ к набору функций, которые собраны под главной точкой входа. Они обычно называются командами или подкомандами.

Возможно, вы уже использовали CLI, когда устанавливали Python-библиотеку с помощью команды pip install <имя пакета>. Команда install говорит CLI, что вы хотите использовать функцию установки пакета, и даёт вам доступ к параметрам, характерным для этой функции.

Пакеты для работы с командной строкой, доступные в стандартной библиотеке Python 3.x

Добавление команд и параметров в ваши скрипты может сделать их значительно лучше, но парсить командную строку не так просто, как может показаться. Однако вместо того, чтобы пытаться самостоятельно решить эту проблему, лучше воспользоваться одним из многих пакетов, которые сделали это за вас.

Два наиболее известных пакета для этого — optparse и argparse. Они являются частью стандартной библиотеки Python и добавлены туда по принципу «всё включено».

По большей части они делают одно и то же и работают схожим образом. Главное отличие заключается в том, что optparse не используется начиная с Python 3.2, и argparse считается стандартом для создания CLI в Python.

Вы можете узнать о них больше в документации Python, но, чтобы иметь представление, как выглядит скрипт с argparse, посмотрите на пример ниже:

click против argparse: лучшая альтернатива?

Вероятно, вы смотрите на этот код и думаете: «Что это всё значит?» И это является одной из проблем argparse: код с ним неинтуитивен и сложночитаем.

Поэтому вам может понравиться click.

Click решает ту же проблему, что и optparse и argparse, но немного иначе. Он использует декораторы, поэтому ваши команды должны быть функциями, которые можно обернуть этими декораторами.

С click легко создавать многофункциональный CLI с небольшим количеством кода. И этот код будет легко читаться, даже когда ваш CLI вырастет и станет более сложным.

Пишем простой CLI на Python с помощью click

Вдоволь поговорив о CLI и библиотеках, давайте взглянем на пример, чтобы понять, как написать простой CLI с click. Как и в первом примере, мы создаём простой CLI, который выводит результат в консоль. Это несложно:

Не пугайтесь последних двух строк: это то, как Python запускает функцию main при исполнении файла как скрипта.

Как вы видите, всё, что нам нужно сделать — создать функцию и добавить к ней декоратор @click.command(). Он превращает функцию в команду, которая является главной точкой входа нашего скрипта. Теперь вы можете запустить скрипт через командную строку и увидеть что-то вроде этого:

Что в click здорово, так это то, что мы получаем некоторые дополнительные возможности просто так. Мы не реализовывали справочную функцию, однако вы можете добавить флаг --help и увидеть базовое сообщение:

Более реалистичный пример CLI на Python с использованием click

Теперь, когда вы знаете, как click упрощает написание CLI, давайте взглянем на более реалистичный пример. Мы напишем программу, которая позволяет нам взаимодействовать с веб-API.

API, который мы дальше будем использовать, — OpenWeatherMap API. Он предоставляет информацию о текущей погоде, а также прогноз на пять дней для определённого местоположения. Мы начнём с тестового API, который возвращает текущую погоду для места.

Прежде чем мы начнём писать код, давайте познакомимся с API. Для этого можно использовать сервис HTTPie, включая онлайн-терминал.

Давайте посмотрим, что случится, когда мы обратимся к API с Лондоном в качестве местоположения:

Если вы смущены наличием API-ключа в примере сверху, не переживайте, это тестовый API-ключ, предоставляемый сервисом.

Более важное наблюдение заключается в том, что мы отправляем два параметра (обозначаемые == при использовании HTTPie), чтобы узнать текущую погоду:

• q — место, в котором мы хотим узнать погоду;
• appid — наш API-ключ.

Это позволяет нам создать простую реализацию на Python с использованием библиотеки requests (опустим обработку ошибок и неудачных запросов для простоты):

Эта функция делает простой запрос к API, используя два параметра. В качестве обязательного аргумента она принимает location (местоположение), которое должно быть строкой. Также мы можем указать API-ключ, передавая параметр api_key при вызове функции. Это необязательно, так как по умолчанию используется тестовый ключ.

И вот мы видим текущую погоду в Python REPL:

Парсим обязательные параметры с click

Простая функция current_weather позволяет нам создать CLI с местоположением, указанным пользователем. Это должно работать примерно так:

Как вы, возможно, догадались, местоположение — это аргумент, поскольку оно является обязательным параметром для нашего погодного CLI.

Как нам сделать это при помощи click? Всё довольно просто, мы используем декоратор под названием argument. Кто бы мог подумать?

Давайте возьмём наш предыдущий пример и слегка изменим его, добавив аргумент location:

Если этот print выглядит для вас странно, не волнуйтесь — это новый способ форматирования строк в Python 3.6+, который называется f-форматированием.

Как вы видите, всё, что нам нужно сделать, это добавить дополнительный декоратор к нашей функции main и дать ему имя. Click использует имя в качестве имени аргумента, переданного обёрнутой функции.

Примечание переводчика Имя аргумента, переданное click, должно совпадать с именем аргумента в объявлении функции.

В нашем случае значение аргумента командной строки location будет передано функции main в качестве аргумента location. Логично, не так ли?

Также вы можете использовать тире в именах, например api-key, которые click переведёт в snake case для имени аргумента в функции, например main(api_key).

Реализация main просто использует нашу функцию current_weather для получения погоды в указанном месте. И затем мы с помощью print выводим полученную информацию.

Готово!

Парсим опциональные параметры с click

Как вы, возможно, догадались, тестовый API ограничивает нас в возможностях. Поэтому, прежде чем мы продолжим, зарегистрируйтесь и получите настоящий API-ключ.

Первое, что нам нужно изменить, — URL, откуда берутся данные о текущей погоде. Это можно сделать, изменив значение переменной url в функции current_weather на URL, указанный в документации OpenWeatherMap:

Это изменение приведёт к неработоспособности нашего CLI, так как указанный API-ключ не работает с реальным API. Поэтому давайте добавим новый параметр в наш CLI, который позволит нам указывать API-ключ. Но сначала мы должны решить, будет ли этот параметр аргументом или опцией. Мы сделаем его опцией, так как добавление параметра вроде --api-key делает его более явным и говорящим за себя.
Мы хотим, чтобы наша программа запускалась таким образом:

Проще простого. Посмотрим, как добавить опцию к нашей существующей команде:

И снова мы добавляем декоратор к нашей функции main. В этот раз мы используем декоратор с говорящим именем @click.option и указываем имя для нашей опции, начинающееся с двух тире. Как вы видите, мы также можем указать сокращение для нашей опции с одним тире, чтобы сэкономить пользователю немного времени.

Как было сказано ранее, click создаёт аргумент для передачи в функцию main из длинного варианта имени. В случае с опцией он убирает впередистоящие тире и переводит её в snake case. Таким образом, --api-key становится api_key.

Чтобы всё заработало, осталось лишь передать API-ключ в функцию current_weather.

Мы добавили возможность указывать свой собственный ключ и проверять погоду в любом месте:

Добавляем автоматически генерируемые инструкции по использованию

Можете себя похвалить, вы создали отличный небольшой CLI почти без шаблонного кода. Однако прежде чем вы решите отдохнуть, давайте убедимся, что новый пользователь будет знать, как пользоваться нашим CLI, путём добавления документации. Не бойтесь, всё будет просто.

Сначала давайте проверим, что выведет флаг --help после всех сделанных изменений. Довольно неплохо, учитывая что мы не приложили к этому никаких усилий:

Первое, что нужно исправить, это добавить описание для нашей опции с API-ключом. Всё, что нам для этого нужно сделать, — добавить справочный текст в декоратор @click.option:

Второе (и последнее), что мы сделаем, — добавим документацию для всей click-команды. Самый простой и самый питонический способ сделать это — добавить строку документации в нашу функцию main. Да, нам в любом случае нужно сделать это, поэтому это не лишняя работа:

Сложив всё вместе, мы получаем хороший вывод для нашего инструмента:

Подводим итоги

Итак, в этом уроке мы рассмотрели много всего. Можете гордиться собой, вы написали свой собственный CLI, и всё это с минимальным количеством шаблонного кода! Исходный код ниже доказывает это. Не стесняйтесь использовать его для собственных экспериментов:

Fire — самая популярная после TensorFlow разработка для Python, которую Google выложил в открытый доступ:

Правда, она не настолько популярна…

Что интересно в библиотеке TensorFlow, так это то, что на момент её выхода на рынке уже было несколько популярных библиотек глубокого обучения (Theano, Caffe и Torch). Несмотря на это, TensorFlow сразу начал набирать популярность, посмотрите на активность Stack Overflow:

В этом плане Fire похож на Tensorflow, так как и до него было уже достаточно много хороших инструментов для автоматизации интерфейсов командной строки на Python. Будет интересно посмотреть, примут ли разработчики Fire.

Примечание После использования Fire в течение нескольких недель и сравнения с другими вариантами вроде Click, становится понятно, что Fire больше подходит для быстрой разработки, так как в нём отсутствуют многие функции других CLI. Тем не менее, новые функции находятся в разработке. В первом релизе IPython был обязательной зависимостью, что приводило к долгой загрузке даже простых скриптов, но сейчас в нём нет необходимости!

Пример приложения с Fire

Fire можно установить с помощью pip:

Документацию можно найти на GitHub. В ней содержится проницательная заметка:

Почему библиотека называется Fire?Когда вы вызываете Fire, она выстреливает (fire off, выполняет) вашей командой.

Мы можем выполнить команду, вызвав fire.Fire(my_object), где my_object может быть функцией, классом или другим объектом.

Теперь пора делать приложение. Мы напишем генератор случайного выбора. Функция random_sample будет вычисляться через Fire. Как мы увидим, значения, возвращённые функцией, будут выведены в консоль.

Посмотрим на код:

Примечание переводчика Код в данной статье написан на Python 3.6, работоспособность на более ранних версиях не гарантируется.

Мы передаём нашу функцию random_sample методу Fire, который автоматически создаёт аргументы командной строки для параметров функции. Нам не нужно писать инструкции по применению скрипта: пользователь может ввести python3 random_sample.py -- --help и увидеть следующий вывод:

Пример использования скрипта:

Примечание Если вы хотите запускать скрипт как исполняемый файл (например, ./random_sample.py вместо python3 random_sample.py), то добавьте в начале скрипта строку #!/usr/bin/env python и разрешите исполнение скрипта с помощью команды chmod +x random_sample.py.

Интерактивный режим

Что в Fire интересно, так это то, что он может перенести вас в среду IPython REPL. Для этого вам просто нужно добавить -- --interactive в конце вызова вашего скрипта. Например:

1. Запускаем random_sample.py.
2. Показываем вывод random_sample.py.
3. Заметили модуль и объекты, которые были загружены?
4. Запускаем интерпретатор IPython.
5. Выводим результат.

Данные, возвращённые вызовом функции, теперь расположены в памяти, так же, как и сама функция. Ниже мы выводим документацию и снова запускаем генератор случайного выбора:

Аргументы для выбора передаются как кортеж, а во время использования командной строки они передаются как строка:

Зажигаем класс

Вы можете передать любой объект модулю Fire, и библиотека сгенерирует CLI. Вот пример, в котором мы используем класс:

Наш класс WikiPage запрашивает страницу из Википедии, и затем функция get_html_element ищет HTML-элемент на этой странице.

Примечание Для поиска HTML-элементов лучше использовать специальные библиотеки вроде BeautifulSoup, а не регулярные выражения.

Давайте посмотрим, как это работает:

При передаче аргумента page мы получаем полезную инструкцию по использованию:

Давайте попробуем получить код состояния:

А теперь сгенерируем случайную страницу и проверим URL:

Также мы можем вызывать модули прямо из командной строки:

Например:

Основные функции

Доступен импорт существующих заметок из Evernote, включая формат записей, все вложения и изображения, а также любые метаданные — геолокация, время создания и обновления записи и многое другое. Для каждой из записей доступна синхронизация различной сложности. Будь то синхронизация посредством файловой системы на устройствах одной локальной сети, либо с облачным хранилищем OneDrive от Microsoft.

При синхронизации заметки и их коллекции в виде записных книжек, а также теги и остальные метаданные сохраняются в обычные текстовые файлы, которые можно легко проверять, выполнять их резервное копирование и перемещать.

• Поддержка заметок, to-do списков, тегов;
• Поддержка оффлайн — инструмент работает даже без доступа в Интернет;
• Мультицелевая синхронизация — от файловой системы до облачных сервисов;
• Заметки формата Markdown;
• Поддержка прикрепления файлов;
• Функция поиска по заметкам;
• Поддержка геолокации.

Использование последних технологий разработки

Joplin всё ещё находится в стадии разработки, но авторы обещают скорый выход продукта из бета-тестирования. По их словам, этот инструмент отлично подойдёт для ежедневного использования. Пользовательский интерфейс клиентского терминала построен поверх библиотеки терминальных SDK, настольный клиент — с использованием Electron, а интерфейс Android — при помощи React Native.

Установка

Приложение доступно в десктопных (Windows, macOS, Linux), мобильных (Android, iOS) и терминальных (Windows, macOS, Linux) версиях. Все приложения имеют похожий пользовательский интерфейс и могут быть синхронизированы друг с другом.

Приложение терминала

Для установки на macOS используйте команду brew install node joplin. Версии для Linux и Windows (с использованием WSL) можно установить, воспользовавшись следующей командой. Важное условие — наличие Node 8+ на рабочей машине.

По умолчанию, бинарное приложение установится в ~/.joplin-bin. В случае необходимости можно изменить этот каталог. Иначе, если ваши разрешения для npm настроены, как описано здесь (Вариант 2), тогда установка упрощается: npm -g install joplin. Для начала работы просто наберите в терминале: joplin. Инструкция использования команд терминала доступна на официальном сайте приложения.

Проверить работу последней версии можно анонимно:

Установить зависимости можно любым из этих способов:

Для установки минимального набора зависимостей достаточно:

Запуск тестов

Набор тестов работает с одной версией Python. Для этого требуются pip install pytest и, необязательно, pip install pytest-cov — они устанавливаются в числе зависимостей из requirements.testing.txt.

Для запуска юнит-тестов с одной версией Python:

Для проверки покрытия кода:

Для запуска юнит-тестов с набором версий Python:

Команды

Запуск в Docker:

Пример:

«Больше никаких секретов»

Проект представляет из себя инструмент командной строки с названием nms (no more secrets — название того самого эпизода). Эта команда работает через конвейеры: сначала по-голливудски преображает любой текст кодировки ASCII или UTF-8 в зашифрованный набор символов, а затем эффектно расшифровывает все обратно.

В проект так же включена команда sneakers, полностью воспроизводящая текст, высвечивавшийся на экране монитора в фильме. Примечательно, что перед завершением программа требует от пользователя выбрать один из пунктов меню.

Изначально в проекте не предусматривалось никаких зависимостей, однако для воссоздания эффекта все же пришлось использовать escape-последовательности терминала ANSI/VT100. Большинство современных терминалов поддерживают эти последовательности, так что у пользователей не должно возникнуть особых проблем с запуском новой программы. Но на всякий случай в проект встроена библиотека NCurses (правда, с потерей встроенного функционала, ведь ncurses всегда очищает экран прежде, чем отобразить вывод).

Установка

Установить nms можно через большинство пакетных менеджеров. Чтобы собрать проект из исходников, введите в терминале следующее:

Если ваш терминал не поддерживает escape-последовательности ANSI/VT100, вам потребуется библиотека ncurses. Установив её, соберите проект:

Использование

nms работает с любыми данными, переданными через конвейер. В примере ниже используется простой вывод содержимого директории:

По умолчанию nms не начнёт расшифровывать данные, пока вы не нажмёте любую клавишу (именно так это было показано в фильме).

Для желающих использовать подобные эффекты в своих приложениях автор проекта выложил C-библиотеку LibNMS.

Подробнее о RancherOS

Именно благодаря тому, что этот инструмент включает в себя только необходимые для запуска Docker средства, его размер гораздо меньше традиционных ОС. Удалив все ненужные библиотеки и службы, разработчики добились сокращения числа требований к исправлениям безопасности ОС. Основной идеей, подтолкнувшей создателей RancherOS к такому решению, стал факт, что обычно пользователи Docker упаковывают все необходимые библиотеки в свои контейнеры.

Ещё одним преимуществом RancherOS является то, что он постоянно запускает самые последние версии Docker. Это позволяет пользователям использовать самые новые возможности Docker, а также быть уверенным, что большинство ошибок контейнеров уже исправлены.

Как и другие минималистические дистрибутивы Linux, RancherOS загружается невероятно быстро, как правило, в течение 5–10 секунд. Запуск контейнеров Docker почти мгновенен, подобно запуску любого другого процесса. Эта быстрота идеально подходит для организаций, использующих микросервисы и автомасштабирование.

Коротко o Docker

Docker — это платформа с открытым исходным кодом, предназначенная для разработчиков, системных администраторов и DevOps. Она используется для создания и запуска контейнеров с использованием простого, но мощного интерфейса командной строки (Command Line Interface, CLI). Поближе познакомиться с Docker вы можете в нашей статье.

Архитектура RancherOS

Всё внутри RancherOS — это обычный Docker-контейнер. Запуск ОС представляет собой запуск двух экземпляров Docker. Один из них называется System Docker и является основным процессом системы. Все остальные системные службы, такие как ntpd, syslog и console, работают в контейнерах Docker. System Docker заменяет традиционные системы инициализации, такие как systemd, и может использоваться для запуска дополнительных системных служб.

System Docker запускает специальный контейнер под названием Docker, который является еще одним демоном, ответственным за управление всеми контейнерами пользователя. Любые контейнеры, которые вы запускаете в качестве пользователя из консоли, будут запускаться внутри этого Docker. Таким образом создаётся изоляция от контейнеров System Docker.

Этот подход гарантирует, что обычные пользовательские команды не повлияют на системные службы. Такое решение выглядит логичным, ведь будет не очень хорошо, если кто-то воспользуется командой docker rm -f $ (docker ps -qa) и удалит всю ОС.

Установка

Подробная инструкция по установке инструмента доступна на его официальном сайте.

Проект реализован с использованием API сырых сокетов и FUSE (filesystem in userspace, файловая система в пользовательском пространстве), поэтому для полноценной работы и запуска проекта необходимы права суперпользователя. Linux является единственной ОС, на которой возможно запустить программу. Поддерживаются обе версии протокола удалённых хостов, IPv4 и IPv6.

Работа с проектом

Для компиляции проекта необходимо запустить make в корневой папке. Чтобы начать использование, необходимо:

• Создать текстовый файл с именами хостов и их IP-адресами;
• Запустить программу в режиме root-пользователя при помощи команды: ./pingfs <название файла> <точка монтирования>. Программа начнёт проверку хостов на правильность их реакции посредством отправки нескольких пингов. На экран будет выведена некоторая информация и статистика, затем будет произведено монтирование файловой системы;
• pingfs останется запущенным и будет печатать статистику по пакетам и байтам каждую секунду.

Чтобы остановить работу программы:

• Нажмите Ctrl+C;
• В противном случае, можно воспользоваться командой fusermount -u.

Поддерживаемые операции

• Создание и удаление обычных файлов;
• Листинг файлов;
• Переименование файлов;
• Чтение, запись и усечение файлов;
• Настройка и получение прав на доступ к файлам.

Неподдерживаемые операции

• Создание и удаление каталогов;
• Создание жёстких и мягких ссылок на файлы;
• Временные отметки (в этой версии они всегда равны 0).

Автор проекта отмечает, что в настоящее время производительность обработки LAN-хостов слишком низкая. Передача данных между ними часто приводит к потере пакетов, поэтому используйте pingfs с осторожностью.

В качестве шутки над идеей проекта пользователи Reddit уже придумали ему девиз:

Где мои данные? Не могу сказать. Но они существуют? Надеюсь.

• пустые конструкции if/else/try/catch/finally;
• неиспользуемые локальные переменные и параметры;
• использование кода с высокой цикломатической и NPath сложностью;
• избыточное использование конструкций if и ненужных скобок;
• код с запашком — использование длинных методов и длинных списков параметров;
• плохие практики написания кода — переназначение параметров, неправильное использование логики.

Функциональность OCLint

Статический анализ кода призван обнаруживать критические дефекты кода, которые не видны компилятору, но способны обрушить программу в будущем. OCLint автоматизирует процесс проверки кода при помощи расширенных функций:

• Динамическая загрузка правил в систему, даже во время выполнения;
• Гибкие и расширяемые конфигурации программы гарантируют пользователю настройку поведения OCLint именно под нужды каждого;
• Возможность вызова инструмента из командной строки вносит непрерывную интеграцию и постоянную проверку кода в процессе разработки. Это поможет исправлять все баги ещё на этапе разработки;
• Снижена вероятность ложных срабатываний инструмента для избежания ситуаций, когда полезный код может быть помечен как избыточный;
• Эффективность и точность инструмента основана на использовании абстрактного синтаксического дерева исходного кода.

Установка инструмента

OCLint является автономным инструментом, работающим на платформах Linux и macOS. Получить самую свежую версию 0.13 продукта вы можете, загрузив и самостоятельно скомпилировав исходный код, либо уже скомпилированные двоичные файлы программы.

Процесс установки подробно описан на специальной странице инструмента. Также доступно руководство пользователя с подробным описанием использования команд инструмента. Продукт распространяется под лицензией Modified BSD.

Проект использует шаблонное метапрограммирование стандарта С++14. Игра доступна в двух версиях — интерактивной, когда игроку необходимо каждый раз перекомпилировать файл с новыми командами, и статичной, когда для игры необходима лишь однократная компиляция всех файлов. Отметим, что игра заканчивается, как и в обычной версии, когда змея упирается в стены игрового поля или своё собственное тело.

Интерактивная версия

Для отображения каждого нового хода необходима перекомпиляция файлов с флагами для контроля процесса игры:

Параметры флага -D управляют движением змейки по игровому полю: UP,DOWN,RIGHT и LEFT. Если флаг не был передан компилятору на исполнение, то змейка продолжит своё движение прямо. Есть возможность вернуться в исходное положение, запустив скрипт ./reset.sh. Для сохранения положения змеи между компиляциями используется подход сериализации данных.

Статичная версия

Весь игровой процесс происходит при однократной компиляции программы. Вся логика игры этой версии находится в главной ветке проекта на GitHub. Все движения змеи строго указаны в главной функции программы:

Исходный код

Исходный код инструмента можно найти на GitHub. Интерактивная версия находится в соответствующей ветке проекте interactive, статичная версия — в главной ветке. Подробное описание функций программы можно найти в блоге автора, в котором также есть отдельное описание как интерактивной версии, так и статичной.

Игровой процесс

Ниже приведён игровой процесс интерактивной версии игры, при которой пользователь решает, в каком направлении змея должна двигаться, посредством указания параметров флага -D. Для статичной версии всё аналогично, за исключением того, что нужно всего лишь наблюдать за процессом игры, а не участвовать в нём, так как от пользователя требуется лишь компиляция файла для запуска игры.

Как видно из названия, micro пытается стать преемником редактора nano в плане простоты использования и установки. Однако разработчики стараются сделать его удобным для тех, кто пользуется терминалом как по собственному желанию, так и вынужденно.

Чем может похвастаться micro?

• Не требуются зависимости и внешние файлы — только бинарник.
• Поддержка нескольких курсоров.
• Знакомые сочетания клавиш (Ctrl-S, Ctrl-C, Ctrl-V, Ctrl-Z …).Можно изменять сочетания, исходя из своих предпочтений.
• Удобные настройки по умолчанию.Не нужно ничего настраивать «из коробки» (а если и придётся, то это легко сделать).
• Поддержка разделения экрана и вкладок.
• Очень хорошая поддержка мыши.Можно использовать перетаскивание мыши для выделения текста, двойной клик для выделения слова и тройной клик для выделения строки.
• Кроссплатформенность.Поддержка Windows есть, но пока проскакивают ошибки.
• Система плагинов.В micro встроен диспетчер плагинов, который автоматически устанавливает, удаляет и обновляет все ваши плагины.
• Автоматический линтинг и уведомление о ошибках.
• Поддержка различных цветовых тем.По умолчанию micro поставляется с 4-, 8- и 24-битными (TrueColor) темами.
• Подсветка синтаксиса для более чем 90 языков.
• Сниппеты.Плагин сниппетов может быть установлен с помощью команды plugin install snippets.
• Поддержка буфера обмена системы.
• Поддержка макросов.

Также в будущем планируется добавление функций автозаполнения и древовидного представления файлов.

Установка

Вы можете скачать уже собранный бинарник или собрать его самостоятельно. Больше информации об установке можно найти на вики-страничке проекта.

Менеджеры пакетов

Вы можете установить micro с помощью Homebrew на Mac:

С помощью Chocolatey или Scoop на Windows:

или

А на Linux с помощью snap:

Сборка исходного кода

Если для вашей операционной системы нет собранного бинарника, но она поддерживает Go, вы можете собрать micro из исходного кода.

Убедитесь, что у вас установлен Go версии 1.5 или выше.

Бинарник будет установлен в $GOPATH/bin (или ваш $GOBIN).

Можно произвести установку и с помощью go get (go get -u github.com/zyedidia/micro/cmd/micro), но данный способ не рекомендуется, так как он собирает micro без информации о версии, которая полезна для диспетчера плагинов.

Терминал macOS

Если вы используете macOS, то вам стоит использовать iTerm2 вместо терминала Mac, установленного по умолчанию. iTerm2 обладает лучшей поддержкой мыши, сочетаний клавиш и цветовых схем.

Поддержка буфера обмена Linux

Для поддержки данной функции на Linux требуется утилита xclip или xsel. Для Ubuntu:

Если у вас нет xclip или xsel, micro будет использовать внутренний буфер обмена для копирования и вставки, но он не будет работать с внешними приложениями.

Цвета и подсветка синтаксиса

Если вы откроете micro и поймете, что подсветка синтаксиса не работает, то причина, скорее всего, в том, что вы используете терминал, который не поддерживает 256 цветов. Попробуйте изменить цветовую схему на simple , использлвав сочетание клавиш Ctrl-E и набрав set colorscheme simple.

Если вы используете терминал Ubuntu, убедитесь, что переменная TERM установлена в xterm-256color.

Многие терминалы Windows не поддерживают более 16 цветов, поэтому цветовая схема micro, установленная по умолчанию, будет выглядеть не лучшим образом. Вы можете либо установить цветовую схему simple , либо загрузить эмулятор терминала вроде mintty.

Plan9, Cygwin

Micro использует библиотеку tcell, поэтому он не поддерживает Plan9, Cygwin (хотя в будущем это может измениться) и Native Client (NaCl).

Использование

Установив редактор, его можно запустить командой micro path/to/file.txt или просто micro, открыв пустой буфер.

Micro также поддерживает создание буфера из stdin:

Можно использовать мышь и клавиатуру для управления курсором.

Документация и справка

В micro встроена система поддержки, которую можно запустить, нажав Ctrl-E и напечатав help . Кроме того, вы можете просматривать файлы справки здесь:

• основная помощь;
• привязки клавиш;
• команды;
• цвета;
• настройки;
• плагины.

Также к прочтению рекомендуется руководство, которое быстро познакомит вас с более сложными функциями.

Как данные попадали в сеть?

Приложение каждый раз создавало DNS-запрос с текстом, над которым был курсор мыши, и проверяло, действительно ли существует такой домен, отправляя запрос на DNS-серверы. Главная опасность заключается в том, что пользователь может случайно оставить курсор мыши над паролями, ключами API или же просто приватными данными, которые в итоге отправятся на серверы в виде текста. Любой злоумышленник может «подслушать» такой запрос, даже не столкнувшись с каким-либо видом шифрования.

Согласно статистике официального сайта приложения, версия 3.0.0 была выпущена ещё в июле 2016 года. Это означает, что больше года персональные данные пользователей по случайности и ошибке разработчиков просто «утекали» на сторонние серверы.

Реакция компании-разработчика

Первые проблемы с поведением приложения были обнаружены ещё 10 месяцев назад. Разработчики сразу выпустили новую версию 3.0.13, в которой появилась возможность отключения функции проверки валидности URL-адресов, включенной по умолчанию. Однако только спустя год после выпуска «опасной» версии приложения и после баг-репорта голландского разработчика Питера ван Дейка компания выпустила новую версию, в которой данная функция была полностью отключена. Джордж Нахман, один из программистов проекта iTerm2, принёс свои официальные извинения:

Мне нет оправданий. Я просто не придал значения возможной глубине вопроса введения подобной функции. Я прошу прощения за то, что не до конца понял проблему, и обещаю впредь быть более аккуратным. Ваша конфиденциальность всегда будет моей главной задачей.

Пользователям, владеющим iTerm2 версий с 3.0.0 по 3.0.12, настоятельно рекомендуется обновить приложение хотя бы до версии 3.0.13, в которой есть возможность отключения функции проверки валидности: перейдите в пункт меню Preferences ⇒ Advanced ⇒ Semantic History и переведите ползунок Perform DNS lookups to check if URLs are valid? в положение No.

Пока что доступна только Bash-версия. PowerShell появится чуть позже, после чего вы сможете выбирать как между графическим и текстовым интерфейсами, так и их типами.

Возможности Cloud Shell

Cloud Shell предоставляет возможность использования оболочки для управления сервисами Azure прямо из браузера. Доступны такие привычные инструменты, как shell-интерпретаторы, текстовые редакторы, системы управления версиями, инструменты для сборки, работы с контейнерами и базами данных и т.д. Также вы можете работать и с несколькими популярными языками, такими как Node.js, .NET и Python.

Каждая сессия Cloud Shell предоставляет доступ к настроенному окружению, автоматически синхронизированному с директорией $Home, которая хранится в Azure. Это позволяет получить доступ к файлам, содержащим сценарии автоматизации и т.д.

Интеграция с Azure CLI 2.0

Cloud Shell позволяет автоматизировать рабочий процесс в Azure и предоставляет для этого удобный интерфейс Azure CLI 2.0. Для обеспечения максимально комфортной работы с ним Cloud Shell автоматически предоставляет доступ ко всем подпискам аккаунта и своевременно обновляет его.

Нововведения в Azure CLI 2.0

Релиз инструмента Azure CLI 2.0 произошёл в самом конце этой зимы, и с тех пор разработчики Microsoft добавили в него несколько новых фич. Были добавлены следующие модули команд: appservices, cdn, cognitive services, cosmosdb, data lake analytics/store, dev/test labs, functions, monitor, mysql, postgres, service fabric client, vsts.

Также изменился синтаксис некоторых команд. Ближайшие несколько версий будут поддерживать оба синтаксиса, но затем старый перестанет поддерживаться. Такие команды будут помечены специальным предупреждением.

Новые установщики

Одним из неудачных мест в исходной реализации была установка оболочки на Windows-системы. Именно поэтому Microsoft выпускает MSI-установщик Azure CLI 2.0. Это решит проблему корректной установки версий Python и иных зависимостей, а также упростит дальнейшие обновления.

На Mac и Linux такой проблемы не наблюдается: для установки можно использовать curl, apt-get и pip. Инструкции по установке можно найти на обновлённой загрузочной странице инструмента.

Компания планирует расширить набор нативных установщиков в ближайшие месяцы.

Интерактивный режим и Azure Cloud Shell

В апреле стала доступна отдельная установка Azure CLI 2.0 в интерактивном режиме. Теперь она добавлена в основную версию инструмента и доступна по простой команде:

После этого Azure CLI 2.0 запускается в собственной интерактивной оболочке с выпадающими списками команд, кешированными автодополнениями и доступной по клику документацией с примерами использования команд. Этот формат очень удобен для начинающих своё знакомство с Azure CLI 2.0 и оптимизирован для выполнения отдельных команд, а не автоматизационных скриптов.

Выйти из этого режима можно при помощи команды quit.

Кроме того, Azure CLI теперь можно запускать не только на машине-клиенте, но и в Azure Cloud Shell прямо из портала Azure Management Portal. Это уже было описано выше.

Также стоит отметить возросшую производительность многих команд. Поделиться фидбеком можно, введя команду az feedback прямо в командной строке.

Новые команды для App Services, MySQL и Azure Functions

Azure CLI 2.0 предоставляет все необходимые средства для разработки приложений на платформе App Services и управления ими.

Azure начала предоставлять полнофункциональные сервисы для запуска MySQL- и PostgreSQL-баз данных в облаке. Управлять этими сервисами также можно из Azure CLI 2.0. Подробное обучающее руководство по запуску веб-приложения на PHP и MySQL можно найти в документации Azure.

Azure Functions — это решение для запуска небольших кусков кода, или «функций», в облаке. Вы можете просто написать необходимый код и разместить его в Azure, не беспокоясь о настройке инфраструктуры. Azure CLI 2.0 позволяет сделать это из командной строки всего одной строчкой кода:

Как начать использовать Azure CLI 2.0?

Вы можете скачать её с официального сайта или запустить в Azure Cloud Shell. Также вам пригодится обновлённая документация с примерами.

Azure CLI 2.0 является open source проектом, её исходники доступны на GitHub.

Опытные пользователи часто выполняют различные задачи через терминал. Нередко несколько команд надо выполнять по очереди, например, при обновлении системы необходимо сначала выполнить обновление репозиториев, а уже затем скачать новые версии пакетов. Это очень неудобно и таких действий очень много, даже, например, резервное копирование и загрузка скопированных файлов на удаленный сервер. Поэтому можно использовать скрипты, чтобы не вводить одни и те же команды несколько раз.

А еще настоятельно рекомендуется не решать рутинные задачи копипастом кода себе в консоль из интернета. Мы рассказывали, почему, в одной из наших статей.

Следующая серия статей поможет вам освоить bash:

• Bash Script Step By Step — о том, как начать создание bash-скриптов, рассмотрено использование переменных, описаны условные конструкции, вычисления, сравнения чисел, строк, выяснение сведений о файлах.
• Bash Scripting Part 2, Bash the awesome. Раскрываются особенности работы с циклами for и while.
• Bash Scripting Part 3, Parameters & options. Эта часть посвящена параметрам командной строки и ключам, которые можно передавать скриптам, работе с данными, которые вводит пользователь и которые можно читать из файлов.
• Bash Scripting Part 4, Input & Output. Здесь речь идёт о дескрипторах файлов и о работе с ними, о потоках ввода и вывода, ошибок, о перенаправлении вывода.
• Bash Scripting Part 5, Sighals & Jobs посвящена сигналам Linux, их обработке в скриптах, запуску сценариев по расписанию.
• Bash Scripting Part 6, Functions. Из этой статьи можно узнать о создании и использовании функций в скриптах, о разработке библиотек.
• Bash Scripting Part 7, Using sed посвящена работе с потоковым текстовым редактором sed.
• Bash Scripting Part 8, Using awk — о программировании на языке обработки данных awk.
• Bash Scripting Part 9, Regular Expressions. В этой части можно почитать об использовании регулярных выражений в bash-скриптах.
• Bash Scripting Part 10, Practical Examples. О приёмах работы с сообщениями, которые можно отправлять пользователям, и методике мониторинга диска. Кстати, для мониторинга системы есть множество утилит, самые удобные из которые мы рассматривали в нашей подборке.
• Bash Scripting Part 11, Expect Command посвящена средству expect, с помощью которого можно автоматизировать взаимодействие с интерактивными утилитами. В частности, здесь идёт речь об expect-скриптах и об их взаимодействии с bash-скриптами и другими программами.

В большинстве проектов, будь то разработка ПО, написание книги или публикация записи в блоге, в какой-то момент приходится генерировать «конечные продукты» из вручную написанных исходных файлов, то есть осуществлять сборку.

Суть автоматической сборки состоит в том, чтобы взять за основу генерацию какого-то одного элемента, вычленить правила, по которым она происходит, и применить их к большему количеству элементов такого же типа, обновляя только изменяемые параметры.

Это может быть сделано (и часто делается) под определенную задачу с помощью кастомных скриптов, но мы в данной статье рассмотрим, как можно удобно автоматизировать сборку, используя утилиту make и её встроенные правила.

Почему стоит использовать утилиту make

• она работает;
• легко настраивается как для новых, так и для существующих проектов;
• в большинстве ОС она предустановлена, если нет — её легко скачать;
• она крошечная и содержит мало зависимостей;
• make-файлы всё-таки могут быть короткими, ёмкими и красивыми;
• она не использует загадочные папки типа working или resource;
• да и вообще темной магией не занимается — всё на виду.

Пишем make-файлы

Создадим файл и назовем его makefile или Makefile. Содержание стандартного make-файла можно описать так: «если любой из файлов-пререквизитов был изменен, то целевой файл должен быть обновлен». Суть make в том, что нам нужно по определенным правилам произвести какие-то действия с пререквизитами, чтобы получить некую цель.

Правила, которые и составляют основу make-файла, по сути являются командами и могут быть сколь угодно сложными, а также могут содержать в себе вызов других инструментов, таких как компиляторы и парсеры.

Базовый синтаксис для определения цели (в файле makefile):

Важно Индентация производится с помощью табуляции, а не пробелов.

В командах описывается, что make должна сделать, чтобы создать целевой файл. Они исполняются, когда мы делаем запрос на создание или обновление целевого файла и make заключает, что пререквизиты изменились или целевой файл еще не существует.

Часто нам нужно обрабатывать несколько файлов одного вида по одним и тем же правилам. Например, при создании страниц HTML на основе размеченного текста. Это делается с помощью шаблонных правил, наличие которых является отличительной чертой make в сравнении с обычной сборкой через командную строку.

Шаблонные правила работают на основе сопоставления расширений файлов. Например, make знает, как создавать объектные файлы *.o из исходных C-файлов *.c, компилируя их и передавая компилятору флаг -c. В make есть несколько встроенных шаблонных правил, самые известные из которых используются для компиляции кода на C и C++.

Теперь мы можем упростить make-файл, избегая написания команд в случаях, когда make сама знает, что делать. Главное, не забывать ставить пустую строку после цели — make это нужно, чтобы определять, где кончается одна цель и начинается другая.

В большинстве случаев мы можем даже опустить пререквизиты: внутренние правила make подразумевают, что для того, чтобы, например, собрать somefile.o по принципу Исходник на C → Объектный файл, нам нужен somefile.c.

Будьте аккуратны: когда вы предлагаете make свой список команд, она будет ориентироваться только на ваш код и в данном случае не будет искать шаблонные правила для сборки цели.

Вызываем make

Запустим make в текущей директории:

Если make-файл в ней уже есть, будет создана (собрана) первая цель, которую make сможет найти. Если make-файла нет (или он есть, но в нем нет целей), make об этом сообщит.

Чтобы обратиться к конкретной цели, запустите:

Здесь цель — это название цели (без квадратных скобок).

make может догадаться, что делать, используя встроенные правила, без дополнительной информации от пользователя. Попробуйте создать файл test.c в пустой папке и запустить make. test.make скомпилирует test.c, используя встроенное шаблонное правило, и соберет цель с названием test. Это сработает даже через несколько шагов генерации промежуточных файлов.

Специальные цели

В большинстве make-файлов можно найти цели, называемые специальными. Вот самые распространенные:

• all — собрать весь проект целиком;
• clean — удалить все сгенерированные артефакты;
• install — установить сгенерированные файлы в систему;
• release или dist — для подготовки дистрибутивов (модули и тарболы).

Они не обязательно должны присутствовать в make-файле, но большинство сборочных процессов странно представить без хотя бы первых трех.

При сборке этих целей не будут созданы файлы с именами, например, all или clean. make обычно решает, запускать ли какие-либо процессы, основываясь на данных о том, нужно ли изменять целевой файл. Создание файлов с подобными именами не даст make произвести никаких изменений с целями.

Для предотвращения этого GNU make позволяет помечать такие цели как «фиктивные» (phony), чтобы запускать их в любом случае. Сделать это можно, добавив необходимые цели в качестве пререквизитов во внутреннюю цель .PHONY следующим образом:

Цель all обычно просто содержит главный исполняемый файл в пререквизите — иногда с дополнительными командами для пост-обработки генерируемых файлов. Так как мы в большинстве случаев хотим, чтобы цель all исполнялась по умолчанию, она должна стоять первой в файле.

Для цели clean стоит добавить список команд, удаляющих все генерируемые файлы. Это может быть легко сделано с использованием переменных, о которых мы поговорим в следующем разделе.

Переменные и функции

Как и в большинстве языков программирования, make-файлы можно сделать более читабельными, используя переменные. make импортирует свою среду, позволяя нам определять переменные внутри файла через внешние источники.

Основные операции

Определять переменные и ссылаться на них можно следующим образом:

Ссылаться на переменные можно через $(NAME) или ${NAME}. Если опустить скобки, make сочтет за имя переменной только первый символ. Присоединение осуществляется при помощи оператора +=. Можно также задать условные переменные с помощью ?= (если им еще не присвоены значения).

Наконец, большинство реализаций make позволяют нам задать выходную переменную с помощью оператора != при порождении одного подпроцесса за операцию.

Передача аргументов встроенным шаблонным правилам

Ранее мы видели некоторые шаблонные правила в действии, правда, во всех случаях они запускали одни и те же базовые команды. Конечно, требования к сборке не всегда одинаковы, и инструменты могут запрашивать разные флаги для разных задач.

Например, какому-то ПО нужно обеспечить соединение с разными библиотеками, или заданные оптимизации различаются для сборки отладки и итоговой сборки.

Поэтому встроенные правила в make включают в себя несколько распространённых переменных в важных местах команд. Мы можем установить их по желанию из make-файла или внешней среды.

Это позволяет, например, запускать один и тот же make-файл с разными компиляторами, снабдив make необходимым именем бинарного файла для выполнения. Так задаётся переменная среды компилятора C:

Вот некоторые из самых известных переменных, которые вы могли видеть, если когда-нибудь заглядывали в make-файл:

• $(CC) / $(CXX) — бинарные файлы для компиляторов C и C++, которые make использует для сборки;
• $(CFLAGS) / $(CXXFLAGS) — флаги, передаваемые компиляторам;
• $(LDLIBS) — присоединяемые библиотеки.

Программные переменные

make хранит некоторые распространённые программы в переменных. В основном это делается для того, чтобы при необходимости их можно было перезаписать.

Самая важная из них — $(MAKE), которая должна использоваться при рекурсивном вызове make из make-файла. Она принимает во внимание аргументы командной строки из исходного вызова.

В цели clean, главная задача которой — удаление файлов, безопаснее использовать переменную $(RM) вместо прямого вызова rm.

Функции нескольких переменных

GNU make определяет некоторые очень полезные методы, большинство которых работает со словами, то есть с разделенными пробелами строками символов. Это облегчает работу с переменными, содержащими в себе списки файлов.

Функции вызываются таким же образом, как вызывалась бы переменная с таким же именем, но с добавлением аргументов перед закрывающей скобкой.

Вот некоторые наиболее интересные методы:

• $(wildcard шаблон) возвращает список с названиями файлов, соответствующих шаблону, которые в том числе могут представлять собой относительный путь. Список внутри разделен с помощью пробелов, что проблематично для работы с файлами, содержащими пробелы в названии. Лучше всего избегать таких файлов при работе с make. Шаблон может содержать универсальный символ *;
• $(patsubst шаблон поиска, шаблон замены, список слов) заменяет все слова в списке, которые соответствуют шаблону поиска в соответствии с шаблоном замены. Оба шаблона используют % в качестве символа;
• $(filter-out шаблон поиска, список слов) возвращает список всех слов, отфильтрованных по шаблону поиска;
• $(notdir список слов) возвращает список слов, где имя каждой записи сокращается до основного (то есть если имя содержит название директории, то оно отфильтровывается);
• $(shell команда) запускает команду в подпроцессоре и перехватывает стандартный вывод подобно оператору !=. Оболочка для выполнения команды определяется переменной $(SHELL).

Подробное описание функций можно найти в официальной документации.

Продвинутое использование переменных

Отсылки к переменным можно делать в любом контексте внутри make-файла. Можно даже соорудить имя исполняемого файла внутри списка команд с помощью соединения нескольких переменных. Это позволяет использовать переменные в качестве целей или пререквизитов и создавать простые конструкции типа:

Данный make-файл создает список всех исходных C-файлов в директории, заменяет суффикс .c на .o, используя функцию $(patsubst ...), и потом использует этот список файлов в качестве пререквизитов к цели all. При запуске make станет собирать цель all, потому что она определена первой. Так как цель зависит от нескольких объектных файлов, которые могут ещё не существовать или должны быть обновлены, а make знает, как их сделать из исходных C-файлов, все запрашиваемые файлы также будут собраны.

Это становится мощным инструментом в сочетании с шаблонными правилами — мы можем автоматически собирать пререквизиты, которые косвенно используются в качестве новых целей.

Замена суффиксов

Для совместимости с другими реализациями make обеспечивает альтернативный синтаксис при вызове функции $(patsubst ...), называемый «ссылка с заменой» и позволяющий заменить некоторые суффиксы в списке слов на другие.

Make-файл из предыдущего примера можно преобразовать следующим образом:

Важно Вместо функции $(wildcard ...) используется оператор !=.

Целезависимые переменные

Это ещё одна интересная особенность, использование которой ведёт к сокращению кода: она позволяет устанавливать переменным разные значения в зависимости от текущей цели.

В этом примере мы бы установили $(FOO) значение bar глобально, значение frob для цели один и значение bar baz для цели два.

Можно использовать любые необходимые операторы присваивания, что позволяет, например, создавать цели с разными наборами флагов для компилятора, просто присвоив переменной $(CFLAGS) разные значения.

Интеграция с внешними процессами

В связи с тем, что дистрибутивы Linux в большинстве случаев поставляются с системой управления пакетами и многие пакеты создаются из проектов, использующих make для сборки, были приняты некоторые общие правила использования переменных.

В основном они касаются установки целей проекта, так как бинарные пакеты часто состоят из результатов запуска make install, упакованных в распространённом формате. Важно запомнить следующие переменные:

• $(DESTDIR) должна быть пустой по умолчанию и никогда не должна задаваться из make-файла (режим чтения). Используется составителями пакета для вставки пути доступа перед устанавливаемыми файлами;
• $(PREFIX) — значение этой переменной в вашем make-файле должно соответствовать /usr/local или другому заданному вами пути. Она позволяет пользователю пакета задать желаемую директорию для установки. Задавайте значение этой переменной, только если оно не было передано окружением (используя оператор ?=).

Определение шаблонных правил

Синтаксис для написания шаблонных правил во многом похож на обычный синтаксис целей. Основное отличие состоит в использовании шаблонного символа % в основе цели (её имени до расширения), который и будет применяться для поиска соответствий.

Шаблон также может быть использован в списке пререквизитов, где он будет заменён на основу для формирования неявно определённых пререквизитов. (Список пререквизитов в случае чего можно расширить и явно определёнными.)

Также можно перезаписать любое из встроенных правил с помощью определения правила с такой же целью и пререквизитами.

Так как шаблонное правило должно быть написано таким образом, чтобы отличаться от реальных имён файлов, с которыми оно вызывается, make предоставляет специальные переменные для определения шаблонных правил.

Динамические переменные

Все имена динамических переменных состоят из одного знака, поэтому скобки для ссылки на них не нужны. Таких переменных довольно много, рассмотрим наиболее необходимые:

• $@ — полное название цели;
• $< — имя первого пререквизита (в том числе косвенно сгенерированного поиском по шаблону);
• $^ — разделенный пробелами список всех пререквизитов (версия GNU).

Шаблонное правило, конвертирующее размеченные файлы в HTML с использованием markdown, получает такой вид:

Итоги

Ранее мы разобрали некоторые из наиболее трудных аспектов в контексте make-файлов. Перед вами относительно сложный, но тем не менее полезный make-файл, использующийся для статей на сайте автора:

Скрипт generate_article.py реализует минималистичный шаблонизатор, используя index.htm в качестве базы для вставки HTML, сгенерированного из входных файлов. Присутствие шаблонизатора в пререквизитах шаблонного правила обеспечивает, что изменения в шаблонизаторе вызовут изменения всех файлов, относящихся к статье.

Для дальнейшего изучения make рекомендуем ознакомиться с официальным руководством.

Зачем такое создавать?

Автор любит стековые языки программирования типа Форта, а также раньше пользовался калькулятором dc, после которого все остальные калькуляторы кажутся не столь мощными. Но интерфейс dc оказался недостаточно удобным.

Принцип работы

Ввод числа проталкивает его в стек, а арифметические операции берут аргументы, удаляя их из стека, и затем проталкивают результат. Благодаря обратной польской нотации (операнды располагаются перед знаками операций) пропадает неоднозначность вычислений: не нужно использовать скобки и беспокоиться о расстановке приоритетов.

Установка

Следующая команда установит Clac в директорию /usr/local/bin:

Если вы хотите самостоятельно задать папку, используйте:

Для удаления калькулятора из системы:

С подробным описанием и списком поддерживаемых операций можно ознакомиться на соответствующей странице репозитория.

Что нового в WSL?

Во время цикла разработки Windows 10 Creators Update (CU) команда разработчиков WSL добавила сотни исправлений и улучшений, большинство из которых можно найти в списке изменений. Мы же опишем самые выдающиеся из них.

Дополнительная совместимость

Основной целью для Win10 CU было значительно улучшить глубину и широту WSL-совместимости с интерфейсом системных вызовов Linux (SCI). Расширяя и улучшая реализации системных вызовов, Microsoft увеличивает количество доступных инструментов, платформ и сред выполнения.

Каков результат? В Win10 CU большинство основных инструментов разработчика теперь работают, как и должны, в том числе:

• основные инструменты: apt, sed, grep, awk, top, tmux, ssh, scp и прочее;
• оболочки: Bash, zsh, fish и т. д.;
• инструменты для разработки: vim, emacs, nano, git, gdb и т. д.
• языки и платформы: Node.js и npm, Ruby и Gems, Java и Maven, Python и Pip, C / C ++, C # и .NET Core с Nuget, Go, Rust, Haskell, Elixir / Erlang и другие;
• системы и службы: sshd, Apache, lighttpd, nginx, MySQL, PostgreSQL.

Поддержка Ubuntu 16.04

В то время, как Anniversary Update Win10 предоставило поддержку Ubuntu 14.04, в Creators Update WSL теперь поддерживает Ubuntu 16.04. Любые новые версии Bash, установленные на Win10 CU, теперь устанавливают Ubuntu 16.04.

Если вы хотите узнать, какую версию Ubuntu вы используете, введите следующую команду в Bash на Ubuntu :

Важное примечание: Существующие версии Ubuntu14.04НЕ обновляются автоматически до16.04: выдолжны вручную обновиться доUbuntu16.04.

ifconfig и поддержка перечисления сетевых подключений

Одной из главных неприятностей для Win10 AU было то, что ему не хватало возможности перечислять сетевые соединения, и это мешало правильной работе таких инструментов, как ifconfig, gulp и npm. Это было исправлено в Win10 CU, и теперь вы можете использовать ifconfig для перечисления и проверки конфигурации доступных сетевых адаптеров:

Поддержка Ping и ICMP

Еще одна проблема, с которой пользователи столкнулись в Win10 AU, заключалась в том, что не администраторы не могли проверить связь с конечной точкой сети. В Win10 CU это исправлено:

Поддержка уведомлений об изменении файлов (INOTIFY)

Еще одно исправление — это возможность регистрации уведомлений при изменении файла. Это существенная функция, часто используемая веб-, Node-, Ruby- и Python-разработчиками, а также многими другими.

Windows и Linux

Основной целью создания WSL было сокращение «пробелов», возникающих при работе с инструментами Windows вместе с инструментами и командной строкой Linux. Когда в Windows 10 AU внедрили WSL, Linux и Windows объединились друг с другом, но по-прежнему существовал большой «пробел». Несмотря на то, что обе системы могли использовать одни и те же файлы, среды были довольно сильно изолированы друг от друга.

Пользователи часто говорили, что хотели бы работать с приложениями приложения Windows в Bash и открывать приложения Linux из Windows. И эта функция появилась!

В Windows 10 Creators Update теперь можно запускать приложения и инструменты Windows из Bash …

… и вы можете запускать файлы / команды / скрипты Linux в Windows:

Улучшения в сокетах UNIX и Netlink

Некоторые аспекты сокетов UNIX и сокетов Netlink не поддерживались в Anniversary Update.

В обновлении Creators в WSL были добавлены сокеты дейтаграмм UNIX и сокеты Netlink. Параметры и свойства позволяют использовать различные формы IPC.

Улучшения в TCP-сокете и IPv6

В обновлении для авторов команда WSL и группы Windows Core Networking работали вместе, чтобы позволить WSL поддерживать несколько дополнительных параметров и свойств сокетов IPv6 и TCP. Это позволяет использовать широкий спектр инструментов и технологий, которые полагаются на различные функции сетевых сокетов, улучшенную поддержку IPv6 и т. д.

Другие улучшения WSL

Перечисленные выше улучшения WSL представляют собой лишь некоторые из наиболее заметных и примечательных изменений. Но есть сотни других улучшений WSL, включенных в Creators Update. Ниже приведены некоторые из них.

• Процессы Linux подвержены инфраструктуре перечисления Windows, поэтому они отображаются в TaskManager;
• Добавлены функции, помогающие включить средства защиты от вредоносных программ и брандмауэров для понимания процессов Linux;
• Поддержка общей памяти, требуемая PostgreSQL и другими инструментами.

Консоль Windows является одной из фундаментальных частей всей операционной системы и является частью Windows на протяжении нескольких десятилетий. Около двух лет назад была сформирована новая консоль Windows, которая позволила самой консоли измениться впервые за 30 лет!

Одним из ключевых поводов для капитального обновления консоли была необходимость включить панель для отображения вывода инструментов командной строки Linux и приложений, работающих на WSL.

Что нового в консоли?

Поскольку консоль Windows изначально не была создана для поддержки *NIX-систем, она не могла обрабатывать различные команды и данные, генерируемые средствами командной строки и приложениями *NIX.

В Windows 10 Anniversary Update консоль была усовершенствована, позволяя обрабатывать большинство распространенных VT Sequence, позволяя ей правильно отображать большинство простого форматирования текста. Однако не хватало поддержки для нескольких более сложных сценариев.

В Windows 10 Creators Update поддержка VT Sequence в консоли была дополнительно улучшена, чтобы корректно обрабатывать несколько более продвинутые VT Sequence, позволяя консоли освещать многие функции богатого текстового интерфейса в vim, emacs, Midnight Commander, tmux, htop и других.

Поддержка 24-битного цвета

Еще один частый запрос заключался в том, чтобы консоль поддерживала более 16 цветов. Это важно при работе с все более богатыми и современными инструментами командной строки, оболочками и прочим.

В Win10 Creators Update консоль обновлена и поддерживает 24-битный цвет!

Для получения дополнительной информации можете прочитать запись в блоге, посвящённую этому изменению.

Поддержка мыши

Количество многофункциональных текстовых интерфейсов постоянно растет, и поэтому пользователям нужна поддержка мыши для таких инструментов, как Midnight Commander, Htop и тому подобного. Поэтому эта функция также появилась в новом обновлении.

Символьные ссылки в Windows без прав администратора

Символьные ссылки (симлинки) — важный инструмент, широко используемый в Linux, но в меньшей степени в Windows. Для их создания необходимы права администратора.

В Windows 10 Creators Update было отменено ограничение прав администратора для пользователей, которые включили режим разработчика, позволяя создавать символические ссылки в консоли.

Итоги

И в WSL, и в консоли появилось много новых дополнений, улучшений, функций и возможностей. Но, несмотря на то, что консоль и WSL были значительно улучшены в Creators Update, важно отметить, что WSL остается бета-функцией в Creators Update.

В данной шпаргалке затрагиваются следующие темы: введение в оболочку, навигация, основные команды, переменные окружения, коннекторы, конвейеры, перенаправление ввода/вывода, права доступа и комбинации клавиш.

Оболочка Bash: введение

Оболочка, или шелл (shell) — это программа, в нашем случае названная «bash», что является сокращением от Bourne Again Shell. Оболочка принимает ваши команды и передаёт их операционной системе. Для взаимодействия с системой используются терминалы, такие как gnome-terminal, eterm, nxterm и т. п.

Навигация

В Linux файлы и каталоги имеют иерархическую организацию, то есть существует некий начальный каталог, называемый корневым. В нём содержатся файлы и подкаталоги, которые в свою очереди содержат файлы и свои подкаталоги.

pwd

Команда pwd, сокращение от print working directory, отображает текущее местоположение в структуре каталогов.

cd

Команда cd позволяет перейти в новый каталог.

mkdir

Команда mkdir создаёт новый каталог в текущем каталоге.

Основные команды

man

Команда man отображает руководства по командам. Например, следующая команда выдаст всю информацию о команде cat:

cat

Команда cat считывает файл, переданный как аргумент, и выводит его содержимое по стандартному каналу вывода. Передача нескольких файлов в виде аргумента приведёт к выводу конкатенированного содержимого всех файлов.

echo

Команда echo выводит свои аргументы по стандартному каналу вывода.

Если вызвать echo без аргументов, будет выведена пустая строка.

head

Команда head читает первые 10 строк любого переданного текста и выводит их по стандартному каналу. Число выводимых строк можно изменить:

tail

Команда tail работает аналогично команде head, но читает строки с конца:

Также можно просматривать добавляемые к файлу строки в режиме реального времени при помощи флага -f:

less

Команда less позволяет перемещаться по переданному файлу или куску текста, причём в обоих направлениях.

Подробнее о назначении символа | будет рассказано ниже в разделе команды history.

true

Команда true всегда возвращает ноль в качестве выходного статуса для индикации успеха.

false

Команда false всегда возвращает не-ноль в качестве выходного статуса для индикации неудачи.

$?

$? — это переменная, которая содержит выходной статус последней запущенной команды. Под статусом обычно понимается код возврата программы. 0 означает успешное выполнение программы, любое значение большее 0 отражает тот факт, что в процессе выполнения возникли некоторые ошибки. Кстати, именно поэтому в bash истинной (true) считается 0, а все, что не 0 — ложью (false):

grep

Команда grep занимается поиском переданной строки в указанном файле:

grep также может принимать несколько файлов и регулярных выражений для уточнения формата текста.

Также можно ознакомиться с руководством по regex. У нас на сайте тоже есть руководство по «регуляркам» в Python для новичков.

sed

Команда sed — это потоковый редактор, преобразующий входные текстовые данные. Обычно её используют для замены выражений так: s/regexp/replacement/g. Например, следующий код заменит все слова «Hello» на «Hi»:

Также вы можете ознакомиться с руководством по sed.

history

Команда history выводит историю командной строки. Обычно её используют вместе с командой grep для поиска конкретной команды. Например, следующий код найдёт все команды, содержащие строку g++:

Здесь также используется символ | — это так называемый конвейер (pipe). Благодаря ему можно перенаправлять вывод одной команды на вход другой — таким образом в примере выше вся история, которая в обычном режиме выводится командой history прямо в вывод терминала, будет перенаправлена в grep в качестве входных данных. Мы не увидим вывода команды history, но увидим вывод команды grep.

Это может быть довольно сложно для понимания без практики, поэтому поэкспериментируйте самостоятельно, например с командами ls, history, ps (описана ниже), перенаправляя их вывод в grep, sed или less, например.

export

Команда export устанавливает переменные окружения для передачи дочерним процессам. Например, так можно передать переменную name со значением student:

ps

Команда ps выводит информацию о запущенных процессах.

Выводится четыре элемента:

• ID процесса (PID),
• тип терминала (TTY),
• время работы процесса (TIME),
• имя команды, запустившей процесс (CMD).

awk

Команда awk находит и заменяет текст в файлах по заданному шаблону: awk 'pattern {action}' test.txt

wget

Команда wget скачивает файлы из Сети и помещает их в текущий каталог.

nc

Команда nc — это утилита для отладки сети. Также можно ознакомиться с руководством по nc.

ping

Команда ping тестирует сетевое подключение.

Статистика в конце показывает количество подключений, совершённых до завершения команды, и время их выполнения.

git

Git — это популярная система контроля версий. Также можно ознакомиться с руководством по git и нашими материалами.

Переменные окружения

Переменные окружения — это именованные переменные, содержащие значения, используемые одним или несколькими приложениями.

Переменная PATH содержит список каталогов, в которых система ищет исполняемые файлы.

Переменная HOME содержит путь к домашнему каталогу текущего пользователя.

Коннекторы

Коннекторы позволяют запускать несколько команд одновременно.

Конвейеры

Конвейеры, или пайпы, позволяют соединять входные и выходные каналы различных команд. В следующем примере вывод команды ls будет передан в head , и в результате будет напечатано лишь 10 первых элементов.

Перенаправление ввода/вывода

Перенаправление вывода

Для стандартного перенаправления вывода используются символы > и >>.

Например, этот код передаст вывод ls в файл, а не на экран:

Если файл не существует, он создаётся, а если существует, то перезаписывается. Во избежание перезаписи стоит использовать команду >> — она дописывает данные в конец файла.

Перенаправление ввода

Для стандартного перенаправления вывода используется символ <. В следующем примере sort берет входные данные из файла, а не с клавиатуры:

Команда sort выводит содержимое файла на экран, поскольку мы не перенаправили выход. Это можно сделать так:

Продвинутое перенаправление

Добавление & к > приводит к перенаправлению как стандартного потока выхода, так и потока ошибок. Например, файл test.cpp выведет строку stdout в cout и строку stderr в cerr.

Если вы хотите вывести конкретный файловый дескриптор, вы можете приписать его номер к >.

Например, для перенаправления stderr в test.txt нужно сделать следующее:

Права доступа

Команда ls -l выводит много информации о правах доступа к каждому файлу:

chmod

Команда chmod изменяет права доступа файла. Вот типичные сочетания флагов для изменения прав конкретных пользователей:

Вы можете вызвать chmod с описанием действий над конкретным файлом. Символ - обозначает удаление прав, символ + — добавление. Следующий пример сделает файл доступным для чтения и записи владельцу и группе:

Кроме того, chmod можно использовать с восьмеричными числами, где 1 — это наличие прав, а 0 — отсутствие:

Следующая команда сработает так же, как и предыдущая:

Также можно ознакомиться с руководством по правам доступа.

Сочетания клавиш

FAQ

Чем Bash отличается от других оболочек (Zsh, Fish)?

Bash — стандартная оболочка в большинстве дистрибутивов Linux и macOS (до Catalina). Zsh предлагает более продвинутое автодополнение и плагины (Oh My Zsh), а Fish — интуитивный синтаксис и подсветку прямо из коробки. Однако Bash остаётся самым универсальным выбором: скрипты на Bash работают практически везде без дополнительной настройки.

Как запустить Bash-скрипт?

Создайте файл с расширением .sh, добавьте в первую строку шебанг (#!/bin/bash), напишите команды и сделайте файл исполняемым: chmod +x script.sh. После этого запустите его командой ./script.sh или bash script.sh.

Что означает символ | (pipe) в командной строке?

Символ | (pipe, конвейер) перенаправляет стандартный вывод одной команды на стандартный вход другой. Например, ls | grep txt выведет только файлы, содержащие "txt" в имени. Это один из ключевых принципов Unix-философии: простые команды, соединённые в цепочку.

Как посмотреть историю команд в Bash?

Используйте команду history для вывода всей истории. Для поиска конкретной команды нажмите Ctrl+R и начните вводить часть команды — Bash покажет последнее совпадение. Также можно использовать history | grep ключевое_слово для фильтрации.

Как изменить права доступа к файлу в Linux?

Используйте команду chmod. Буквенная запись: chmod u+rwx,g+rx,o+r file — даёт владельцу все права, группе чтение и выполнение, остальным только чтение. Числовая запись: chmod 754 file — делает то же самое. Числа складываются из r=4, w=2, x=1.

1. ccze

Инструмент для декорации логов.

Примеры:

Список модулей:

Сохранение лога в формате HTML:

2. dstat

Гибкий инструмент, который можно использовать для мониторинга памяти, процессов, сетей и прочего. Неплохая замена для ifstat, iostat, dmstat и т.д.

Примеры:

Детальная информация о процессоре, жёстком диске и сети:

Информация только о процессоре:

Более подробная информация о процессоре:

Информация о диске:

3. findmnt

Команда findmnt используется для поиска подключённых файловых систем. С её помощью можно вывести список подключённых устройств, а также подключить/отключить устройство.

Примеры:

Вывод в формате списка:

Сортировка по типу файлов:

4. nmon

Nmon — это инструмент, отображающий информацию о производительности системы.

nmon может выводить информацию об использовании сетей, процессора, памяти и диска.

Информация о процессоре:

Информация о сетях:

5. ncdu

Версия ‘du’ с поддержкой курсора, используется для анализа занятого дискового пространства.

Конечный вывод:

6. ranwhen.py

Инструмент, написанный на Python и способный графически отображать активность системы. Детали представлены красочными гистограммами.

Установите Python:

Обновите систему:

Скачайте Python:

Скачайте и распакуйте ranwhen.py:

Запустите инструмент:

7. ss

ss — хорошая замена netstat, она превосходит её в скорости.

Примеры:

Вывод всех подключений:

Вывод только tcp-трафика:

Вывод имён и pid процессов:

8. saidar

Ещё одна программа для мониторинга системы.

Примеры:

Раскрашенный вывод:

9. slurm

CLI-инструмент, предназначенный для мониторинга сетевых интерфейсов.

Примеры:

10. w

Вывод списка вошедших в систему пользователей и исполняемых ими процессов.

Помощь:

Информация о текущем пользователе:

Надеемся, вам пригодятся эти малоизвестные, но полезные инструменты администрирования Linux. Также ознакомьтесь с нашей статьёй, посвящённой полезным командам Linux.

После этой команды можно использовать git lg вместо стандартного git log. Что же делает git lg? Она превращает стандартный неинформативный вывод:

А еще у нас есть полное прохождение Learn Git Branching, которое обязательно пригодится на первых этапах изучения VCS.