Юля Килина и Лада Евтюкова, эксперты департамента бизнес-приложений КРОК, смогли решить задачу с помощью инструментов блока бюджетирования «коробочной» версии 1С. И провели по этой теме митап, где рассказали, как быстро формировать нужные документы и эффективно организовать учёт по краткосрочным бизнес-проектам, используя базовые инструменты 1С ERP УХ.

Делимся записью митапа и важной информацией из него: что важно учитывать в работе, как формировать отчёты, как использовать инструменты 1C ERP УХ. А также кратко описываем, как настроили свою систему.

Что учитывать при организации проектного учёта

Бэкграунд компании

Проектные компании ведут несколько внешних проектов одновременно. Искомый учёт должен адекватно это отражать, и процесс установки и внедрения системы для каждой компании требует индивидуального подхода.

Кроме того, перед началом работы стоит решить методологические задачи и зафиксировать их в учётной политике. Обычно они касаются:

• формирования структуры прямых затрат;
• распределения накладных расходов между проектами;
• разработки методики трансфертного ценообразования — при работе над проектами разных подразделений;
• учёта коммерческих затрат, формирующихся перед началом проекта и направленных на него.

Чем точнее будут описаны методики, тем лучше будет оценка рентабельности и финансовой эффективности проекта.

Отчёты

Кроме стандартных отчётов: по доходам и расходам, по движению денежных встреч, финансовые результаты, управленческий баланс — стоит формировать дополнительные.

Среди них отчёт по маржинальной стоимости в разрезе проектов, отчёт о рентабельности по проектам, распределение денежных средств по проектам, план-факт БДР и план-факт БДДС.

Чтобы сделать дополнительные отчёты, сперва нужно сформировать требования. Они должны исходить от потребителя: собственника, акционера, инвестора, менеджера или исполнителя. Форма и аналитика также могут меняться в зависимости от пользователя.

Формировать отчеты нужно в два этапа.

Сперва задаём структуру строк и колонок, уровни детализации статей доходов и расходов. И определяем состав проекта: что приносит доход, а что требует расходов. Получаем отчётность, удобную для использования, — таблицу данных, опираясь на которую сможем принимать решения по проекту.

Дальше создаём методологию.

• Определяем источники данных, которые будем использовать для ведения проектного учёта и формирования отчётов. Обычно это набор ресурсов, уникальный для каждой компании.
• Определяем варианты использования данных, решаем, какую сумму отразить в отчёте, где и как отражать операции, какую аналитику выгружать и так далее. То есть определяем состав отчётных форм.

Итогом всех наших усилий становится распределение всех доходов и расходов и создание дополнительных отчётов.

Как мы управляем скоупом проекта с помощью 1С ERP УХ

1. Определяем функциональные блоки системы: регламентированный учёт, блок закупок, блок продаж, склад, доставка, расчёты с персоналом и так далее.
2. Выделяем характерные для каждого блока бизнес-процессы. Среди них авансовые отчёты, расчёты по заработной плате, заключение договора с поставщиком, приобретение товаров, инвентаризация.
3. В процессе моделирования собираем требования к шагам и ранжируем их по типам: стандартная функциональность, настройка, кастомизация.
4. Далее мы определяем, где нужна кастомизация, объединяем доработки в блоки, оцениваем и переходим к проектированию.
5. Когда система разработана, проводим локальное, функциональное и интеграционное тестирование.
6. Пишем инструкцию для пользователей.

Для всей работы у нас есть инструмент — интегрированный стенд разработки, который помогает снизить нагрузку и отслеживать все процессы. Как он работает:

• Сначала мы в системе прикладных решений регистрируем все бизнес-процессы и функциональные блоки. Далее описываем процесс по шагам, привязываем требования, которые система ранжирует.
• Затем формируется функциональный дизайн расширения, и разработчику поступает документ с прописанными объектами метаданных. Это позволяет ему исключить ошибки. Дальше разработчик делает проект, который мы тестируем, превращаем бизнес-процесс и передаём заказчику.
• Наконец, бизнес-процесс превращается в инструкцию. Мы дополняем её скриншотами — и всё готово.

А также:

• что сегодня умеет искусственный интеллект;
• где его применяют чаще всего;
• в каких сферах его можно будет использовать в ближайшие годы — и почему это стоит делать;
• как это повлияет на жизнь большинства людей, и стоит ли бояться проблем с работой.

00:24 О спикере

01:51 Можно ли создавать классные IT-продукты в условиях ограниченного технологического обмена?

06:55 Как ИИ изменит нашу жизнь в ближайшие 5 лет?

11:40 Видеоаналитика, виртуальные ассистенты, edge computing: на какие технологии делает ставку МТС AI

15:00 «Мы не верим, что придут злые роботы и отнимут у нас хлеб»: ИИ и рынок труда

20:45 Не для галочки: когда ИИ может помочь бизнесу

22:57 Сектора, в которых внедрение ИИ наиболее экономически оправдано

23:54 Влияние биометрической идентификации на жизнь и бизнес

27:15 Могут ли технологии узнать нас по походке?

31:50 Кража идентичности: надо ли бояться биометрических технологий и что такое Liveness

36:40 Зачем нужны дипфейки

38:25 Можно ли в современном мире сохранять полную конфиденциальность?

39:41 ИИ и реконструкция прошлого

GitHub репозиторий.

GitHub репозиторий

Плейлист с предыдущими частями

Репозиторий проекта на GitHub

Предыдущие уроки:

Урок 1 — REST API и веб-сервер.

Урок 2 — REST API, логирование.

Урок 3 — REST API. Конфигурация.

Урок 4 — REST API, MongoDB, первая часть.

Урок 5 — REST API, MongoDB, вторая часть.

Репозиторий проекта на GitHub

Предыдущие уроки:

Урок 1 — REST API и веб-сервер.

Урок 2 — REST API, логирование.

Урок 3 — REST API. Конфигурация.

Урок 4 — REST API, MongoDB, первая часть.

Установка VS Code с нуля и полная настройка для написания и запуска кода на Golang.

Репозиторий с кодом уроков

Предыдущие уроки:

Урок 1 — REST API и веб-сервер.

Урок 2 — REST API, логирование.

Урок 3 — REST API. Конфигурация.

JSON — формат, который используется повсеместно для передачи данных по сети. В языке Go есть встроенные средства для работы с ним.

Предыдущие уроки:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

Девятый урок — многопоточность, горутины и каналы.

Десятый урок — многопоточность, примитивы синхронизации.

Одиннадцатый урок — работа с паниками.

Двенадцатый урок — тестирование с помощью GoConvey.

Тринадцатый урок — работа с файлами и выполнение shell-команд.

Четырнадцатый урок — работа с Context.

Идея приложения

Вы хотите поднять локально PostgreSQL или MongoDB, или RabbitMQ, или nginx, или ещё что-то. Но открывать терминал, искать Docker-образ, настраивать его — лень. Что уж говорить о решении с виртуальной машиной и ручной установкой продукта.

Я хочу сделать десктопное приложение, которое позволит быстро запустить и развернуть любой продукт, без единой строчки конфигурации в простом режиме.

Конечно, можно предусмотреть продвинутый режим, в котором будет возможность отредактировать конфигурацию docker’a или docker-compose файла. Но основная мысль в том, чтобы развернуть PostgreSQL, не исправляя ни единой строчки в конфигурации, а просто нажав 2-3 кнопки в интерфейсе.

Подробности и мои мучения в видео.

02:05 Доклад Семёна Красикова «UX в игровых интерфейсах и в играх в целом».

33:00 Ответы на вопросы по докладу Семёна Красикова.

41:05 Доклад Артемия Джикия «Реверс-инжиниринг в гипер-казуальных играх».

50:40 Ответы на вопросы по докладу Артемия Джикия.

1:05:37 Ответы на дополнительные вопросы по докладу Семёна Красикова.

1:13:47 Афтерпати. Зритель показывает свою игру и рассказывает подробности её разработки.

Если вам интересна тема геймдева, подписывайтесь на наш телеграм-канал:

Для конфигурации мы будем использовать библиотеку Clean Env.

Используемая библиотека для конфигурации.

Ссылка на репозиторий с кодом уроков.

Предыдущие уроки:

Урок 1 — REST API и веб-сервер.

Урок 2 — REST API, логирование.

Существует много разных логгеров. Мне понравился logrus. Я написал для него обёртку, он справляется со своей задачей. Вы можете взять любой другой логгер. Это не важно. Важно использовать логирование и использовать его по назначению. Это позволяет понять, что сейчас происходит, что конкретно приложение делает.

Предыдущие уроки:

Урок 1 — REST API и веб-сервер.

Также я устроил конкурс. Разыгрываю 2 купона на IDE Goland.

Правила:

1. Подписаться на ютуб-канал.
2. Написать комментарий под этим видеоуроком по Golang.
3. Присоединиться к группе Telegram или VK (ссылки в описании к видео)
4. Написать реализацию функции замыкания (closure), выложить на github.com в виде репозитория или Gist.
5. Ссылку на Gist или репозиторий прислать в личку в VK или в Telegram.

Два победителя (выберет сайт random.org) получат купон на IDE Goland от компании JetBrains.

Приятного просмотра и желаю удачи в конкурсе!

Предыдущие уроки по Golang:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

Девятый урок — многопоточность, горутины и каналы.

Десятый урок — многопоточность, примитивы синхронизации.

Одиннадцатый урок — работа с паниками.

Двенадцатый урок — тестирование с помощью GoConvey.

Тринадцатый урок — работа с файлами и выполнение shell-команд.

Чтобы работать с файлами, используется модуль ioutil. Какие возможности он предоставляет и как ими пользоваться — рассказано в видео.

Предыдущие уроки по Golang:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

Девятый урок — многопоточность, горутины и каналы.

Десятый урок — многопоточность, примитивы синхронизации.

Одиннадцатый урок — работа с паниками.

Двенадцатый урок — тестирование с помощью GoConvey.

Предыдущие уроки по Golang:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

Девятый урок — многопоточность, горутины и каналы.

Десятый урок — многопоточность, примитивы синхронизации.

Одиннадцатый урок — работа с паниками.

В этом видеоуроке мы разберёмся, что такое паники в языке Go, как с ними работать, как обрабатывать и как использовать для написания бизнес-логики.

Предыдущие уроки по Golang:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

Девятый урок — многопоточность, горутины и каналы.

Десятый урок — многопоточность, примитивы синхронизации.

В этом видео мы разберём примитивы синхронизации в языке Golang.

Это часть видеокурса по изучению Golang для решения практических задач. Другие уроки курса ниже:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

Девятый урок — многопоточность, горутины и каналы.

Это часть видеокурса по изучению Golang для решения практических задач. Другие уроки курса ниже:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

Восьмой урок — тестирование с помощью стандартной библиотеки.

В таком случае вам придётся реализовать 24 интеграции. Каждая интеграция требует протокола взаимодействия, формата данных и валидации по схеме. Также нам необходимо выполнить нефункциональные требования, такие как:

• надёжность и гарантия доставки;
• подключение новых получателей (target систем);
• интеграция разных стеков.

Такая задача уже не кажется простой.

Почему стоит использовать Apache Kafka

Apache Kafka — это распределённое, отказоустойчивое решение с гибкой архитектурой. Скейлится до 100 брокеров и миллиона запросов в секунду, по опыту удавалось выжать 550-600 тысяч сообщений в секунду, до миллиона не доходил. Есть возможность обрабатывать данные с задержкой менее чем 10 ms, то есть в реальном времени.

Apache Kafka создали в компании LinkedIn. С 2012 года это Open Source проект в составе Apache Foundation. Kafka написан на Scala и Java, а своё название получил в честь писателя Франца Кафки.

Для чего можно использовать Kafka:

• Система обмена сообщений в микросервисной архитектуре.
• Сбор журналов событий, логов и метрик с различного ПО и оборудования.
• Stream processing — возможность потоковой обработки данных хранящихся в Кафке.
• Интеграция с Apache Spark, Storm, Hadoop и другими технологиями, использующимися для Big Data и Machine Learning-решений.

Kafka используют в 2000+ компаниях — то есть это очень распространённое программное обеспечение.

• Netflix применяет для онлайн-рекомендаций, пока вы смотрите кино.
• Uber собирает всю информацию о такси и поездках в реальном времени, также высчитывает маршрут, прогнозирует загруженность и считает цену поездки.
• LinkedIn использует для спама и сбора данных о действиях пользователей в режиме реального времени.

Во всех этих кейсах Kafka выступает в роли транспорта.

Основные сущности Apache Kafka

Основными сущностями для Apache Kafka являются:

• Broker — часть, отвечающая за приём, передачу и хранение сообщений.
• ZooKeeper — отдельный вспомогательный продукт для хранения состояния кластера, конфигурации и метаданных.
• Message или Record — сами данные.
• Producer — информационная система, которая отправляет данные в Kafka.
• Topic — то, куда попадают данные. Отправляются они в том же порядке что и прилетели (FIFO).
• Consumer — тот, кто получает данные из Kafka.

Record состоит из полей Key — опциональное поле для распределения сообщений по кластеру, Value — массив байт, Timestamp — время сообщения в формате Unix time, Headers —  key-value пары с пользовательскими атрибутами.

Topic может быть разделён на партиции для организации высокопроизводительной работы. Партиции могут быть распределены между узлами кластера, но Kafka может это сделать неравномерно.

Например, у вас три топика с тремя партициями. Один топик очень нагруженный, а два — не очень. Kafka может все партиции нагруженного топика распределить на один узел, и он будет очень нагружен. Это решается ручным конфигурированием.

Данные топика или партиции хранятся в log-файлах. Обычно там три файла: .log, .index и .timeindex. Они хранят в себе всю информацию по сообщениям.

В .log хранятся данные, offset, position и timestamp. В index хранится маппинг offset на position, а в timeindex — маппинг timestamp на offset. Максимальный размер .log-файла — 1GB. Когда этот размер превышен, создаются новые три файла log, index и timeindex. Эти три файла называются сегментами.

Особенности Kafka

Kafka не поддерживает ручное удаление данных из топика. Только автоматическая чистка по времени, которая настраивается через параметр Time-To-Live.

Kafka поддерживает репликацию, чтобы при потере узла кластера не потерялись данные. За это отвечает параметр replication-factor, который говорит, сколько копий партиций будет на разных узлах кластера.

Kafka обеспечивает согласованность данных при помощи master-slave кластеризации партиций топика. Например, топик делится на три партиции и одну из них Kafka назначает лидером. Остальные являются фолловерами.

Все операции чтения и записи происходят через лидер-реплику партиции. Поэтому если все лидер-реплики партиций окажутся на одном узле кластера, то этот узел станет самым нагруженным, а остальные будут просто отдыхать. В этом случае надо вручную перебалансировать кластер.

Если лидер-реплика умерла, нужно выбрать нового лидера. В дефолтной конфигурации фолловеры могут не обладать всеми данными. Это плохие кандидаты для лидеров.

Для исключения такой ситуации в Kafka есть механизм insync-реплик. Их количество задаётся в конфигурации. В таком случае при записи данных в лидер-реплику происходит синхронная запись в ISR-реплики-фолловеры. Такие ISR-реплики являются кандидатами на нового лидера. Внимание, это драматично влияет на производительность.

Producer отправляет сообщения только в лидер-реплик партиции. У отправителя есть опции отправки — acks. Она принимает параметры 0, 1 и −1 или all.

• Если acks = 0, значит отправителя не интересует подтверждение доставки и сообщения могут теряться. Этот режим нужен при огромных объемах данных и в специальных случаях.
• Если acks=1, значит отправитель ожидает подтверждения доставки сообщения от лидер-реплики.
• Если acks=all или −1, то отправитель ждёт синхронизации сообщения между всеми ISR-репликами лидер-реплики.

Также producer поддерживает все известные семантики доставки: at most once, at least once, exactly once (idempotence).

Consumer читает пачки сообщений только из лидер-реплики партиции. Их можно объединять в группы, чтобы в несколько потоков читать данные. Это делается при помощи параметра group.id. Consumer должен закоммитить получение данных из Kafka. Есть 2 вида коммитов: автоматические и ручные. Если после получения данных при автокоммите consumer упал, то он не получит эти данные повторно.

Kafka — очень популярна, это проверенное, высокопроизводительное и очень гибкое решение. Но при его использовании нужно понимать нюансы.

Предыдущие видео курса:

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

Седьмой урок — работа с ошибками и интерфейс Reader.

А у вас есть опыт использования языка Go?

0:10 Error and Stringers

13:57 Reader Interface

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Шестой урок — интерфейсы.

0:10 Interface с методами

09:03 Interface структуры + конструктор

18:30 Interface «под капотом»

20:10 Nil Interface

22:43 Interface как тип данных

26:30 Type assertions

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

Пятый урок — функции и методы.

Пятый урок посвящён функциям, замыканию, а также методам структур и указателям.

0:10 Callback functions

5:00 Замыкание

10:55 Методы структуры и указатели

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

Четвёртый урок — итератор for range и структура map.

В четвёртом уроке мы разберём цикл for с ключевым словом range и структуру map, которая реализует в Golang хэш-таблицу.

0:10 Цикл for с ключевым словом range

2:03 Структура map

15:30 Декодирование map to struct

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

Третий урок — указатели, структуры, массивы и слайсы.

0:10 Каталоги паттернов

2:50 AbstractFactory

15:18 Strategy

21:46 Proxy

Во время прохождения уроков этого видеокурса вы сможете разработать полноценное первое приложение на Python.

Первый урок — основы Python.

Второй урок — циклы, наследование и абстракции.

Третий урок — полиморфизм и инкапсуляция.

Четвёртый урок —интерфейсы и паттерны.

В третьем уроке продолжаем получать базовые знания — про указатели, структуры, массивы и слайсы.

0:14 Указатели

6:29 Структуры

15:40 Массивы

19:55 Слайсы

Первый урок — основы языка, первое приложение и веб-сервер в 3 строки.

Второй урок — циклы, ветвления, оператор defer.

0:11 Interfaces

7:14 Patterns

8:55 Pattern: Builder

13:15 Chain of Responsibility

29:24 Patterns: FabricMethod and TemplateMethod

32:43 Pattern: TemplateMethod

37:15 Pattern: Command

Цель этого видеокурса — помочь вам разработать полноценное первое приложение на Python.

Первый урок — основы Python.

Второй урок — циклы, наследование и абстракции.

Третий урок — полиморфизм и инкапсуляция.

1:10 Позиционные и именованные аргументы

8:35 Декоратор с аргументами

14:40 Полиморфизм

24:40 Инкапсуляция

34:24 Ломаем Python. Singledispatch. Почти перегрузка методов

В первом уроке мы разобрали основы Python, научились настраивать виртуальное окружение и даже создали первое небольшое приложение.

Во втором уроке мы поговорили про циклы, наследование и абстракции, а также затронули декораторы.

Второй урок тоже посвящён базовым знаниям. Мы разберём, как работают циклы, какие есть операторы ветвления, а также посмотрим на ключевое слово defer.

0:10 Константы

2:55 Возвращаемые параметры

7:25 Именные возвращаемые параметры

12:17 Пустой return

18:59 Оператор ветвления if

29:55 Оператор ветвления switch

33:25 Отложенные операции. Ключевое слово defer

В первом видео мы поговорим про сам язык Golang, выберем и настроим IDE для написания кода, напишем первое приложение, разберёмся с типами данных, посмотрим на компиляцию и сборку приложения под разные ОС. А ещё напишем веб-сервер и запустим его на macOS и Windows!

0:19 О языке Golang. Вводная

6:08 Выбор IDE

8:07 Создаем проёкт в GoLand

9:50 Переменные окружения ОС

11:36 Настраиваем GoLand

13:44 Первое приложение, функция main

16:42 Компиляция и запуск приложения

29:15 Переменные и типы данных

51:00 Конкатенация fmt.Sprintf()

56:04 Особенности сборки под macOS

58:50 Веб-сервер на Golang в 3 строки

1:00:42 Сборка и запуск веб-сервера под Windows и Linux

2:05 Циклы

10:00 Классы, наследование, сущности

25:30 Декораторы

А вот первый урок. В нём мы разобрали основы Python, типы данных, научились настраивать виртуальное окружение, разобрали ООП и функциональное программирование, разработали первое приложение (калькулятор) и познакомились с фреймворком FastAPI.

Цель этих уроков — помочь вам написать первое приложение. Но уже не калькулятор, а что-то более серьёзное, например, с использованием того же фреймворка FastAPI. Чтобы погрузиться в академическую разработку, читайте книжки, записывайтесь на курсы, экспериментируйте, читайте чужой код. И всё время пишите сами.

Python — язык общего назначения. На нём можно разрабатывать разные приложения, от калькулятора до полноценных информационных систем. Ещё он отлично подходит для изучения в качестве первого языка программирования.

0:37 Устанавливаем Python

7:48 Выбираем IDE для разработки на Python: VS Code, PyCharm и другие варианты

13:07 Создаём виртуальное окружение VirtualEnv: зачем это нужно и как настроить

15:45 Разбираем код на Python и запускаем скрипт для его выполнения

23:00 Изучаем основы Python: переменные и типы данных

46:20 Разрабатываем первое приложение на Python — калькулятор

01:00:38 Функциональное и объектно-ориентированное программирование: разбираем две парадигмы написания кода на простом примере с книгой

01:12:40 Разрабатываем веб-приложение на Python с помощью фреймворка FastAPI

Хотите изучить основы Python самостоятельно? Прочитайте историю разработчика, которому это удалось. Он также поделился источниками, которыми пользовался для самостоятельного изучения Python: книгами, курсами, видео на YouTube.

Содержание:

2:36 Первый квантовый компьютер в России

Первый кубит был получен в 2015 году. В 2017 году реализовали дисперсионное считывание, соединив кубит с резонатором. Первый двухкубитный алгоритм в МФТИ реализовали в 2019 году. Это совсем молодая технология для России, да и в мире она ещё достаточно сырая.

4:04 Принцип работы квантового компьютера и его отличия от классического компьютера

В квантовом компьютере без коррекции ошибок всё аналоговое: состояние кубитов непрерывно меняется. Переходы между состояниями описываются матрицами.

Квантовый компьютер берёт огромный вектор и умножает его на гигантские матрицы из реальных действительных чисел. В классическом компьютере работа с матрицами такого размера невозможна, потому что они не влезают в оперативную память.

6:52 Как квантовый компьютер выглядит внутри

Как и в обычном компьютере, процессор подключается к материнской плате. В квантовом компьютере материнская плата представляет собой весь криостат и подключенное к нему электронное оборудование, которое посылает управляющие импульсы.

13:13 Состояние кубита на Сфере Блоха

Для представления чистых состояний кубита используется Сфера Блоха. Например, у вас есть основное состояние. Вы посылаете на кубит импульс, после чего он переходит из основного состояния в возбуждённое. Сфера Блоха описывает для одного кубита все состояния, в том числе суперпозицию.

16:51 Процессор в квантовом компьютере

20:07 Подключение ПК к квантовому компьютеру

Квантовый компьютер выступает как сопроцессор. Уже даже появилось понятие QPU. К обычному бинарному компьютеру через PCI-слот подключается ретранслятор для работы с квантовым компьютером.

21:45 Квантовые алгоритмы

Самые популярные квантовые алгоритмы:

• алгоритм Шора — факторизация целых чисел;
• алгоритм Гровера — решение задачи перебора.

Ещё много алгоритмов предложено для решения задач, например, из линейной алгебры — перемножение матриц, решение систем линейных уравнений, — но они очень громоздкие. Пока нет системы коррекции ошибок, они работать не будут.

23:58 Использование квантового компьютера для машинного обучения

Всё делается в обычном Jupyter Notebook на ПК. Пишешь код на Python, загоняешь его в ретранслятор, дальше в работу включается квантовый компьютер.

Пример задачи: есть оценки сомелье и набор химических показателей вин. По набору химических показателей нужно определить, какая оценка будет у вина от сомелье. Это можно сделать классической нейросетью, а можно сделать квантовым алгоритмом. Фишка в том, что в квантовых алгоритмах вроде бы меньше параметров, которые нужно использовать, чтобы решить задачу. Но этот вопрос сейчас только изучается.

26:16 Управление криостатом

27:13 Устройство ретранслятора

28:07 Можно ли майнить на квантовом компьютере

Теоретически майнить на квантовом компьютере можно. Но пока нет подходящего для этого алгоритма.

28:26 Планы учёных

Сейчас идёт активная исследовательская деятельность в области создания кодов коррекции ошибок. Такие системы есть в классических компьютерах. Например, когда через канал передачи данных отправляются 5 одинаковых бит. Даже если 1 бит испортится, останется ещё 4 работающих бита. То же самое хотят реализовать в квантовом компьютере. Подобная система позволит получить так называемый логический кубит, но на нём будет труднее совершать операции, так как он стабилизирован.

29:29 Как измерить мощность квантового компьютера

Измерять мощность квантового компьютера можно по мощности классического компьютера, который был бы необходим для решения аналогичных задач.

Содержание:

0:17 Знакомство с MinIO

3:54 MinIO docker-compose.yml

5:43 Разработка микросервиса на Golang

28:08 Текущее состояние системы заметок

Знакомство с хранилищем MinIO

MinIO создано для размещения неструктурированных данных, таких как фотографии, видеозаписи, файлы журналов, резервные копии, а также образы виртуальных машин и контейнеров. Небольшой размер позволяет включать его в состав стека приложений. В MinIO также поддерживается распределённый режим (Distributed mode), который предоставляет возможность подключения к одному серверу хранения объектов множества дисков, в том числе расположенных на разных машинах.

MinIO крайне минималистичо, у него нет красивого и функционального UI. Но по части использования ресурсов оно крайне жадное — оперативную память и процессор кушает достаточно много. Также хочу отметить, что такие известные решения, как FreeNAS и TrueNAS под капотом используют именно MinIO.

В MinIO используется внутренний механизм избыточного кодирования (Erasure coding), обеспечивающий системе достаточную устойчивость, чтобы она оставалась работоспособной даже при отказе половины дисков. Также хранилище управляет целостностью и безопасностью данных, используя собственное хеширование и шифрование на стороне сервера.

Производительность MinIO сильно зависит от конфигурации операционной системы и файловой системы, на которой будут храниться файлы. По сути, этот инструмент даёт лишь метод хранения объектов поверх файловой системы и никак не влияет на саму файловую систему. Если у вас есть задача хранить и оперировать миллиардами объектов, необходимо подумать в первую очередь о файловой системе, которая будет использоваться под MinIO.

Использование MinIO Erasure Coding

Erasure Coding — это программная защита данных от повреждения и потери. Как рейд, только намного надёжней. Если классический RAID 6 может позволить себе потерять 2 диска, то MinIO спокойно переживает потерю половины.

Вся информация хранится в виде блоков данных, к которым есть блоки чётности. И вроде это всё уже было сделано много раз, только есть важное «но»: мы можем явно указывать соотношение блоков чётности к блокам данных для хранимых объектов.

Хотите 1:1? Пожалуйста! Хотите 5:2? Без проблем! Очень важная функция, если вы используете сразу несколько нод и хотите найти свой собственный баланс между максимальной безопасностью данных и количеством затраченных ресурсов.

Из коробки MinIO использует формулу N/2 (где N — общее количество дисков), т.е. делит ваши данные между N/2 дисками данных и N/2 дисками чётности. Перевожу на человеческий: можно потерять половину дисков и восстановить данные. Это соотношение задаётся через Storage Class, позволяя вам самостоятельно выбрать, что важнее — надёжность или ёмкость.

Предположим, что у вас инсталляция на 16 дисков и вам надо сохранить файл размером 100 Мб. Если используются настройки по умолчанию (8 дисков под данные, 8 под блоки чётности), то файл в итоге займёт практически двойной объём т.е. 200 Мб. Если отношение дисков будет 10/6, то понадобится 160 Мб. 14/2 — 114 Мб.

Настройка и запуск MinIO

Cкачиваем файлы docker-compose.yml и nginx.conf, после чего можно запускать.

Давайте поближе посмотрим docker-compose файл.

По дефолту здесь 4 сервиса MinIO. Их количество можно увеличить до 16, но мы уменьшим до 2, чтобы сохранить кластер. Большее количество узлов для нас сейчас избыточно. Также здесь описан сервис NGINX, для которого мы скачивали конфигурацию. Он нужен для балансировки запросов между узлами кластера.

Описание сервисов MinIO по сути одинаковое. Давайте посмотрим на minio1:

• image с тегом релиза от определенной даты;
• два volume, их можно распределить по разным физическим дискам, чтобы обеспечить отказоустойчивость;
• наружу выставляется 9000 порт для обращения к API;
• указываются переменные среды с логином и паролем доступа к MinIO;
• команда для запуска сервера MinIO в URL  которой используется синтаксис указания множества серверов: [http://minio{1…2}](http://minio{1…2})/data{1…2} раскрывается как массив http://minio1/data1 и http://minio2/data2;

Далее описан healthcheck, который позволяет мониторить здоровье сервиса. У него есть параметр test. Это Shell-команда, которая вызывает Curl и передает ему URL для проверки того, живёт ли сервис. Делать такую проверку мы будем каждые 30 секунд. Если за 20 секунд сервис не ответит, он будет помечен как нездоровый.

Запустив compose-файл, открываем интерфейс в браузере. Слева в сайдбаре отображены бакеты — корзины, в которых хранятся файлы, справа — список файлов в бакете. Функционал здесь минимален: можно загрузить, расшарить или удалить файл и создать или удалить бакет.

На этом знакомство с MinIO завершено, далее — продолжение разработки системы заметок с нуля. В предыдущих частях мы:

• спроектировали микросервисную архитектуру;
• разработали RESTful API Service на Golang cо Swagger и авторизацией;
• познакомились с графовой БД Neo4j и работали над микросервисами CategoryService и APIService;
• разработали микросервисы NoteService, TagService и UserService.

Исходный код проекта на GitHub

Какая текущая ситуация? Мы разработали все сервисы. Осталось реализовать веб-клиент в виде приложения на Vue.js, а также заняться инфраструктурой системы, такой как Service Discovering и OpenTracing, упаковать все сервисы в docker-контейнеры и настроить CI/CD.

Кратко напомню суть истории.

Исходники PHP хранились не на GitHub (на нём было только зеркало), GitLab или Bitbucket, а на собственном Git-сервере git.php.net.  Этот сервер взломали и сделали коммиты от лица известных разработчиков PHP. Название подобрали безобидное: Fix typo, то есть изменение как будто коснулось исправления опечатки в комментарии или в документации.

Но на самом деле всё не так просто. Разберём код:

1. На 366 строчке злоумышленник получает значение заголовка HTTP_USER_AGENTT в двумя буквами T на конце.
2. На 368 строчке проверяет, что текст в заголовке начинается со слова zerodium.
3. Если условие верное, с 369 по 371 строчку выполняется попытка интерпретировать текст из заголовка HTTP_USER_AGENTT как PHP-код и исполнить его.

Эти изменения затронули ветки разработки для версии PHP 8.1, выпуск которой запланирован на конец 2021 года.

Какие проблемы мог принести взлом PHP

Допустим, никто не заметил, коммит попал в сборку и разошелся по всем источникам, включая официальные репозитории для пакетных менеджеров ОС Linux. Разработчики обновили бы PHP из официального репозитория и запустили свои сервисы на последней версии PHP. Что это даёт? Что можно сделать?

С этого момента можно отправить абсолютно любой запрос на сервер с последней версией PHP. В этот запрос можно добавить заголовок с именем HTTP_USER_AGENTT. Значением может быть любой PHP-код.

Например, мы добавим строку, начинающуюся со слова zerodium. Далее будет PHP-код, который выкачает бинарник по ссылке, положит его в папку /tmp и запустит. В свою очередь, этот бинарник выкачает другой бинарник, который уже может содержать в себе вредоносный код для взлома и предоставления доступа к этой операционной системе злоумышленнику.

Такой сценарий был бы возможен для ЛЮБОГО сервера где развернуто PHP-приложение. В широко известных сообществах в узких кругах даже пошли шутки, что слово zerodium является паролем к PHP.

Конечно, такую ситуацию и представить страшно, а допустить и вовсе было бы эпик-фейлом. Поэтому хорошо, что разработчики PHP заметили проблему и ревертнули коммит. Но хакеры ещё раз ревертнули реверт коммита. Скорее всего, после этого разработчики приняли решение перенести репозиторий со своего сервера на GitHub и ещё раз ревертнули коммит, который ревертил коммит, который ревертил коммит злоумышленика, чтобы избежать ещё одного реверта.

Нынешнее состояние PHP

Я не большой любитель PHP. Меня приводит в панику его синтаксис, особенно стрелочка для вызова методов. Везде через точку, здесь — через стрелочку. Возможно, этому есть объяснение, но в целом неважно, выглядит ужасно.

У самого языка нет ни одного значимого преимущества перед Python или Java, чтобы на нём что-то разрабатывать. Один Xdebug чего стоит. С одной стороны, мощное средство дебаггинга. С другой стороны,  работает на сервере и пожирает ресурсы VPS, купленной специально для командной разработки и тестирования.

PHP сегодня — это, по сути, поддержка legacy-кода и CMS вроде WordPress, Drupal и других. Даже новые CMS иногда пишут на PHP. А к ним надо писать плагины. Поэтому нет, PHP живее всех живых, пока есть мелкие интернет-магазины, коих тысячи. Их надо поддерживать, улучшать. А ещё — создавать новые плагины для CMS. Пока вся эта экосистема жива и использует PHP, язык тоже будет жить.

Какие-то новые проекты тоже пишутся на PHP, но особого смысла в этом нет, когда есть Golang, Rust, Python, да тот же C# и Java. По сути, у каждого языка есть своя ниша, хотя они все и являются языками общего назначения. Ниша PHP всегда была там, где нужно разработать быстрый MVP, проверить гипотезу и не заплатить много денег. Ну и CMS, куда же без них.

По сути, CMS и является сейчас основной нишей языка. Примерно такая же ситуация с Java. Много enterprise legacy-кода, который надо поддерживать и развивать, но при выборе языка для микросервиса скорее возьмут Python, Golang или Rust/Ruby, чем PHP или Java.

Мы разберём реализацию JSON Web Token авторизации и систему ошибок. Посмотрим на программную архитектуру проекта, изучим программные паттерны разработки и посмотрим, как использовать в проекте язык программирования Golang.

Исходный код проекта доступен на GitHub.

0:33 Обзор структуры проекта, функции main в файле main.go — точке входа в приложении.

2:42 Обзор обёртки над логером logrus. Логирование в разные файлы с разным уровнем логирования.

12:34 Создание объекта конфигурации из YAML-файла при помощи библиотеки cleanenv.

16:30 Разбираем обёртку над кэшем в Golang и реализацию кэша с использованием библиотеки freecache.

21:40 Реализация JSON Web Token.

32:05 Смотрим на хендлеры — обработчики запросов к сервису, разбираем паттерн Data Transfer Object в Golang.

41:13 Система обработки ошибок и определения статуса HTTP кода возврата по ошибке.

1:00:10 Общий REST Client для взаимодействия с RESTful сервисами.

1:09:00 Разбираемся с сервисами бизнес-логики и контекстом в Golang.

1:23:10 Функции старта приложения по порту и на сокете, Graceful Shutdown с закрытием ресурсов.

1:26:40 Разбираемся с особенностью Golang: nil != nil.

Рассматриваемый в видео микросервис — часть системы заметок, которую мы разрабатываем с нуля в отдельной серии материалов.

Исходный код проекта доступен на GitHub.

Содержание:

0:20 Разбираем файл app.py — это главная точка входа в приложение. Также смотрим на классы и методы для работы с категориями с использованием библиотеки Flask RESTful и паттерн Data Transfer Object для обработки пользовательских данных.

17:40 Разбираем паттерн Dependency Injector, который позволяет внедрять зависимости, избегая дополнительной связанности, и поддерживать паттерн Low Coupling.

25:22 Пишем класс CustomJSONEncoder для сериализации вложенной структуры категорий в JSON-строку.

29:13 Разбираем класс реализации бизнес-логики и бизнес-смысл проекта.

34:12 Разбираем паттерн Data Access Object и смотрим на реализацию работы с хранилищем Neo4j из Python.

41:42 Учимся работать с ошибками во Flask и определять статус-код транспорта HTTP в зависимости от ошибки.

45:40 Тестируем сервис, дёргая эндпоинты.

2:40 URL Shortener — простой сокращатель ссылок.

48:48 ToDo List — приложение для управлением списками дел.

1:34:28 English Dictionary — словарь английских слов со значениями, синонимами и антонимами.

После прохождения этого видеокурса попробуйте сделать более сложный проект. Например, у нас есть подробная инструкция по созданию веб-приложения с бэкендом на Django и фронтендом на React.

Если хотите узнать больше о Django, посмотрите документацию фреймворка. В ней описаны основные возможности с примерами использования на практике.

Этот видеокурс поможет понять, будет ли вам интересно заниматься веб-разработкой со стороны фронтенда. В нём рассмотрены основы HTML, CSS и JavaScript на реальных примерах. Минимум теории, максимум впечатлений от работы с кодом.

После прохождения курса вы точно будете понимать, что такое веб-разработка. Это поможет принять взвешенное решение, стоит ли тратить время и силы на дальнейшее обучение или лучше обратить внимание на другие сферы.

06:05 Основы HTML

20:05 Основы CSS

02:49:24 Основы JavaScript

Если поняли, что фронтенд — это ваше, вот дорожная карта фронтенд-разработчика в 2021 году:

Если после прохождения курса веб-разработка со стороны фронтенда не впечатлила, посмотрите другие полезные статьи для начинающих:

• Дорожная карта по пентесту: как стать пентестером с нуля
• Как стать бэкенд-разработчиком в 2021 году: дорожная карта

Для создания проектов вы будете использовать фреймворк Streamlit. Один из его главных плюсов — простая визуализация данных. С первых строчек кода на Python вы получите веб-приложение. которое обновляется в режиме реального времени. Можно управлять сортировкой, представлять данные в виде таблиц, графиков и тепловых карт. Вы будете сразу видеть результаты своей работы.

По ссылке — код проекта на GitHub:

2:54 1. Simple Stock Price

13:24 2. Simple Bioinformatics DNA Count

29:44 3. EDA Basketball

50:39 4. EDA Football

1:00:48 5. EDA SP500 Stock Price

1:24:03 6. EDA Cryptocurrency

1:50:47 7. Classification Iris

1:58:58 8. Classification Penguins

2:16:08 9. Regression Boston Housing

2:27:53 10. Regression Bioinformatics Solubility

2:54:27 11. Deploy to Heroku

3:04:37 12. Deploy to Streamlit Sharing

Больше полезных материалов, которые помогут понять, с чего начать в Data Science:

• Data Science с нуля: подробный гайд для начинающих
• Создайте и разверните своё первое веб-приложение для машинного обучения
• Практика Data Science: где искать датасеты и что с ними делать — отвечают эксперты

• отслеживать скидки на определённые товары в интернет-магазинах;
• сравнивать цены на разных сервисах;
• ловить низкие цены на авиабилеты.

Вариантов применения намного больше, надо только включить фантазию. Главное, не собирать информацию, защищённую законом, — например, персональные данные пользователей.

В этом видео парсинг на Python реализован с помощью библиотеки Beautiful Soup. Она позволяет собирать информацию с любых ресурсов, будь то социальная сеть, Википедия или интернет-магазин. Библиотека предоставляет методы для навигации, поиска и изменения синтаксического дерева.

01:22 В первой части курса вы изучите концепцию на примере скрейпинга базовой HTML-страницы.

24:48 Во второй части курса научитесь извлекать данные с реального сайта.

1:01:53 Напоследок узнаете, как сохранить собранные данные.

Посмотрите также подборку других инструментов для веб-скрейпинга. Там есть примеры онлайн-сервисов, а также библиотеки для Python, JavaScript и Java.

В комментариях подсказывают, что в реальности машинный код получается более оптимизированным. По этой ссылке вы найдете компилятор из языка Си в Assembler, который подсвечивает соответствующие друг другу строки программы на С и Assembler.

0:00 Как программа на C считает числа Фибоначчи

2:28 Как скомпилировать и дизассемблировать программу

3:20 Разбор машинного кода

Что вы изучите:

• библиотеку discord.py;
• Discord API;
• Repl.it — сервис, который позволяет создавать полноценные приложения в браузере.

01:18 Создаём сервер на Discord

01:52 Создаём бота

06:05 Создаём проект на Repl.it

09:33 Настраиваем базовые возможности бота

20:14 Улучшаем бота

33:35 Настраиваем хранение настроек бота

56:09 Тестируем бота

58:42 Создаём веб-сервер

01:03:36 Настраиваем бесперебойную работу бота

01:05:21 Создаём ещё одного бота, который сообщает обо всех обновлениях в репозитории на GitHub

Больше интересных проектов на Python:

• 12 проектов на Python для новичков: трёхчасовой видеокурс
• 13 проектов для Python-разработчиков среднего уровня

Автор доступно рассказывает о том, что такое Docker, когда следует использовать этот инструмент, а также даёт возможность попрактиковаться. В отличие от стандартных туториалов, где присутствует лишь практика с «Hello World», здесь вы узнаете, как работать с портами, сможете поднять временную базу данных, а также развернёте и задеплоите небольшой проект с использованием DockerHub.

2:22 Что такое Docker?

16:29 Простой пример Hello World

31:34 Пример WEB приложения

35:55 Работаем с портами

41:10 Что такое docker volume

46:54 Поднимаем временную базу данных

55:26 Разворачиваем реальный проект

1:00:35 Что такое docker-compose

1:05:23 Создаём виртуальную машину (подробно)

1:08:25 Ставим Docker и Docker compose на Linux

1:10:17 Деплой проекта с ипользованием GitHub

1:16:50 Деплой проекта с ипользованием DockerHub

Держите также гайд по работе с Docker для начинающих.