Продолжаем знакомство с библиотекой CNTK. В этот раз мы познакомимся с регрессионным анализом.
3К открытий3К показов
Эта часть будет посвящена регрессионному анализу, если быть точным — анализу временных рядов. Чем эта задача принципиально отличается от задачи классификации, которую мы рассматривали в предыдущих 2 частях (первая, вторая)? Тем, что мы исследуем не принадлежность какого-либо объекта классу (собака, кошка и т.д.), а пытаемся построить функцию y = f(x), которая вычисляет значение переменной y (зачастую количественной, например, частота звука, стоимость и т.д., иными словами, — что-то, что можно измерить) в зависимости от входных параметров.
Многие из вас не раз видели подобную картинку:
Это обычная линейная регрессия, даже не нейронная сеть, хотя они имеют много общего, можно даже сказать, что это нейронная сеть всего из одного нейрона и без функции активации. Что это значит? Это значит, что, работая с нейронной сетью, сразу можно выявить нелинейные зависимости в наших данных. Одним из примеров выявления нелинейной зависимости является тот же XOR, который строили в первой части. Это «базовые» преимущества нейронной над обычной моделью регрессии.
Помимо этого рассмотрим также предварительную обработку данных при регрессионном анализе и разберемся, зачем она нужна. Для примера возьмем «шаблонный» набор данных Auto MPG, который содержит характеристики автомобилей 70–80-х годов. Исходя из них нужно оценить расход топлива автомобиля при езде в городском цикле. Проводя регрессионный анализ, очень важно понимать, какого типа у нас переменные и под какие типы распределений они подпадают. Пока что импортируем все необходимые модули, загрузим датасет и посмотрим, что там внутри:
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
import cntk as C
data = pd.read_csv('Data/auto_mpg.csv')
data.hist(column=['mpg','cylinders','displacement','horsepower','weight','acceleration','model_year'])
plt.show()
Почему-то нет гистограммы для лошадиных сил (horsepower), почему же? Потому что присутствуют не все значения. Отсутствие и неполнота данных — это вполне нормальное явление, пока для наглядности заменим эти значения на 0 в csv файле.
Теперь по очереди: очевидно, что поле acceleration имеет нормальное распределение, cylinders больше похоже на дискретное, но неравномерное распределение, поэтому над ним будет сложно сделать какое-либо преобразование.
displacement похоже на логнормальное распределение с просадкой между 250 и 300. Потому что не так много двигателей в то время имело объем между 250 и 300 кубическими дюймами (4-4.9 литра).
horsepower — точно так же логнормальное распределение, отсутствующие значения (которые временно заменили 0) можно заменить средним значением, либо же найти соответствующие характеристики автомобилей исходя из объема/года выпуска и т.д.
model_year — то же самое, что и cylinders. mpg и weight, которые имеют логнормальное распределение.
К чему мы сейчас описывали данные так подробно? К тому, что мы будем обучать не одну, а две сети сразу и сравним их в действии. Одна будет учиться на «голых» (raw в англоязычной литературе) данных, вторая получит на вход преобразованные в соответствии с распределениями, описанными выше. Во многих туториалах и гайдах датасет нормализуют или стандартизируют «не глядя», тем самым «ломая» свойства и природу первоначальных распределений.
Попробуем сеть с такой конфигурацией:
def create_model(input_):
with C.layers.default_options(activation=C.selu, init=C.glorot_uniform()):
model = C.layers.Sequential([
C.layers.Dense(25),
C.layers.Dense(25),
C.layers.Dense(OUTPUT_DIM, activation=None)
])
return model(input_)
Функция активации — SELU (подробнее читаем здесь, очень хорошо описаны свойства каждой из функций, будет полезно «продвинутым» data scientist’ам). CNTK содержит большинство функций активаций из этого списка. Если вы захотите реализовать свою функцию, вам придется не просто создать Function, а работать с UserFunction, вот пример из официальной документации.
Этой функцией будем преобразовывать дата-фрейм в массив, который сможет понять CNTK:
def get_df_data(df):
X = np.array(df[['cylinders', 'displacement', 'horsepower', 'weight', 'acceleration', 'model_year', 'origin']], dtype='float32')
y = np.array(df['mpg'], dtype='float32')
y = y.reshape(-1, 1)
return X, y
Далее все как и в предыдущей части: конфигурируем модель, «подвязываем входы и выходы», проводим обучение. Поскольку это модель регрессионного анализа, целесообразно в качестве функции ошибки взять Squared Error. Метод оптимизации — Adam:
#«Подвязка» для входа
input_ = C.input_variable(INPUT_DIM, 'float32')
#«Подвязка» для выхода
output_ = C.input_variable(OUTPUT_DIM, 'float32')
#Нейронная сеть
z = create_model(input_)
#«Расписание» обучения
lr_schedule = C.learning_rate_schedule(LEARNING_RATE, C.UnitType.minibatch)
learner = C.adam(z.parameters, lr_schedule, momentum=0.9)
loss = C.squared_error(z, output_)
error = C.squared_error(z, output_)
trainer = C.Trainer(z, (loss, error), [learner])
train_X, train_y = get_df_data(df_training)
test_X, test_y = get_df_data(df_test)
val_X, val_y = get_df_data(df_validation)
datamap = {
input_: train_X,
output_: train_y
}
for i in range(EPOCHS_COUNT):
trainer.train_minibatch(datamap)
if i % 100 == 0:
print('Epoch: {epoch} Loss: {val}'.format(val=trainer.previous_minibatch_loss_average, epoch=i))
Не отходя от кассы, обучим вторую сеть. Но сначала обработаем датафреймы следующей функцией:
Для наглядности отсортируем значения по возрастанию, для того чтобы было подобие прямой линии (когда увидите график, станет понятнее, зачем это, уже совсем скоро):
Получается следующая картина (синим цветом показаны результаты сети без предварительной обработки на тестовых и валидационных данных, зеленым — с предварительной обработкой):
У вас может быть несколько иной, но в целом схожий результат (за счет перемешивания данных при каждом запуске). Очевидно, что сеть без предварительных преобразований даже не смогла обучиться.
Давайте добавим в первый слой еще 25 нейронов:
def create_model(input_):
with C.layers.default_options(activation=C.selu, init=C.glorot_uniform()):
model = C.layers.Sequential([
C.layers.Dense(50),
C.layers.Dense(25),
C.layers.Dense(OUTPUT_DIM, activation=None)
])
return model(input_)
Уже лучше, сети практически сравнялись в точности своей работы. Почему так происходит и что из этого следует? Это проблема сходимости методов градиентного спуска и обусловленность Гессиана, порождаемая нашими данными и сетью. Это весьма продвинутая в плане изучения тема, и если вы хотите понять/разобраться, что вы сейчас прочитали, то рекомендуем также прочитать вот эту книгу.
Продолжение следует…
Авторы: Александр Ганджа, CTO DataTrading Богдан Домненко, Data Scientist DataTrading
Энтузиаст создал GitHub-репозиторий, собравший в себе лучшие open source шаблоны для быстрого старта новых проектов. Коллекция включает готовые решения для различных технологий и платформ, таких как веб-разработка, мобильные и серверные приложения, с настроенной архитектурой, конфигурацией и инструментами
Эксперты iVerify выявили взлом iPhone крупного бизнесмена с помощью Pegasus, используемого не только для госнадзора, но и коммерческого шпионажа. Взлом связан с уязвимостями в старых версиях iOS
Компании, использующие ИИ-инструменты для генерации кода, всё чаще сталкиваются с перебоями и проблемами безопасности. Исследования показывают, что автоматический код имеет высокий процент ошибок, а разработчики менее тщательно проверяют его
ИИ-модели вроде ChatGPT снижают порог входа в киберпреступность, позволяя создавать вредоносное ПО без глубоких знаний. В 2024 году также зафиксирован рост атак на macOS