Продолжаем знакомство с библиотекой CNTK. В этот раз мы познакомимся с регрессионным анализом.
3К открытий3К показов
Эта часть будет посвящена регрессионному анализу, если быть точным — анализу временных рядов. Чем эта задача принципиально отличается от задачи классификации, которую мы рассматривали в предыдущих 2 частях (первая, вторая)? Тем, что мы исследуем не принадлежность какого-либо объекта классу (собака, кошка и т.д.), а пытаемся построить функцию y = f(x), которая вычисляет значение переменной y (зачастую количественной, например, частота звука, стоимость и т.д., иными словами, — что-то, что можно измерить) в зависимости от входных параметров.
Многие из вас не раз видели подобную картинку:
Это обычная линейная регрессия, даже не нейронная сеть, хотя они имеют много общего, можно даже сказать, что это нейронная сеть всего из одного нейрона и без функции активации. Что это значит? Это значит, что, работая с нейронной сетью, сразу можно выявить нелинейные зависимости в наших данных. Одним из примеров выявления нелинейной зависимости является тот же XOR, который строили в первой части. Это «базовые» преимущества нейронной над обычной моделью регрессии.
Помимо этого рассмотрим также предварительную обработку данных при регрессионном анализе и разберемся, зачем она нужна. Для примера возьмем «шаблонный» набор данных Auto MPG, который содержит характеристики автомобилей 70–80-х годов. Исходя из них нужно оценить расход топлива автомобиля при езде в городском цикле. Проводя регрессионный анализ, очень важно понимать, какого типа у нас переменные и под какие типы распределений они подпадают. Пока что импортируем все необходимые модули, загрузим датасет и посмотрим, что там внутри:
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
import cntk as C
data = pd.read_csv('Data/auto_mpg.csv')
data.hist(column=['mpg','cylinders','displacement','horsepower','weight','acceleration','model_year'])
plt.show()
Почему-то нет гистограммы для лошадиных сил (horsepower), почему же? Потому что присутствуют не все значения. Отсутствие и неполнота данных — это вполне нормальное явление, пока для наглядности заменим эти значения на 0 в csv файле.
Теперь по очереди: очевидно, что поле acceleration имеет нормальное распределение, cylinders больше похоже на дискретное, но неравномерное распределение, поэтому над ним будет сложно сделать какое-либо преобразование.
displacement похоже на логнормальное распределение с просадкой между 250 и 300. Потому что не так много двигателей в то время имело объем между 250 и 300 кубическими дюймами (4-4.9 литра).
horsepower — точно так же логнормальное распределение, отсутствующие значения (которые временно заменили 0) можно заменить средним значением, либо же найти соответствующие характеристики автомобилей исходя из объема/года выпуска и т.д.
model_year — то же самое, что и cylinders. mpg и weight, которые имеют логнормальное распределение.
К чему мы сейчас описывали данные так подробно? К тому, что мы будем обучать не одну, а две сети сразу и сравним их в действии. Одна будет учиться на «голых» (raw в англоязычной литературе) данных, вторая получит на вход преобразованные в соответствии с распределениями, описанными выше. Во многих туториалах и гайдах датасет нормализуют или стандартизируют «не глядя», тем самым «ломая» свойства и природу первоначальных распределений.
Попробуем сеть с такой конфигурацией:
def create_model(input_):
with C.layers.default_options(activation=C.selu, init=C.glorot_uniform()):
model = C.layers.Sequential([
C.layers.Dense(25),
C.layers.Dense(25),
C.layers.Dense(OUTPUT_DIM, activation=None)
])
return model(input_)
Функция активации — SELU (подробнее читаем здесь, очень хорошо описаны свойства каждой из функций, будет полезно «продвинутым» data scientist’ам). CNTK содержит большинство функций активаций из этого списка. Если вы захотите реализовать свою функцию, вам придется не просто создать Function, а работать с UserFunction, вот пример из официальной документации.
Этой функцией будем преобразовывать дата-фрейм в массив, который сможет понять CNTK:
def get_df_data(df):
X = np.array(df[['cylinders', 'displacement', 'horsepower', 'weight', 'acceleration', 'model_year', 'origin']], dtype='float32')
y = np.array(df['mpg'], dtype='float32')
y = y.reshape(-1, 1)
return X, y
Далее все как и в предыдущей части: конфигурируем модель, «подвязываем входы и выходы», проводим обучение. Поскольку это модель регрессионного анализа, целесообразно в качестве функции ошибки взять Squared Error. Метод оптимизации — Adam:
#«Подвязка» для входа
input_ = C.input_variable(INPUT_DIM, 'float32')
#«Подвязка» для выхода
output_ = C.input_variable(OUTPUT_DIM, 'float32')
#Нейронная сеть
z = create_model(input_)
#«Расписание» обучения
lr_schedule = C.learning_rate_schedule(LEARNING_RATE, C.UnitType.minibatch)
learner = C.adam(z.parameters, lr_schedule, momentum=0.9)
loss = C.squared_error(z, output_)
error = C.squared_error(z, output_)
trainer = C.Trainer(z, (loss, error), [learner])
train_X, train_y = get_df_data(df_training)
test_X, test_y = get_df_data(df_test)
val_X, val_y = get_df_data(df_validation)
datamap = {
input_: train_X,
output_: train_y
}
for i in range(EPOCHS_COUNT):
trainer.train_minibatch(datamap)
if i % 100 == 0:
print('Epoch: {epoch} Loss: {val}'.format(val=trainer.previous_minibatch_loss_average, epoch=i))
Не отходя от кассы, обучим вторую сеть. Но сначала обработаем датафреймы следующей функцией:
Для наглядности отсортируем значения по возрастанию, для того чтобы было подобие прямой линии (когда увидите график, станет понятнее, зачем это, уже совсем скоро):
Получается следующая картина (синим цветом показаны результаты сети без предварительной обработки на тестовых и валидационных данных, зеленым — с предварительной обработкой):
У вас может быть несколько иной, но в целом схожий результат (за счет перемешивания данных при каждом запуске). Очевидно, что сеть без предварительных преобразований даже не смогла обучиться.
Давайте добавим в первый слой еще 25 нейронов:
def create_model(input_):
with C.layers.default_options(activation=C.selu, init=C.glorot_uniform()):
model = C.layers.Sequential([
C.layers.Dense(50),
C.layers.Dense(25),
C.layers.Dense(OUTPUT_DIM, activation=None)
])
return model(input_)
Уже лучше, сети практически сравнялись в точности своей работы. Почему так происходит и что из этого следует? Это проблема сходимости методов градиентного спуска и обусловленность Гессиана, порождаемая нашими данными и сетью. Это весьма продвинутая в плане изучения тема, и если вы хотите понять/разобраться, что вы сейчас прочитали, то рекомендуем также прочитать вот эту книгу.
Продолжение следует…
Авторы: Александр Ганджа, CTO DataTrading Богдан Домненко, Data Scientist DataTrading
Искусственный интеллект оказывает влияние на всех участников телекоммуникационной отрасли, однако крупные и малые компании выбирают разные подходы к его внедрению. Рассмотрим ключевые области применения генеративных нейросетей в телекоме и изменения, которые происходят в отрасли.
В сутках не хватает часов на все задачи, вы не одиноки — все окей. Исходя из личного опыта и опыта в команде разработки — собрал 11 полезных сайтов, которые помогают сэкономить время на рутинные задачи. Сохраняйте и тестируйте инструменты из списка, делитесь своим мнением.
Яндекс Практикум изучил самые востребованные навыки для junior, middle и senior дата-инженеров. Разбираемся, где и как себя прокачивать, чтобы войти в профессию и расти в ней.