Как сделать свою нейросеть за 10 минут на Python

IT-блогер Хауди Хо рассказал в новом видео, как сделать собственную нейросеть на языке Python всего за 10 минут.

Вот, о чём идёт речь в видео:

1. Создание нейронной сети Перцептрон не так сложно, как кажется, и доступно для начинающих.
2. Нейронные сети основаны на алгоритмах и математических функциях, таких как сигмоида и линейная регрессия.
   
3. Для написания нейронной сети используется язык программирования Python.
   
4. Веса синапсов играют ключевую роль в определении результата работы нейронной сети.
   
5. Инициализация весов производится с помощью генератора случайных чисел, так как идеальные начальные веса неизвестны.
   
6. Обучение нейронной сети важно для корректировки весов и выявления правильной взаимосвязи между входными и выходными данными.
   
7. Метод обратного распространения является основой обучения нейронных сетей.
   
8. Для работы с многомерными массивами в Python используется модуль numpy.
   
9. Функция активатора, такая как сигмоида, используется для преобразования взвешенной суммы входных данных в результат.
   
10. После обучения нейронная сеть способна распознавать взаимосвязь между данными и решать новые задачи.
    
11. Простейшая нейронная сеть Перцептрон может решать реальные задачи, например, распознавать эмоции по смайликам.
    

Ниже — транскрибация ролика.

Хауди-хо, друзья! Недавно вы просили меня рассказать, как создать свою собственную нейронную сеть с нуля. Поэтому сегодня мы с вами этим и займемся. Создадим простейшую нейронную сеть, а именно Перцептрон. И на самом деле это не так сложно, как может показаться на первый взгляд. Дело в том, что нейронные сети как таковые базируются на определенных алгоритмах и математических функциях. Здесь можно встретить сигмоиду, линейную регрессию и угродительность. Но как мы знаем, чтобы пользоваться формулами, не обязательно понимать, как они работают.

Именно поэтому на начальных этапах в нейронных сетях сможет разобраться каждый. А в качестве языка программирования для написания нашей нейронки мы будем использовать Python. 

А начнем из простого и распространенного примера. Допустим, у нас есть какая-то проблема, которую наша нейронка должна уметь решать. Во всех учебниках и уроках по нейронкам обычно можно встретить вот эту таблицу. Здесь вы видите набор входных и выходных данных. Можете попробовать поставить видео на паузу и вычислить самостоятельно связь между этими данными. Хотя здесь нет ничего сложного, я думаю, уже видно, что в выходном столбце оказываются значения из первого столбца входного массива. На данном этапе ваш мозг, при помощи своих нейронных связей, синапсов и кое-чего еще, уже смог решить данную проблему и научиться, как ее решать впоследствии.

Все, что сейчас произошло у вас в мозгу, мы называем мышлением. Мозг принял входные данные, увидел выходные, вычислил взаимосвязь и впоследствии научился контролировать как их распознавать? Причем уже без необходимости в повторном вычислении взаимосвязи входных и выходных данных. Ну а нам осталось только воспроизвести этот же процесс в коде, чем мы сейчас и займемся. Но сначала давайте наглядно увидим, как будет выглядеть наш перцептрон. У нас будут входные данные, будет сам нейрон, конечно же результат и синапсы. Как уже понятно, синапсы это некая связь между ...входными данными и тем, что попадет в нейрон. Соответственно, у нас есть какие-то входные данные, это будут нолики и единицы, своего рода аналог true и false в булевом типе данных.

Затем нам понадобится веса для синапсов. Именно они будут выявлять взаимосвязь между входными данными и результатом. Сейчас просто запомните, что именно веса будут оказывать наибольшую роль в определении результата и чуть позже в коде мы воспользуемся популярным решением для инициализации весов. В частности, веса будут инициализироваться генератором случайных чисел. Это довольно важно, потому что если бы был способ найти идеальные начальные веса, то дальнейшее обучение сети просто не требовалось бы.

И позже я об этом еще покажу и расскажу в коде. Сам подход к обучению нейросети, то есть подразумевает старт с непрозрачностью, правильной позиции в поисках правильной. При этом довольно важен тот факт, что начальные веса не могут быть полностью одинаковыми, иначе они так одинаковыми в процессе обучения и останутся. Ну а раз мы все равно не знаем, какие должны быть веса, и нельзя делать их одинаковыми, то идея взять случайные веса в общем случае выглядит очень даже хорошо. И как я уже ранее сказал, именно благодаря весам нейрон будет определять результат.

Именно веса. Синапсы выявляют взаимосвязь между входными данными и конечным результатом, который будет считаться решением. Сам же нейрон определяет результат при помощи двух простых действий.

Во-первых, здесь мы производим умножение входных данных на их веса с последующим сложением получившихся чисел. Во-вторых, получившийся результат мы скармливаем в так называемую функцию активатор. И в функции активаторов сейчас существует довольно много.

В учебных целях очень часто применяют самую простейшую из них, линейную. Ее еще называют единичный скачок или жесткая пороговая функция. Выглядит в коде она следующим образом. Мы же будем применять более адекватную и подходящую функцию активатора, а именно сигмоид.

И теперь, когда мы понимаем общий принцип действия, давайте перейдем к написанию кода, чтобы более наглядно увидеть реализацию всего, что я только что рассказывал. Но сначала в Python нам нужно установить модуль numpy. Он нам понадобится для легкой и высокопроизводительной работы с многомерными массивами. В описании я оставлю ссылку на репозиторий numpy в PyPy. Устанавливается он, как и любой другой модуль в Python, без каких-либо проблем. Теперь в коде начнем с импорта numpy, а затем объявим функцию sigmoid для реализации нашей функции активатора. Уже здесь нам пригождается numpy.

Из него мы используем метод exp, который нужен для вычисления экспонента и всех элементов входного массива. Но нам это в принципе не важно. Как я ранее говорил, это просто формула, которую мы применяем. И не обязательно быть математиком, чтобы это делать. Затем нам нужно объявить тренировочные данные. С этой целью мы создадим две переменные. Первая это training inputs. Она будет хранить в себе массив 4 на 3 с соответствующими входными данными, которые я наглядно ...показывал ранее на табличке.

Вторая переменная это Training Outputs. Она хранит в себе массив 1 на 4, и это наши ожидаемые выходные данные. Также не забываем транспонировать вторую переменную, чтобы ее содержание поменялось и было 4 на 1. Дальше нам надо инициализировать веса. Ранее я уже говорил, что мы будем это делать при помощи генератора случайных чисел. Чтобы и у вас, и у меня получались одинаковые случайные числа, давайте договоримся и укажем сид генератора в значении 1.

Ну и сами веса мы инициализируем следующим образом. У нас получится массив 3 на 1. Именно так мы создадим рандомные веса, потому что хотим получить из генератора числа от минус 1 до 1. Это и есть диапазон наших весов.

Иными словами, вес синопса не может быть меньше минус 1 и не может быть больше 1. На текущем этапе вам важно понимать то, что веса мы, грубо говоря, взяли с потолка. Это значит, что столь важные для нас веса синапса, выявляющие взаимосвязь между входными данными и результатом, сейчас непригодны к использованию. А значит, мы должны эту ситуацию как-то исправить. Я сейчас говорю о том, чтобы провести нашу нейронку через так называемый процесс обучения нейросети. Это позволит нам приблизить веса к более верным значениям, а значит, правильно выявлять взаимосвязь. В данное время существуется сразу несколько методов обучения нейросети. Например, это знаменитый метод обратного распространения, на английском Backpropagation. Еще есть метод упругого распространения, или же Resilient Propagation.

И, конечно же, не забудем про генетический алгоритм, или же Genetic Algorithm. Тем не менее, основу основ обучения всех нейронок сегодня составляет именно метод обратного распространения. Именно им мы сейчас и воспользуемся. В коде этот метод будет выглядеть следующим образом. Итак, мы помним, что верными решениями для нас являются значения 0110.

Конечно, после сигмоида мы никогда не получим такие значения, но и результат после обучения нашей нейронки сложно назвать хоть чем-то хотя бы близко похожим на то, что нам нужно. И происходит это потому, что метод обратного распространения подразумевает многократное обучение нейронной сети. В коде которого будет производиться регулирование в соответствии с уже известными алгоритмами выравнивания весов.

И все это нужно будет повторить, например, 20 тысяч раз. В коде этот алгоритм у нас будет выглядеть следующим образом. Если вы хотите более подробно на математическом уровне узнать о том, как именно устроен данный алгоритм обучения нейросети, то я в описании оставлю ссылку на статью, которая на русском языке понятно объясняет, как это все работает. Ну а теперь мы запустим код, и как видите, после запуска мы получаем результат, больше похожий на правду. И по сути уже сейчас наша нейронная сеть обучена. Она сама научилась выявлять взаимосвязь между входными и выходными данными. Давайте проверим, как она справится в какой-то новой для себя ситуации.

Допустим, передадим ей значение 1.1.0. Как вы помните, во входных тренировочных данных такого значения у нас не было. В коде задействовать нашу уже обученную нейросеть можно также очень просто. Запускаем получившийся код и видим результат. Наша нейронная сеть прекрасно справилась и поняла, что очень большая вероятность того, что на выходе должна быть цифра 1. И то, что мы сейчас с вами запрограммировали, это простейшая нейронная сеть, которая называется Перцептрон. Но даже с такой простой нейронкой уже можно решить решать какие-то более-менее реальные задачи.