Иногда я замечаю, что люди относятся к нейронным сетям как к «еще одному инструменту для машинного обучения». У них есть некоторые плюсы и минусы, они работают здесь или там, и иногда вы можете использовать их, чтобы выиграть соревнования Kaggle. К сожалению, эта интерпретация полностью пропускает лес за деревьями. Нейронные сети — это не просто еще один классификатор, они представляют собой начало фундаментального сдвига в том, как мы пишем программное обеспечение. Это Software 2.0.

«Классический стек» Software 1.0 — это то, с чем мы все знакомы — оно написано на таких языках, как Python, C ++ и т. д. Оно состоит из явных инструкций для компьютера, написанного программистом. Записывая каждую строку кода, программист идентифицирует конкретную точку в программном пространстве с некоторым желательным поведением.



Напротив, Software 2.0 написано в весах нейронной сети. Ни один человек не участвует в написании этого кода, потому что есть много весов (типичные сети могут иметь миллионы), а написание кода непосредственно в весах довольно сложно (я пробовал). Вместо этого мы указываем некоторые ограничения на поведение желаемой программы (например, набор данных для входных-выходных примеров) и используем вычислительные ресурсы, имеющиеся в нашем распоряжении, для поиска программного пространства для программы, которое удовлетворяет ограничениям. В случае нейронных сетей мы ограничиваем поиск в непрерывном подмножестве программного пространства, в котором процесс поиска может быть сделан (несколько неожиданно) эффективным с обратным распространением и стохастическим градиентным спуском.
Читать дальше ->

https://habrahabr.ru/post/342568/