Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 40123 сообщений
Cообщения с меткой

обучение - Самое интересное в блогах

Следующие 30  »
udacha001

Партизанский маркетинг: как привлечь клиентов для малого бизнеса

Понедельник, 29 Августа 2016 г. 23:00 (ссылка)



Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
udacha001

Как увеличить число клиентов, потратив минимум средств: инструменты партизанского маркетинга

Понедельник, 29 Августа 2016 г. 22:59 (ссылка)



Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Светлана_Доронина

Путешествие в страну падежей

Понедельник, 29 Августа 2016 г. 22:27 (ссылка)

Это цитата сообщения Ksu11111 Оригинальное сообщение






1.

сканирование0001 (494x700, 296Kb)



Читать далее...
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[recovery mode] Специализация Oracle: Учебный центр МУК представляет авторизованное обучение Oracle University

Понедельник, 29 Августа 2016 г. 17:01 (ссылка)

В рамках партнерского статуса Authorized Oracle University Reseller УЦ МУК получил возможность предоставлять авторизованное обучение Oracle University за пределами Украины. Учебный центр МУК активно предоставляет весь спектр программ Oracle University. Теперь есть возможность предлагать авторизованные тренинги Oracle University не только на территории Украины, но и распространить обучающие курсы на все регионы присутствия, которые включают Беларусь, Грузия, Молдова, Армения, Казахстан, Таджикистан, Азербайджан, Туркменистан, Кыргызстан и Узбекистан (при условии оформлення покупки курсов по средствам приобретения сертификатов OU Learning Credits).











Форматы обучения



Oracle University Reseller представляет собой часть программы продаж услуг обучения Oracle University. Она предоставляет квалифицированным организациям право продавать обучающие продукты и курсы Oracle. Авторизованный реселлер Oracle University, которым является УЦ МУК, распространяет все программы обучения, которые доступны в нескольких форматах.



Базовый и наиболее привычный для большинства людей формат обучения – тренинги в классе (ILT). В качестве преимуществ в этом случае выступают очное общение с профессиональным инструктором и тренинги, проводимые согласно расписания учебного центра. Кроме того, занятия могут проходить на базе УЦ классов Oracle или на территории заказчика. В конце обучения прошедшим курс выдается сертификат.



Возможен формат дистанционного обучения – Live Virtual Classes (LVC). Виртуальные классы с инструктором не имеют привязки к месту проведения. Расписание предусматривает проведение свыше 60 курсов в неделю, при этом доступны графики обучения в нескольких временных зонах. Пользователь получает полный доступ к лабораторным средам в режиме 24/7, а также техническую поддержку 24 часа в сутки до и во время класса. Возможен выбор языка чтения между русским и английским. В качестве преимуществ такого варианта – доступность для удаленных регионов других стран, отсутствие командировочных расходов, а также минимальный риск отмены курса.



Есть также ряд так называемых DIGITAL-форматов. Например, интерактивная видеозапись курсов – Training on Demand (TOD). Он предусматривает доступ к более чем сотне кусов по различным направлениям и тематикам, а также к лабораторным средам. Это высококачественные видеозаписи курсов в классе с опциями поиска, паузы, перемотки и воспроизведения. Общение с инструктором проводится посредством электронной почты. Из важных преимуществ такого подхода – доступность в любом месте в удобное время и отсутствие риска отмены курса.



Еще один вариант – портал экспертных знаний по продуктовым направлениям Oracle University Learning Streams, на котором происходит регулярное обновление и пополнение контента. Видеокурсы проводятся экспертами Oracle. Ежемесячно на портале проводятся тематические вебинары. Кроме того, есть возможность добавления контента по более новой и интересующей тематике по запросу. На форуме портала доступны технические специалисты, которые смогут ответить на интересующие вопросы. Обучающие материалы доступны на разных языках, в разных часовых зонах и по различным продуктам. Такой формат дает возможность составить собственный план и график обучения.



Можно также оформить неограниченную подписку на обучение – Oracle Unlimited Learning Streams (ULS). Она предоставляет 12 месяцев неограниченного доступа ко всем записанным курсам OracleTraining On Demand и к порталу Oracle Learning Streams с постоянно обновляемыми краткими видеокурсами по самым актуальным направлениям Oracle. Такая подписка предусматривает возможность живого онлайн-общения с ведущими инструкторами Oracle, а также выделенную лабораторную среду для практических занятий. Кроме того, ежемесячно будет приходить отчет о прохождении курсов (минимум на 5 пользователей).



Возможна также подписка на обучение для заказчиков Oracle PaaS/SaaS – Oracle Cloud Learning Subscription (CLS). Как и в вышеописанных вариантах, тут предусмотрены видеокурсы и презентации от ведущих экспертов Oracle. Такой вариант подписки имеет ряд преимуществ:



— PaaS Database: как использовать все возможности СУБД в среде Cloud, установить Опции, оптимизировать управление Базами данных;

— PaaS Java: как быстро создать и развернуть приложение, как развернуть Java приложение в среде Cloud;

— SaaS: полный набор для ИТ-специалиста и видеокурсы для пользователей;

— Материалы для любого типа пользователей (Administrator, Architect, Developers, Business User).



Подписка CLS рассчитана минимум на 5 пользователей и может приобретаться как в составе ULS, так и отдельно.



Oracle University (Learning Credit)



Покупку одного или нескольких курсов можно оформить с помощью сертификата Oracle University (Learning Credit), который действует в течении 12 месяцев и позволит спланировать расходы в течении года. Сертификат может быть гибко использован на любые продуктовые курсы из расписания Oracle. Кроме того, с его помощью можно приобрести:



— курсы в классе в удобное время (на базе Авторизованных Учебных Центров);

— кастомизированные под клиента курсы, авторизованные Oracle (Private Event);

— дистанционные курсы (Live Virtual Class);

— интерактивные видеокурсы с лабораторными (Training on Demand) и доступ к библиотекам экспертов Learning Streams;

— неограниченную подписку на обучение (Unlimited Learning Subscription);

— подписку на курсы, посвященные работе в среде Cloud Learning Subscription (PAAS/SAAS);

— ваучеры на сдачу экзаменов на получение сертификата OCA, OCP, OCM.



Таким образом будет весьма удобно управлять обучением за счет ежемесячного информирования о состоянии счета и о пройденных курсах. Сертификат Oracle University (Learning Credit) должен быть использован в течение 12 месяцев. Минимальный заказ на сертификат составляет 1000 у.е.

Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/308768/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
ВСЕ_ДЛЯ_ДЕТЕЙ (Автор -nata_tursha)

ПРОПИСИ - ДОРОЖКИ 2. ЗАДАНИЯ НА РАЗВИТИЕ МЕЛКОЙ МОТОРИКИ.

Понедельник, 29 Августа 2016 г. 04:00 (ссылка)


 ПРОПИСИ - ДОРОЖКИ 2. ЗАДАНИЯ НА РАЗВИТИЕ МЕЛКОЙ МОТОРИКИ.



Нашла недавно замечательную группу в Контакте. Называется она "Зайкина Сказка". Там столько полезного материала!!!


Не удержалась, и утащила одну маленькую пропись.


Там таких очень много.


Пропись-обводилка предназначена для малышей, только-только учащихся рисовать линии. На страничках кроме линий - прямых, зигзагов, волнистых - ничего нет. Ах, да, еще забавные зверюшки.


Да что я рассказываю, посмотрите сами.


 


Ссылку на источник найдете в самом конце под картинками.



 



Прописи - полоски. Обводилка



Прописи - полоски. Обводилка

Читать далее...
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
ВСЕ_ДЛЯ_ДЕТЕЙ (Автор -nata_tursha)

Прописи - дорожки. Задания на развитие мелкой моторики.

Воскресенье, 29 Августа 2016 г. 03:53 (ссылка)


Прописи - дорожки. Задания на развитие мелкой моторики.



Вот такую пропись, яркую и красивую, можно скачать детям.


Очень полезно малышам взять в руки цветные карандаши или фломастеры и обвести все дорожки для зверюшек. Заодно поучить названия цветов, которыми нарисованы дорожки.


Провести прямую линию длинную линию без помощи линейки очень сложно. А если линии изгибаются, изображая зигзаги, волны, кочки, то сложно вдвойне.


 


Попробуйте сперва сами и убедитесь в этом.




Прописи-дорожки



Прописи-дорожки

Читать далее...
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
ВСЕ_ДЛЯ_ДЕТЕЙ (Автор -nata_tursha)

Найди лишний предмет. Задания на развитие логики.

Воскресенье, 29 Августа 2016 г. 03:36 (ссылка)


Найди лишний предмет.




Найди лишний предмет в каждом ряду. Объясни, почему он не такой как все. Раскрась все предметы, кроме лишнего.



Найди лишний предмет

Читать далее...
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Антония_7777

Британский отец в шоке: его сын палач ИГИЛ (с кратким переводом по тексту)

Воскресенье, 28 Августа 2016 г. 23:33 (ссылка)


 



Britischer Vater entsetzt» ISIS-Henker ist mein Sohn



 



... und seine Mutter ist eine gesuchte Top-Terroristin*



 



( Немецкая газета Bild, та, которая русских ненавидит, как Ленин ненавидел буржуазию, дала статью о британском папе, узнавшем среди детей-палачей Игил, своего 11- летнего сына. Имя папы из соображений безопасности не называется.



ПапА сокрушается, как бриллиантовый мальчик, собиравший жучков и игравший в парке, мог стать палачом.)



 



Es war ein schockierendes Video, dass fünf Jungen wohl nicht älter als 14 Jahre als ISIS-Henker zeigte. Jetzt glaubt ein Vater, seinen Sohn erkannt zu haben.



Ein britischer Vater, der aus Sicherheitsgründen anonym bleibt, sagt in der „Daily Mail“, dass der hellhäutige Junge sein Sohn JoJo ist. Der schockierte Vater: „Er war ein brillanter, ganz normaler Junge, der Käfer sammelte und im Park spielte. Ich muss das ausblenden. Es ist so hart, wir müssen weiterleben. Er wurde einer Gehirnwäsche unterzogen.“



 



Zuvor hatte die Zeitung „The Sun“ berichtet, dass ein Junge aus Großbritannien einer der Kinder-Henker ist.



Andere britische Zeitungen berichten, dass die britische Anti-Terror-Polizei ermittelt, ob es sich bei dem Jungen um den 11-Jährigen JoJo handelt. Auch der Name, der in dem grausamen Video für den Jungen benutzt wird, Abu Abdullah Al-Britani, weist auf seine Herkunft hin. Ähnliche Name wurden der in der Vergangenheit schon für andere ISIS-Kämpfer benutzt.



 



Die ISIS-Mutter



Sally Jones im Nonnen-Kostüm mit Pistole, bevor sie nach Syrien ging



Sally Jones im Nonnen-Kostüm mit Pistole Foto: Twitter



 



Wie kommt ein britischer Junge nach Syrien und wird dort als Henker mißbraucht?



 



( Как мог английский мальчик попасть в Сирию и стать палачом?



Виновата его 47- летняя мать, исчезнувшая с одним из своих детей в 2013 году, и связавшая свою жизнь с ИГИЛ. В Британии она считается одной из разыскиваемых террористок в мире. В прошлом была гитаристкой в женской панк-группе.)



 



Schuld ist wohl seine Mutter: Die Britin Sally Jones, verschwand 2013 mit einem ihrer beiden Kinder nach Syrien, schloss sich der ISIS-Terrormiliz an. Das berichten britische Zeitungen übereinstimmend. Die 47-Jährige steht sogar auf der UN-Liste der meist-gesuchten Terroristen der Welt.



 



Heute ISIS-Terroristin früher Gitarristin in einer Punk-Girlband: Die zwei Leben der Sally Jones



Heute ISIS-Terroristin früher Gitarristin in einer Punk-Girlband: Die zwei Leben der Sally JonesFoto: YouTube



 



Sally Jones war offenbar früher Gitarristin einer Punk-Rock-Band. 2013 folgte sie dem 20-Jährigen britischen Jihadisten Junaid Hussain in die ISIS-Hochburg Rakka nach Syrien. Er wurde bei einem Drohnen-Angriff 2015 getötet. 



Sally Jones in der ISIS-Hochburg Rakka? Das Bild teilte sie auf Twitter



Sally Jones in der ISIS-Hochburg Rakka? Das Bild teilte sie auf Twitter, ihr Account ist mittlerweile gesperrtFoto: Twitter



 



Jojo im Video



Nun glaubt der Vater also seinen Sohn JoJo in dem neuen Hinrichtungsvideo aus Syrien erkannt zu haben.



 



In dem Video ruft einer der Jungen, vermutlich der Anführer der Gruppe, etwas auf arabisch. Dann erschießen die Jungen die Gefangenen.



 



Bei den Kindern sind keine Gefühlsregungen zu sehen, auch der kleine Junge aus Großbritannien mit den blauen Augen starrt vor der Richtung ausdruckslos geradeaus. (BILD berichtete).



Der zweite Junge von rechts soll JoJo sein Der zweite Junge von rechts soll JoJo sein



 



Wie wirbt ISIS Kinder an?



 



( Кто вербует детей?



Частично это дети воюющих местных или иностранных бойцов, также вербуют сирот на общественных мероприятиях в городах, где террористы завлекают детей увлекательными историями, сладостями и игрушками.



Сотни детей ежегодно попадают в Сирию. В местности Ракка шесть регулярных обучающих центров , также две школы обучающих на английском языке для детей иностранных террористов.



В каждой школе учится от 150 до 200 детей и обучение длится от 20 до 45 дней.)



 



Zum Teil sind sie Söhne von lokalen oder ausländischen Kämpfern, sie werden aber auch aus Waisenhäusern rekrutiert und bei öffentlichen Veranstaltungen in den Städten, bei denen die Terroristen sie mit Abenteuergeschichten, Süßkram und Spielzeug anwerben.



 



Hunderte Kinder kommen jedes Jahr nach Syrien. In der Gegend um Rakka gibt es neben sechs regulären ISIS-Ausbildungsstätten mittlerweile auch zwei englischsprachige Schulen für die Kinder der ausländischen Kämpfer, berichtet ein Mitglied der syrischen Aktivistengruppe „Raqqa is being slaughtered silently“ gegenüber BILD.



150 bis 200 Kinder können pro Schule lernen, die ISIS-Ausbildung dauert zwischen 20 und 45 Tage.



ISIS macht Kinder zu Kämpfern der Zukunft 



( Игил делает бойцов будущего. Террористические организации используют детей для зверских преступлений, но впервые стали использовать для казни иностранных детей.)



Dass die Terror-Organisation Kinder für ihre brutalen Zwecke einsetzt, wird mehr und mehr Programm. Aber dass ISIS nun auch ausländische Kinder für die barbarischen Rituale benutzt, ist neu.



„ISIS ist die erste Terrororganisation, die so umfangreich auf die Ausbildung ihres Nachwuchses setzt,“ sagte Professor John Horgan von der Georgia State University zu BILD. „Die Terrormiliz investiert damit in die eigene Zukunft.“



 



газета Bild сегодня



 



 

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
nilamop

ВЛОГ №40: Компьютерная Академия ШАГ. Война роботов. 3D принтер.

Воскресенье, 28 Августа 2016 г. 18:05 (ссылка)


https://youtu.be/Xoj3jNaLob4



Смотреть видео рекомендую тем, кого интересуют информационные технологии и все что касается роботов и 3D принтеровyahoo



5861987_YDXJ0008_00_04_30_04_ (700x393, 195Kb)

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Марыся_Семицвет

Скидка 25 % на все обучающие материалы!

Суббота, 27 Августа 2016 г. 17:14 (ссылка)

Снова подходит пора учиться. Ну так сложилось, 1 сентября - старт.

Считаю, полезно стимулировать тех, кто хочет учиться, помогать им, создавать условия.

Создаю!

25 % скидки на все обучающие материалы в моём магазине в начале нового учебного года!

Плюс, дополнительные скидки на покупку более двух учебных материалов.

Ну и ещё всякие подарки.

Все обучающе материалы вы найдёте, перейдя по этой ссылке

http://www.livemaster.ru/marisyas?cid=341273

Вдохновения всем! В добрый час!!!!

С любовью, Марыся
depositphotos_43961317-Red-twenty-five-percent-off (700x525, 65Kb)

Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Математика для искусственных нейронных сетей для новичков, часть 3 — градиентный спуск продолжение

Пятница, 26 Августа 2016 г. 14:41 (ссылка)

Часть 2 — градиентный спуск начало



В предыдущей части я начал разбор алгоритма оптимизации под названием градиентный спуск. Предыдущая статья оборвалась на писании варианта алгоритма под названием пакетный градиентный спуск.



Существует и другая версия алгоритма — стохастический градиентный спуск. Стохастический = случайный.



Повторять, пока не сойдется



{

for i in train_set

{



}

}



Также напомню как выглядит пакетный:



Повторять, пока не сойдется

{



}



Формулы похожи, но, как видно, пакетный градиентный спуск вычисляет один шаг, используя сразу весь набор данных, тогда как стохастический за шаг использует только 1 элемент. Можно два этих варианта скрестить, получив мини-пакетный (mini-batch) спуск, который за раз обрабатывает, к примеру, 100 элементов, а не все или один.



Два этих варианта ведут себя похоже, но не одинаково. Пакетный спуск действительно следует в направлении наискорейшего спуска, тогда как стохастический, используя только один элемент из обучающей выборки, не может верно вычислить градиент для всей выборки. Это различие проще пояснить графически. Для этого я модифицирую код из первой части, в котором вычислялись коэффициенты линейной регрессии. Функция стоимости для нее выглядит следующим образом:



Как видно, это немного вытянутый параболоид. И также его «вид сверху», где крестом отмечен истинный минимум, найденный аналитически.



Сперва рассмотрим, как ведет себя пакетный спуск:



Код
def batch_descent(A, Y, speed=0.001):
theta = np.array(INITIAL_THETA.copy(), dtype=np.float32)
theta.reshape((len(theta), 1))
previous_cost = 10 ** 6
current_cost = cost_function(A, Y, theta)
while np.abs(previous_cost - current_cost) > EPS:
previous_cost = current_cost
derivatives = [0] * len(theta)
# ---------------------------------------------
for j in range(len(theta)):
summ = 0
for i in range(len(Y)):
summ += (Y[i] - A[i]@theta) * A[i][j]
derivatives[j] = summ
# Выполнение требования одновремменности
theta[0] += speed * derivatives[0]
theta[1] += speed * derivatives[1]
# ---------------------------------------------
current_cost = cost_function(A, Y, theta)
print("Batch cost:", current_cost)
plt.plot(theta[0], theta[1], 'ro')
return theta




Пакетный-анимация




Из-за того, что параболоид вытянутый, по его «дну» проходит «овраг», в который мы попадаем. Из-за этого последние шаги вдоль этого оврага очень маленькие, но тем не менее рано или поздно градиентный спуск доберется до минимума. Спуск происходит по линии антиградиента, каждый шаг приближаясь к минимуму.



Теперь та же самая функция, но для стохастического спуска:



Код
def stochastic_descent(A, Y, speed=0.1):
theta = np.array(INITIAL_THETA.copy(), dtype=np.float32)
previous_cost = 10 ** 6
current_cost = cost_function(A, Y, theta)
while np.abs(previous_cost - current_cost) > EPS:
previous_cost = current_cost
# --------------------------------------
# for i in range(len(Y)):
i = np.random.randint(0, len(Y))
derivatives = [0] * len(theta)
for j in range(len(theta)):
derivatives[j] = (Y[i] - A[i]@theta) * A[i][j]
theta[0] += speed * derivatives[0]
theta[1] += speed * derivatives[1]
current_cost = cost_function(A, Y, theta)
print("Stochastic cost:", current_cost)
plt.plot(theta[0], theta[1], 'ro')
# --------------------------------------
current_cost = cost_function(A, Y, theta)
return theta




В определении сказано, что выбирается только один элемент — в этом коде каждый последующий элемент выбирается случайным образом.



Стохастический-анимация




Как видно, в случае стохастического варианта, спуск идет не по линии антиградиента, а вообще непонятно как — каждый шаг отклоняясь в случайную сторону. Может показаться, что такими случайными дергаными движениями к минимуму можно прийти только случайно, однако было доказано, что стохастический градиентный спуск сходится почти наверное. Пару ссылок, например.



Весь код целиком
import numpy as np
import matplotlib.pyplot as plt

TOTAL = 200
STEP = 0.25
EPS = 0.1
INITIAL_THETA = [9, 14]


def func(x):
return 0.2 * x + 3


def generate_sample(total=TOTAL):
x = 0
while x < total * STEP:
yield func(x) + np.random.uniform(-1, 1) * np.random.uniform(2, 8)
x += STEP


def cost_function(A, Y, theta):
return (Y - A@theta).T@(Y - A@theta)


def batch_descent(A, Y, speed=0.001):
theta = np.array(INITIAL_THETA.copy(), dtype=np.float32)
theta.reshape((len(theta), 1))
previous_cost = 10 ** 6
current_cost = cost_function(A, Y, theta)
while np.abs(previous_cost - current_cost) > EPS:
previous_cost = current_cost
derivatives = [0] * len(theta)
# ---------------------------------------------
for j in range(len(theta)):
summ = 0
for i in range(len(Y)):
summ += (Y[i] - A[i]@theta) * A[i][j]
derivatives[j] = summ
# Выполнение требования одновремменности
theta[0] += speed * derivatives[0]
theta[1] += speed * derivatives[1]
# ---------------------------------------------
current_cost = cost_function(A, Y, theta)
print("Batch cost:", current_cost)
plt.plot(theta[0], theta[1], 'ro')
return theta


def stochastic_descent(A, Y, speed=0.1):
theta = np.array(INITIAL_THETA.copy(), dtype=np.float32)
previous_cost = 10 ** 6
current_cost = cost_function(A, Y, theta)
while np.abs(previous_cost - current_cost) > EPS:
previous_cost = current_cost
# --------------------------------------
# for i in range(len(Y)):
i = np.random.randint(0, len(Y))
derivatives = [0] * len(theta)
for j in range(len(theta)):
derivatives[j] = (Y[i] - A[i]@theta) * A[i][j]
theta[0] += speed * derivatives[0]
theta[1] += speed * derivatives[1]
# --------------------------------------
current_cost = cost_function(A, Y, theta)
print("Stochastic cost:", current_cost)
plt.plot(theta[0], theta[1], 'ro')
return theta

X = np.arange(0, TOTAL * STEP, STEP)
Y = np.array([y for y in generate_sample(TOTAL)])

# Нормализацию вкрячил, чтобы парабалоид красивый был
X = (X - X.min()) / (X.max() - X.min())

A = np.empty((TOTAL, 2))
A[:, 0] = 1
A[:, 1] = X

theta = np.linalg.pinv(A).dot(Y)
print(theta, cost_function(A, Y, theta))

import time
start = time.clock()
theta_stochastic = stochastic_descent(A, Y, 0.001)
print("St:", time.clock() - start, theta_stochastic)

start = time.clock()
theta_batch = batch_descent(A, Y, 0.001)
print("Btch:", time.clock() - start, theta_batch)




На 200 элементах разницы в скорости почти никакой нет, однако, увеличив количество элементов до 2000 (что тоже очень мало) и подкорректировав скорость обучения, стохастический вариант бьет пакетный, как хочет. Однако, в силу стохастической природы, иногда метод промахивается, осциллируя возле минимума без возможности остановиться. Как-то так:







Этот факт делает неприменимой чистую реализацию. Чтобы как-то призвать к порядку и снизить «случайность» можно снизить скорость обучения. На практике применяют mini-batch вариацию — от стохастической она отличается тем, что вместо одного случайно выбранного элемента выбирают больше одного.



О разнице, плюсах и минусах данных двух подходов написано достаточно много, вкратце подведу итог:



— Пакетный спуск хорош для строго выпуклых функций, потому что уверенно стремится к минимуму глобальному или локальному.

— Стохастический в свою очередь лучше работает на функциях с большим количеством локальных минимумов — каждый шаг есть шанс, что очередное значение «выбьет» из локальной ямы и конечное решение будет более оптимальным, нежели для пакетного спуска.

— Стохастический вычисляется быстрее — на каждом шаге нужны не все элементы из выборки. Вся выборка целиком может не влезть в память. Но требуется больше шагов.

— Для стохастического легко добавить новые элементы во время работы («онлайн» обучение).

— В случае mini-batch, можно также векторизовать код, что значительно ускорит его выполнение.



Также у градиентного спуска существует множество модификаций — momentum, наискорейшего спуска, усреднение, Adagrad, AdaDelta, RMSProp и другие. Здесь можно посмотреть короткий обзор некоторых. Частенько они используют значения градиента с предыдущих шагов или автоматически вычисляют наилучшее значение скорости для данного шага. Использование этих методов для простой гладкой функции МНК не имеет особого смысла, но в случае нейронных сетей и сетей с большим количеством слоев\нейронов, функция стоимости становится совсем грустной и градиентный спуск может застрять в локальной яме, так и не достигнув оптимального решения. Для таких проблем подходят методы на стероидах. Вот пример функции простой для минимизации (двумерная линейная регрессия с МНК):



И пример нелинейной функции:







Градиентный спуск — метод оптимизации первого порядка (первая производная). Также существует много методов второго порядка — для них необходимо вычислять вторую производную и строить гессиан (довольно затратная операция — ). Например, градиентный спуск второго порядка (скорость обучения заменили на гессиан), BFGS, сопряженные градиенты, метод Ньютона и еще огромное количество других методов. В общем, оптимизация — это отдельный и очень широкий пласт проблем. Впрочем, вот пример (правда, всего лишь презентация) работы + видео Яна Лекуна, в который он говорит, что можно не парится и просто использовать градиентные методы. Даже учитывая, что презентация 2007 года, многие последние эксперименты с большими ИНС использовали градиентные методы. Например.



На голых циклах далеко не уедешь — код нуждается в векторизации. Основной алгоритм для векторизации — пакетный градиентный спуск, с оговоркой, что , где k — количество элементов в тестовой выборке. Таким образом векторизация подходит для mini-batch метода. Как и в прошлый раз я выпишу все в раскрытых векторах. Обратите внимание что первая матрица транспонирована —







Для доказательства, пройдем пару шагов в обратную сторону:











В предыдущей формуле, в каждой строке индекс j зафиксирован, а i — изменяется от 1 до n. Свернув сумму:







Это выражение точно такое же, что и в определении градиентного спуска. Наконец, завершающий шаг — сворачивание векторов и матриц:







Стоимость одного такого шага — , где n — количество элементов, p — количество признаков. Много лучше . Также встречается выражение, тождественное этому:







Обратите внимание, что поменялись местами предсказанное значение и реальное, что привело к изменению знака перед скоростью обучения.



» Для запуска примеров необходимы: numpy, matplotlib.

» Материалы, использованные в статье — github.com/m9psy/neural_network_habr_guide
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/308604/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

FreePBX. Офисная телефония: быстрый старт

Пятница, 26 Августа 2016 г. 10:11 (ссылка)

Centos-admin.ru - делимся опытом!

Очередной вебинар от команды Centos-admin.ru пройдет в ближайший понедельник, в 12-00 по московскому времени. В этот раз мы рассмотрим использование FreePBX для быстрого развертывания системы офисной телефонии. Плюсы и минусы, основные настройки.

Вебинар рассчитан на системных администраторов, еще не имеющих опыта работы с FreePBX.



Прямая ссылка на видео | Cсылка для регистрации



Приглашаем всех желающих 29 августа. Приходите!

Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/308574/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<обучение - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda