Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 6297 сообщений
Cообщения с меткой

апокалипсис - Самое интересное в блогах

Следующие 30  »
Onem

МИД РФ назвал заявления США по КНДР сценарием Апокалипсиса

Среда, 17 Августа 2017 г. 01:09 (ссылка)
infopolk.ru/1/Z/news/vstran...00fc74687c

МИД РФ назвал заявления США по КНДР сценарием Апокалипсиса


В российском МИДе считают, что если США реализуют свои заявления в отношении Пхеньяна, то это станет сценарием Апокалипсиса ...

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
МИХАИЛ_БОЯРСКИЙ2

ПРЕДСКАЗАНИЕ О 44 ПОСЛЕДНЕМ ПРЕЗИДЕНТЕ США

Понедельник, 14 Августа 2017 г. 09:21 (ссылка)


0 1,б (700x345, 153Kb)



Из средневековья до наших дней дошла так называемая «Вечная книга», в которую свои видения записывал живший в итальянской Болонье «Черный Монах» Федерико Мартелли. Его еще называли «Черным Пауком» — по еще одному его прозвищу: Раньо Неро. «Держава на берегу двух океанов окажется сильнейшей на Земле, — пишет прорицатель и астролог. — Править ею будут по четыре года правители, 44-й из которых станет последним». Это одно из многих записей «Черного Монаха», который предсказал разные вещи и события. 

  После избрания в 2008 году на пост президента США Барака Обамы - многие стали готовиться к исполнению этого пророчества, ведь порядковый номер Обамы был 44. Но прошел первый срок, за ним второй, потом выборы выиграл Трамп, а пророчество не сбылось. Но все не так просто - в американской череде президентов был такой президент Гровер Кливленд, он избирался в президенты США дважды, но не подряд, став одновременно и 22 и 24 президентом США. Что привело к тому, что президентов - меньше на одного, чем их номеров. Таким образом

Обама одновременно и 43 и 44 президент, а сменивший его Трамп - одновременно и 45 и 44.

И судя по его поведению - он вполне может воплотить в жизнь тот самый апокалиптичный сценарий древних пророков.

  Но тех кто совсем этому не рад, могу также дать обнадеживающий прогноз - Барак Обама в последнее время несколько раз намекал на желание опять избраться президентом. Если Трамп отгудит полностью свой президентский срок, а Обама изберется ему на смену и станет одновременно и 46 и опять 44 президентом США. Что позволит максимально отдалить катастрофический для США и планеты сценарий в виде ядерной войны, гражданского противостояния  или катастрофы Йеллоустоунского вулкана) еще на 11 лет.

 Вот такая вот странная арифметика.


Метки:   Комментарии (2)КомментироватьВ цитатник или сообщество
Unico_Unicornio

Знамения времени. Тайны книги Апокалипсис

Пятница, 11 Августа 2017 г. 17:26 (ссылка)

Серафим Роуз. Знамения времени. Тайны книги АпокалипсисЭто небольшой сборник, он состоит из двух работ известного духовного писателя - иеромонаха Серафима Роуза, обе относятся к 1980 году.

"Знамения времени" - это беседа, которая состоялась в Калифорнии на Женской конференции, посвящённой преподобному Герману. Она сохранилась на архивных плёнках Братства этого святого и была переведена на русский язык.

В этой беседе о. Серафим Роуз рассказывает о знамениях, данных в Священном Писании, и об опасности их вольного толкования. Содержание беседы состоит из 12 частей:
1. Зачем наблюдать знамения времени?
2. Знамения, данные нам Христом
3. Основа для понимания знамений
4. Духовное рассуждение
5. Искажение христианского равенства
6. Интерес "христиан" к НЛО
7. Для чего нам необходимо православное мировоззрение
8. Взгляд на особые знамения
9. Охлаждение любви
10. Иерусалимский храм
11. Иные знамения
12. Предостережение тем, кто поддается унынию

Вторая работа, "Тайны книги Апокалипсис" - это вступительная лекция к курсу книги Апокалипсис, прочитанная в Платине в 1980 году на летних занятиях Ново-Валаамской Богословской академии. Эта тема соотносится с первой, так как многие воспринимают наше время как последние времена. Содержание лекции:

1. Неправильный подход
2. Откровение тайн
3. Утешение страждущей Церкви
4. Опасно полагаться на свое мнение
5. Правильный подход
6. Хронологическая ошибка толкований книги Апокалипсис
7. Близость пришествия Христа

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Перевод] Ограничения глубинного обучения и будущее

Понедельник, 07 Августа 2017 г. 08:48 (ссылка)

Эта статья представляет собой адаптацию разделов 2 и 3 из главы 9 моей книги «Глубинное обучение с Python» (Manning Publications).



Статья рассчитана на людей, у которых уже есть значительный опыт работы с глубинным обучением (например, тех, кто уже прочитал главы 1-8 этой книги). Предполагается наличие большого количества знаний.






Ограничения глубинного обучения



Глубинное обучение: геометрический вид



Самая удивительная вещь в глубинном обучении — то, насколько оно простое. Десять лет назад никто не мог представить, каких потрясающих результатов мы достигнем в проблемах машинного восприятия, используя простые параметрические модели, обученные с градиентным спуском. Теперь выходит, что нужны всего лишь достаточно большие параметрические модели, обученные на достаточно большом количестве образцов. Как сказал однажды Фейнман о Вселенной: «Она не сложная, её просто много».



В глубинном обучении всё является вектором, то есть точкой в геометрическом пространстве. Входные данные модели (это может быть текст, изображения и т. д.) и её цели сначала «векторизируются», то есть переводятся в некое первоначальное векторное пространство на входе и целевое векторное пространство на выходе. Каждый слой в модели глубинного обучения выполняет одно простое геометрическое преобразование данных, которые идут через него. Вместе, цепочка слоёв модели создаёт одно очень сложное геометрическое преобразование, разбитое на ряд простых. Эта сложная трансформация пытается преобразовать пространство входных данных в целевое пространство, для каждой точки. Параметры трансформации определяются весами слоёв, которые постоянно обновляются на основании того, насколько хорошо модель работает в данный момент. Ключевая характеристика геометрической трансформации — то, что она должна быть дифференцируема, то есть мы должны иметь возможность узнать её параметры через градиентный спуск. Интуитивно, это означает, что геометрический морфинг должен быть плавным и непрерывным — важное ограничение.



Весь процесс применения этой сложной геометрической трансформации на входных данных можно визуализировать в 3D, изобразив человека, который пытается развернуть бумажный мячик: смятый бумажный комочек — это многообразие входных данных, с которыми модель начинает работу. Каждое движение человека с бумажным мячиком похоже на простую геометрическую трансформацию, которую выполняет один слой. Полная последовательность жестов по разворачиванию — это сложная трансформация всей модели. Модели глубинного обучения — это математические машины по разворачиванию запутанного многообразия многомерных данных.



Вот в чём магия глубинного обучения: превратить значение в векторы, в геометрические пространства, а затем постепенно обучаться сложным геометрическим преобразованиям, которые преобразуют одно пространство в другое. Всё что нужно — это пространства достаточно большой размерности, чтобы передать весь спектр отношений, найденных в исходных данных.



Ограничения глубинного обучения



Набор задач, которые можно решить с помощью этой простой стратегии, практически бесконечен. И все же до сих пор многие из них вне досягаемости нынешних техник глубинного обучения — даже несмотря на наличие огромного количества вручную аннотированных данных. Скажем, для примера, что вы можете собрать набор данных из сотен тысяч — даже миллионов — описаний на английском языке функций программного обеспечения, написанных менеджерами продуктов, а также соответствующего исходного года, разработанного группами инженеров для соответствия этим требованиям. Даже с этими данными вы не можете обучить модель глубинного обучения просто прочитать описание продукта и сгенерировать соответствующую кодовую базу. Это просто один из многих примеров. В целом, всё что требует аргументации, рассуждений — как программирование или применение научного метода, долговременное планирование, манипуляции с данными в алгоритмическом стиле — находится за пределами возможностей моделей глубинного обучения, неважно сколько данных вы бросите в них. Даже обучение нейронной сети алгоритму сортировки — невероятно сложная задача.



Причина в том, что модель глубинного обучения — это «лишь» цепочка простых, непрерывных геометрических преобразований, которые преобразуют одно векторное пространство в другое. Всё, что она может, это преобразовать одно множество данных X в другое множество Y, при условии наличия возможной непрерывной трансформации из X в Y, которой можно обучиться, и доступности плотного набора образцов преобразования X:Y как данных для обучения. Так что хотя модель глубинного обучения можно считать разновидностью программы, но большинство программ нельзя выразить как модели глубинного обучения — для большинства задач либо не существует глубинной нейросети практически подходящего размера, которая решает задачу, либо если существует, она может быть необучаема, то есть соответствующее геометрическое преобразование может оказаться слишком сложным, или нет подходящих данных для её обучения.



Масштабирование существующих техник глубинного обучения — добавление большего количества слоёв и использование большего объёма данных для обучения — способно лишь поверхностно смягчить некоторые из этих проблем. Оно не решит более фундаментальную проблему, что модели глубинного обучения очень ограничены в том, что они могут представлять, и что большинство программ нельзя выразить в виде непрерывного геометрического морфинга многообразия данных.



Риск антропоморфизации моделей машинного обучения



Один из очень реальных рисков современного ИИ — неверная интерпретация работы моделей глубинного обучения и преувеличение их возможностей. Фундаментальная особенность человеческого разума — «модель психики человека», наша склонность проецировать цели, убеждения и знания на окружающие вещи. Рисунок улыбающейся рожицы на камне вдруг делает нас «счастливыми» — мысленно. В приложении к глубинному обучению это означает, например, что если мы можем более-менее успешно обучить модель генерировать текстовые описания картинок, то мы склонны думать, что модель «понимает» содержание изображений, также как и генерируемые описания. Нас затем сильно удивляет, когда из-за небольшого отклонения от набора изображений, представленных в данных для обучения, модель начинает генерировать абсолютно абсурдные описания.







В частности, наиболее ярко это проявляется в «состязательных примерах», то есть образцах входных данных сети глубинного обучения, специально подобранных, чтобы их неправильно классифицировали. Вы уже знаете, что можно сделать градиентное восхождение в пространстве входных данных для генерации образцов, которые максимизируют активацию, например, определённого фильтра свёрточной нейросети — это основа техники визуализации, которую мы рассматривали в главе 5 (примечание: книги «Глубинное обучение с Python»), также как алгоритма Deep Dream из главы 8. Похожим способом, через градиентное восхождение, можно слегка изменить изображение, чтобы максимизировать предсказание класса для заданного класса. Если взять фотографию панды и добавить градиент «гиббон», мы можем заставить нейросеть классифицировать эту панду как гиббона. Это свидетельствует как о хрупкости этих моделей, так и о глубоком различии между трансформацией со входа на выход, которой она руководствуется, и нашим собственным человеческим восприятием.







В общем, у моделей глубинного обучения нет понимания входных данных, по крайней мере, не в человеческом смысле. Наше собственное понимание изображений, звуков, языка, основано на нашем сенсомоторном опыте как людей — как материальных земных существ. У моделей машинного обучения нет доступа к такому опыту и поэтому они не могут «понять» наши входные данные каким-либо человекоподобным способом. Аннотируя для наших моделей большое количество примеров для обучения, мы заставляем их выучить геометрическое преобразование, которое приводит данные к человеческим концепциям для этого специфического набора примеров, но это преобразование является лишь упрощённым наброском оригинальной модели нашего разума, таким, какое разработано исходя из нашего опыта как телесных агентов — это как слабое отражение в зеркале.







Как практикующий специалист по машинному обучению, всегда помните об этом, и никогда не попадайте в ловушку веры в то, что нейросети понимают задачу, которую выполняют — они не понимают, по крайней мере не таким образом, какой имеет смысл для нас. Они были обучены другой, гораздо более узкой задаче, чем та, которой мы хотим их обучить: простому преобразованию входных образцов обучения в целевые образцы обучения, точка к точке. Покажите им что-нибудь, что отличается от данных обучения, и они сломаются самым абсурдным способом.



Локальное обобщение против предельного обобщения



Кажется, существуют фундаментальные отличия между прямым геометрическим морфингом со входа на выход, который делают модели глубинного обучения, и тем способом, как люди думают и обучаются. Дело не только в том, что люди обучаются сами от своего телесного опыта, а не через обработку набора учебных образцов. Кроме разницы в процессах обучения, есть фундаментальные отличия в природе лежащих в основе представлений.



Люди способны на гораздо большее, чем преобразование немедленного стимула в немедленный отклик, как нейросеть или, может быть, насекомое. Люди удерживают в сознании сложные, абстрактные модели текущей ситуации, самих себя, других людей, и могут использовать эти модели для предсказания различных возможных вариантов будущего, и выполнять долговременное планирование. Они способны на объединение в единое целое известных концепций, чтобы представить то, что они никогда не знали раньше — как рисование лошади в джинсах, например, или изображение того, что бы они сделали, если бы выиграли в лотерею. Способность мыслить гипотетически, расширять свою модель ментального пространства далеко за пределы того, что мы напрямую испытывали, то есть, способность делать абстракции и рассуждения, пожалуй, определяющая характеристика человеческого познания. Я называю это «предельным обобщением»: способность приспосабливаться к новым, никогда не испытанным ранее ситуациям, используя очень мало данных либо вовсе не используя никаких данных.



Это резко отличается от того, что делают сети глубинного обучения, что я бы назвал «локальным обобщением»: преобразование входных данных в выходные данные быстро прекращает иметь смысл, если новые входные данные хотя бы немного отличаются от того, с чем они встречались во время обучения. Рассмотрим, для примера, проблему обучения подходящим параметрам запуска ракеты, которая должна сесть на Луну. Если бы вы использовали нейросеть для этой задачи, обучая её с учителем или с подкреплением, вам бы понадобилось дать ей тысячи или миллионы траекторий полёта, то есть нужно выдать плотный набор примеров в пространстве входящих значений, чтобы обучиться надёжному преобразованию из пространства входящих значений в пространство исходящих значений. В отличие от них, люди могут использовать силу абстракции для создания физических моделей — ракетостроение — и вывести точное решение, которое доставит ракету на Луну всего за несколько попыток. Таким же образом, если вы разработали нейросеть для управления человеческим телом и хотите, чтобы она научилась безопасно проходить по городу, не будучи сбитой автомобилем, сеть должна умереть много тысяч раз в различных ситуациях, прежде чем сделает вывод, что автомобили опасны, и не выработает соответствующее поведение, чтобы их избегать. Если её перенести в новый город, то сети придётся заново учиться большей часть того, что она знала. С другой стороны, люди способны выучить безопасное поведение, не умерев ни разу — снова, благодаря силе абстрактного моделирования гипотетических ситуаций.







Итак, несмотря на наш прогресс в машинном восприятии, мы всё ещё очень далеки от ИИ человеческого уровня: наши модели могут выполнять только локальное обобщение, адаптируясь к новым ситуациям, которые должны быть очень близки к прошлым данным, в то время как человеческий разум способен на предельное обобщение, быстро приспосабливаясь к абсолютно новым ситуациям или планируя далеко в будущее.



Выводы



Вот что вы должны помнить: единственным реальным успехом глубинного обучения к настоящему моменту является способность транслировать пространство X в пространство Y, используя непрерывное геометрическое преобразование, при наличии большого количества данных, аннотированных человеком. Хорошее выполнение этой задачи представляет собой революционно важное достижение для целой индустрии, но до ИИ человеческого уровня по-прежнему очень далеко.



Чтобы снять некоторые из этих ограничений и начать конкурировать с человеческим мозгом, нам нужно отойти от прямого преобразования со входа в выход и перейти к рассуждениям и абстракциям. Возможно, подходящей основой для абстрактного моделирования различных ситуация и концепций могут быть компьютерные программы. Мы говорили раньше (примечание: в книге «Глубинное обучение с Python»), что модели машинного обучения можно определить как «обучаемые программы»; в данный момент мы можем обучать только узкое и специфическое подмножество всех возможных программ. Но что если бы мы могли обучать каждую программу, модульно и многократно? Посмотрим, как мы можем к этому придти.



Будущее глубинного обучения



Учитывая то, что мы знаем о работе сетей глубинного обучения, их ограничениях и нынешнем состоянии научных исследований, можем ли мы прогнозировать, что произойдёт в среднесрочной перспективе? Здесь несколько моих личных мыслей по этому поводу. Имейте в виду, что у меня нет хрустального шара для предсказаний, так что многое из того, что я ожидаю, может не воплотиться в реальность. Это абсолютные спекуляции. Я разделяю эти прогнозы не потому что ожидаю, что они полностью воплотятся в будущем, а потому что они интересны и применимы в настоящем.



На высоком уровне вот основные направления, которые я считаю перспективными:




  • Модели приблизятся к компьютерным программам общего предназначения, построенных поверх гораздо более богатых примитивов, чем наши нынешние дифференцируемые слои — так мы получим рассуждения и абстракции, отсутствие которых является фундаментальной слабостью нынешних моделей.

  • Появятся новые формы обучения, которые сделают это возможным — и позволят моделям отойти просто от дифференцируемых преобразований.

  • Модели будут требовать меньшего участия разработчика — не должно быть вашей работой постоянно подкручивать ручки.

  • Появится большее, систематическое повторное использование выученных признаков и архитектур; мета-обучаемые системы на основе повторно используемых и модульных подпрограмм.



Вдобавок, обратите внимание, что эти рассуждения не относятся конкретно к обучению с учителем, которое до сих пор остаётся основой машинного обучения — также они применимы к любой форме машинного обучения, включая обучение без учителя, обучение под собственным наблюдением и обучение с подкреплением. Фундаментально неважно, откуда пришли ваши метки или как выглядит ваш цикл обучения; эти разные ветви машинного обучения — просто разные грани одной конструкции.



Итак, вперёд.



Модели как программы



Как мы заметили раньше, необходимым трансформационным развитием, которое можно ожидать в области машинного обучения, является уход от моделей, выполняющих чисто распознавание шаблонов и способных только на локальное обобщение, к моделям, способным на абстракции и рассуждения, которые могут достичь предельного обобщения. Все нынешние программы ИИ с базовым уровнем рассуждений жёстко запрограммированы людьми-программистами: например, программы, которые полагаются на поисковые алгоритмы, манипуляции с графом, формальную логику. Так, в программе DeepMind AlphaGo б'oльшая часть «интеллекта» на экране спроектирована и жёстко запрограммирована экспертами-программистами (например, поиск в дереве по методу Монте-Карло); обучение на новых данных происходит только в специализированных подмодулях — сети создания ценностей (value networks) и сети по вопросам политики (policy networks). Но в будущем такие системы ИИ могут быть полностью обучены без человеческого участия.



Как этого достичь? Возьмём хорошо известный тип сети: RNN. Что важно, у RNN немного меньше ограничений, чем у нейросетей прямого распространения. Это потому что RNN представляют собой немного больше, чем простые геометрические преобразования: это геометрические преобразования, которые осуществляются непрерывно в цикле for. Временной цикл for задаётся разработчиком: это встроенное допущение сети. Естественно, сети RNN всё ещё ограничены в том, что они могут представлять, в основном, потому что каждый их шаг по-прежнему является дифференцируемым геометрическим преобразованием и из-за способа, которым они передают информацию шаг за шагом через точки в непрерывном геометрическом пространстве (векторы состояния). Теперь представьте нейросети, которые бы «наращивались» примитивами программирования таким же способом, как циклы for — но не просто одним-единственным жёстко закодированным циклом for с прошитой геометрической памятью, а большим набором примитивов программирования, с которыми модель могла бы свободно обращаться для расширения своих возможностей обработки, таких как ветви if, операторы while, создание переменных, дисковое хранилище для долговременной памяти, операторы сортировки, продвинутые структуры данных вроде списков, графов, хеш-таблиц и многого другого. Пространство программ, которые такая сеть может представлять, будет гораздо шире, чем могут выразить существующие сети глубинного обучения, и некоторые из этих программ могут достичь превосходной силы обобщения.



Одним словом, мы уйдём от того, что у нас с одной стороны есть «жёстко закодированный алгоритмический интеллект» (написанное вручную ПО), а с другой стороны — «обученный геометрический интеллект» (глубинное обучение). Вместо этого мы получим смесь формальных алгоритмических модулей, которые обеспечивают возможности рассуждений и абстракции, и геометрические модули, которые обеспечивают возможности неформальной интуиции и распознавания шаблонов. Вся система целиком будет обучена с небольшим человеческим участием либо без него.



Родственная область ИИ, которая, по моему мнению, скоро может сильно продвинуться, это программный синтез, в частности, нейронный программный синтез. Программный синтез состоит в автоматической генерации простых программ, используя поисковый алгоритм (возможно, генетический поиск, как в генетическом программировании) для изучения большого пространства возможных программ. Поиск останавливается, когда найдена программа, соответствующая требуемым спецификациям, часто предоставляемым как набор пар вход-выход. Как видите, это сильно напоминает машинное обучение: «данные обучения» предоставляются как пары вход-выход, мы находим «программу», которая соответствует трансформации входных в выходные данные и способна к обобщениям для новых входных данных. Разница в том, что вместо значений параметров обучения в жёстко закодированной программе (нейронной сети) мы генерируем исходный код путём дискретного поискового процесса.



Я определённо ожидаю, что к этой области снова проснётся большой интерес в следующие несколько лет. В частности, я ожидаю взаимное проникновение смежных областей глубинного обучения и программного синтеза, где мы будем не просто генерировать программы на языках общего назначения, а где мы будем генерировать нейросети (потоки обработки геометрических данных), дополненные богатым набором алгоритмических примитивов, таких как циклы for — и многие другие. Это должно быть гораздо более удобно и полезно, чем прямая генерация исходного кода, и драматически расширит границы для тех проблем, которые можно решать с помощью машинного обучения — пространство программ, которые мы можем генерировать автомтически, получая соответствующие данные для обучения. Смесь символического ИИ и геометрического ИИ. Современные RNN можно рассматривать как исторического предка таких гибридных алгоритмо-геометрических моделей.





Рисунок: Обученная программа одновременно полагается на геометрические примитивы (распознавание шаблонов, интуиция) и алгоритмические примитивы (аргументация, поиск, память).



За пределами обратного распространения и дифференцируемых слоёв



Если модели машинного обучения станут больше похожи на программы, тогда они больше почти не будут дифференцируемы — определённо, эти программы по-прежнему будут использовать непрерывные геометрические слои как подпрограммы, которые останутся дифференцируемыми, но вся модель в целом не будет такой. В результате, использование обратного распространения для настройки значений весов в фиксированной, жёстко закодированной сети не может оставаться в будущем предпочтительным методом для обучения моделей — по крайней мере, нельзя ограничиваться только этим методом. Нам нужно выяснить, как наиболее эффективно обучать недифференцируемые системы. Нынешние подходы включают генетические алгоритмы, «эволюционные стратегии», определённые методы обучения с подкреплением, ADMM (метод переменных направлений множителей Лагранжа). Естественно, градиентный спуск больше никуда не денется — информация о градиенте всегда будет полезна для оптимизации дифференцируемых параметрических функций. Но наши модели определённо будут становится всё более амбициозными, чем просто дифференцируемые параметрические функции, и поэтому их автоматизированная разработка («обучение» в «машинном обучении») потребует большего, чем обратное распространение.



Кроме того, обратное распространение имеет рамки end-to-end, что подходит для обучения хороших сцепленных преобразований, но довольно неэффективно с вычислительной точки зрения, потому что не использует полностью модульность глубинных сетей. Чтобы повысить эффективность чего бы то ни было, есть один универсальный рецепт: ввести модульность и иерархию. Так что мы можем сделать само обратное распространение более эффективным, введя расцепленные модули обучения с определённым механизмом синхронизации между ними, организованном в иерархическом порядке. Эта стратегия частично отражена в недавней работе DeepMind по «синтетическим градиентам». Я ожидаю намного, намного больше работ в этом направлении в ближайшем будущем.



Можно представить будущее, где глобально недифференцируемые модели (но с наличием дифференцируемых частей) будут обучаться — расти — с использованием эффективного поискового процесса, который не будет применять градиенты, в то время как дифференцируемые части будут обучаться даже быстрее, используя градиенты с использованием некоей более эффективной версии обратного распространения



Автоматизированное машинное обучение



В будущем архитектуры модели будут создаваться обучением, а не писаться вручную инженерами. Полученные обучением модели автоматически работают вместе с более богатым набором примитивов и программоподобных моделей машинного обучения.



Сейчас б'oльшую часть времени разработчик систем глубинного обучения бесконечно модифицирует данные скриптами Python, затем долго настраивает архитектуру и гиперпараметры сети глубинного обучения, чтобы получить работающую модель — или даже чтобы получить выдающуюся модель, если разработчик настолько амбициозен. Нечего и говорить, что это не самое лучшее положение вещей. Но ИИ и здесь может помочь. К сожалению, часть по обработке и подготовке данных трудно автоматизировать, поскольку она часто требует знания области, а также чёткого понимания на высоком уровне, чего разработчик хочет достичь. Однако настройка гиперпараметров — это простая поисковая процедура, и в данном случае мы уже знаем, чего хочет достичь разработчик: это определяется функцией потерь нейросети, которую нужно настроить. Сейчас уже стало обычной практикой устанавливать базовые системы AutoML, которые берут на себя большую часть подкрутки настроек модели. Я и сам установил такую, чтобы выиграть соревнования Kaggle.



На самом базовом уровне такая система будет просто настраивать количество слоёв в стеке, их порядок и количество элементов или фильтров в каждом слое. Это обычно делается с помощью библиотек вроде Hyperopt, которые мы обсуждали в главе 7 (примечание: книги «Глубинное обучение с Python»). Но можно пойти намного дальше и попробовать получить обучением соответствующую архитектуру с нуля, с минимальным набором ограничений. Это возможно с помощью обучения с подкреплением, например, или с помощью генетических алгоритмов.



Другим важным направлением развития AutoML является получение обучением архитектуры модели одновременно с весами модели. Обучая модель с нуля каждый раз мы пробуем немного разные архитектуры, что чрезвычайно неэффективно, поэтому действительно мощная система AutoML будет управлять развитием архитектур, в то время как свойства модели настраиваются через обратное распространение на данных для обучения, таким образом устраняя всю чрезмерность вычислений. Когда я пишу эти строки, подобные подходы уже начали применять.



Когда всё это начнёт происходить, разработчики систем машинного обучения не останутся без работы — они перейдут на более высокий уровень в цепочке создания ценностей. Они начнут прикладывать гораздо больше усилий к созданию сложных функций потерь, которые по-настоящему отражают деловые задачи, и будут глубоко разбираться в том, как их модели влияют на цифровые экосистемы, в которых они работают (например, клиенты, которые пользуются предсказаниями модели и генерируют данные для её обучения) — проблемы, которые сейчас могут позволить себе рассматривать только крупнейшие компании.



Пожизненное обучение и повторное использование модульных подпрограмм



Если модели становятся более сложными и построены на более богатых алгоритмических примитивах, тогда эта повышенная сложность потребует более интенсивного повторного их использования между задачами, а не обучения модели с нуля каждый раз, когда у нас появляется новая задача или новый набор данных. В конце концов, многие наборы данных не содержат достаточно информации для разработки с нуля новой сложной модели и станет просто необходимо использовать информацию от предыдущих наборов данных. Вы же не изучаете заново английский язык каждый раз, когда открываете новую книгу — это было бы невозможно. К тому же, обучение моделей с нуля на каждой новой задаче очень неэффективно из-за значительного совпадения между текущими задачами и теми, которые встречались раньше.



Вдобавок, в последние годы неоднократно звучало замечательное наблюдение, что обучение одной и той же модели делать несколько слабо связанных задач улучшает её результаты в каждой из этих задач. Например, обучение одной и той же нейросети переводить с английского на немецкий и с французского на итальянский приведёт к получению модели, которая будет лучше в каждой из этих языковых пар. Обучение модели классификации изображений одновременно с моделью сегментации изображений, с единой свёрточной базой, приведёт к получению модели, которая лучше в обеих задачах. И так далее. Это вполне интуитивно понятно: всегда есть какая-то информация, которая частично совпадает между этими двумя на первый взгляд разными задачами, и поэтому общая модель имеет доступ к большему количеству информации о каждой отдельной задаче, чем модель, которая обучалась только на этой конкретной задаче.



Что мы делаем на самом деле, когда повторно применяем модель на разных задачах, так это используем предобученные веса для моделей, которые выполняют общие функции, вроде извлечения визуальных признаков. Вы видели это на практике в главе 5. Я ожидаю, что в будущем будет повсеместно использоваться более общая версия этой техники: мы не только станем применять ранее усвоенные признаки (веса подмодели), но также архитектуры моделей и процедуры обучения. По мере того, как модели будут становиться более похожими на программы, мы начнём повторно использовать подпрограммы, как функции и классы в обычных языках программирования.



Подумайте, как выглядит сегодня процесс разработки программного обеспечения: как только инженер решает определённую проблему (HTTP-запросы в Python, например), он упаковывает её как абстрактную библиотеку для повторного использования. Инженеры, которым в будущем встретится похожая проблема, просто ищут существующие библиотеки, скачивают и используют их в своих собственных проектах. Таким же образом в будущем системы метаобучения смогут собирать новые программы, просеивая глобальную библиотеку высокоуровневых повторно используемых блоков. Если система начнёт разрабатывать похожие подпрограммы для нескольких разных задач, то выпустит «абстрактную» повторно используемую версию подпрограммы и сохранит её в глобальной библиотеке. Такой процесс откроет возможность для абстракции, необходимого компонента для достижения «предельного обобщения»: подпрограмма, которая окажется полезной для многих задач и областей, можно сказать, «абстрагирует» некий аспект принятия решений. Такое определение «абстракции» похоже не понятие абстракции в разработке программного обеспечения. Эти подпрограммы могут быть или геометрическими (модули глубинного обучения с предобученными представлениями), или алгоритмическими (ближе к библиотекам, с которыми работают современные программисты).







Рисунок: Метаобучаемая система, способная быстро разработать специфические для задачи модели с применением повторно используемых примитивов (алгоритмических и геометрических), за счёт этого достигая «предельного обобщения».



В итоге: долговременное видение



Вкратце, вот моё долговременное видение для машинного обучения:




  • Модели станут больше похожи на программы и получат возможности, которые простираются далеко за пределы непрерывных геометрических преобразований исходных данных, с чем мы работаем сейчас. Возможно, эти программы будут намного ближе к абстрактным ментальным моделям, которые люди поддерживают о своём окружении и о себе, и они будут способны на более сильное обобщение благодаря своей алгоритмической природе.

  • В частности, модели будут смешивать алгоритмические модули с формальными рассуждениями, поиском, способностями к абстракции — и геометрические модули с неформальной интуицией и распознаванием шаблонов. AlphaGo (система, потребовавшая интенсивного ручного программирования и разработки архитектуры) представляет собой ранний пример, как может выглядеть слияние символического и геометрического ИИ.

  • Они будут выращиваться автоматически (а не писаться вручную людьми-программистами), с использованием модульных частей из глобальной библиотеки повторно используемых подпрограмм — библиотеки, которая эволюционировала путём усвоения высокопроизводительных моделей из тысяч предыдущих задач и наборов данных. Как только метаобучаемая система определила общие шаблоны решения задач, они преобразуются в повторно используемые подпрограммы — во многом как функции и классы в современном программировании — и добавляются в глобальную библиотеку. Так достигается способность абстракции.

  • Глобальная библиотека и соответствующая система выращивания моделей будет способна достичь некоторой формы человекоподобного «предельного обобщения»: столкнувшись с новой задачей, новой ситуацией, система сможет собрать новую работающую модель для этой задачи, используя очень малое количество данных, благодаря: 1) богатым программоподобным примитивам, которые хорошо делают обобщения и 2) обширному опыту решения похожих задач. Таким же образом, как люди могут быстро изучить новую сложную видеоигру, потому что у них есть предыдущий опыт многих других игр и потому что модели на основе предыдущего опыта являются абстратктными и программоподобными, а не простым преобразованием стимула в действие.

  • По существу, эту непрерывно обучающуюся систему по выращиванию моделей можно интерпретировать как Сильный Искусственный Интеллект. Но не ждите наступления какого-то сингулярного робоапокалипсиса: он является чистой фантазией, которая родилась из большого списка глубоких недоразумений в понимании интеллекта и технологий. Впрочем, этой критике здесь не место.


Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/335026/

Комментарии (0)КомментироватьВ цитатник или сообщество
Белый-Кролик

ЛУЧШАЯ КНИГА - ПРЕДУПРЕЖДЕНИЕ ЧЕЛОВЕЧЕСТВУ!

Понедельник, 31 Июля 2017 г. 14:03 (ссылка)


Хотелось бы кролику публиковать только Няшное и Прекрасное - но под угрозой дальнейшее - существование цивилизации и человечества!


(комментарий читатели и мой комментарии - в самом конце этой публикации)


ЛУЧШАЯ КНИГА - ПРЕДУПРЕЖДЕНИЕ ЧЕЛОВЕЧЕСТВУ!


Орикс и Коростель Автор книги - Маргарет Этвуд



 


(Не встречал подобных книг, о грядущем апокалипсисе человечества - которые бы были, столь близки - к уже существующей реальной мрачной действительности.)


 


Не утешительная наша Реальность: Близится Демографическая и Экологическая катастрофа - агрессия человечества всё нарастает. 


 


Быстро по нарастающей увеличивается количество населения Земли (причем,за счёт далеко не самых интеллектуальных и трудолюбивых людей - зато с большими агрессивными амбициями). 


 


Уменьшаются различные производства (особенно продуктов), всё больше - увеличиваются количества различных новых болезней (особенно поражающих сельскохозяйственный скот).


 


Растёт экстремистский терроризм, пропагандируются и распространяются различные безумные идеи - нетерпимая агрессивная религиозность, веганизм, педоистерия и.т.


 


Все это хорошо описано в художественной книге прогнозе: "Орикс и Коростель" - в перспективе недалёкого и мрачного будущего.


(Очень хотелось бы, чтобы этого не произошло - но похоже человечество сейчас, именно катится к подобному апокалипсису цивилизации.)5358337_45Y5O (700x483, 117Kb)


------------------------


ЧИТАЙТЕ ВЫДЕРЖКИ ИЗ ЭТОЙ КНИГИ:


Они стояли перед клетками. В каждой сидела собака. Все разных пород и размеров, но все смотрели на Джимми с любовью, умильно виляя хвостами. 


 


— Это что, собачий питомник? — спросил Джимми. 


 


— Не совсем, — ответил Коростель. — За ограждение не заходи и не суй руки. 


 


— Но они вроде дружелюбные, — сказал Джимми. Его снова накрыла давняя тоска по домашней зверушке. — Они продаются? 


 


— Это не собаки, просто похожи на собак. Это волкопсы — специально выведены, чтобы обманывать. Попробуй погладить такого песика, и он отхватит тебе руку. Ген питбуля. 


 


— Но зачем создавать таких собак? — Джимми попятился. — Кому это надо? 


 


— КорпБезКорпу, — ответил Коростель. — Работа под заказ. Куча денег. Они хотят выкопать рвы и посадить туда этих зверей. 


 


— Рвы? 


 


— Ну да. Лучше любой сигнализации. Этих зверей не отключишь. И приручить их нельзя, в отличие от обычных собак. 


 


— А если они убегут? Начнут убивать? Начнут размножаться, популяция выйдет из-под контроля — как эти здоровые зеленые кролики? 


 


— Тогда проблем не оберешься, — сказал Коростель. — Но они не убегут. Природа — зоопаркам, Бог — церквям, как говорится. 


 


— И что это значит? — Он особо не прислушивался к словам Коростеля, он думал о «ПухлоКурах» и волкопсах. Отчего ему кажется, что человечество перешло какую-то черту, нарушило границы? Слишком много — это сколько? Слишком далеко — это где? 


 


— Стены и решетки тут не просто так, — сказал Коростель. — Не чтобы не впускать нас, а чтобы не выпускать их. Человечеству необходимы ограды в обоих случаях. 


 


— Кого — их? 


 


— Природу и Бога. 


 


— А я думал, ты не веришь в Бога, — заметил Джимми. 


 


— Я и в Природу не верю, — ответил Коростель. — По крайней мере, в Природу с большой буквы П. 


 


-------------------------------------— 


— Аксиома: болезнь не продуктивна. Сама по себе она не дает преимуществ, не является товаром и, следовательно, не приносит прибыли. С другой стороны, она является причиной различной деятельности и опосредованно все же является источником дохода, потому что люди должны лечиться. Денежный поток идет от пациентов к докторам, от клиентов к торговцам панацеей. Можно сказать, денежный осмос. 


 


— Принято, — согласился Джимми. 


 


— Теперь давай предположим, что ты — организация «Здравайзер». Предположим, ты зарабатываешь деньги, торгуя лекарствами и процедурами, которые лечат больных людей или — что еще лучше — делают так, чтобы люди больше не болели. 


 


— Ну и? — сказал Джимми. Ничего гипотетического: этим «Здравайзер» и занимался. 


 


— Что тебе потребуется рано или поздно? 


 


— Новые лекарства? 


 


— А потом? 


 


— Что значит «потом»? 


 


— Когда вылечишь все существующие болезни. 


 


 


— Помнишь, что случилось с дантистами, когда изобрели новое средство для полоскания? Которое заменяло бактерии зубного камня другими бактериями, безвредными, заполнявшими ту же экологическую нишу, то есть твой рот. Стали не нужны пломбы, и многие дантисты разорились. 


 


— И? 


 


— Значит, тебе понадобятся новые больные. Или — что, наверное, то же самое — новые болезни. Новые, отличные от старых, не так ли? 


 


— Резонно, — сказал Джимми, подумав. И впрямь. — Но ведь новые болезни все время находятся? 


 


— Не находятся, — ответил Коростель. — Создаются. 


 


— Кем? — спросил Джимми. Саботажниками, террористами — Коростель про них? Все прекрасно знали, что они занимаются такими вещами — по крайней мере, пытаются. Но пока им не удалось создать ничего путного: их слабенькие болезни слишком безыскусны, если выражаться терминами Компаунда, и бороться с ними — раз плюнуть. 


 


— «Здравайзером», — ответил Коростель. — Они это годами делают. Существует целое секретное подразделение, которое занимается исключительно этим. А потом распространение. Послушай, это же гениально. Враждебные биологические виды распространяются в витаминах — просто входят в их состав. Помнишь безрецептурные витамины «Здравайзер»? Популярный продукт, между прочим. Они разработали красивую систему доставки — внедряли вирус в бактерию-носителя, Е. колибациллярная склейка, не переваривается, открывается в привратнике желудка и — вуаля. Разумеется, точечно, но потом уже не нужно продолжать, иначе их запалят, даже в плебсвиллях есть ребята, которые в этом разбираются. Как только биологический вид оказался в популяции плебсвилля, предприятие, можно считать, увенчалось успехом. Если учесть, как люди в плебсвиллях друг с другом взаимодействуют, они сами сделают всю работу. Естественно, одновременно с болезнью разрабатывается лекарство, но оно припрятывается. Экономика дефицита гарантирует высокие доходы. 


 


— Ты это сам придумал? — спросил Джимми. 


 


— Лучшие вирусы с точки зрения доходов, — продолжал Коростель, — это вирусы, которые вызывают затяжные заболевания. В идеале — для максимальной прибыли — пациент должен либо выздороветь, либо умереть еще до того, как у него кончатся деньги. Прекрасный расчет. 


 


— Но это ведь ужасно, — сказал Джимми. 


 


— Мой отец тоже так думал, — сказал Коростель. 


 


— Он знал? — Джимми окончательно проснулся. 


 


— Он выяснил. И поэтому его столкнули с эстакады. 


-----------------------------------------------— 


— Предположим, только предположим, — сказал Коростель однажды вечером, — что наша цивилизация уничтожена. Хочешь попкорна? 


 


— Масло настоящее? — спросил Джимми. 


 


— Другого не держим, — ответил Коростель. — А разрушенную цивилизацию уже нельзя восстановить. 


 


— Почему? А соль есть? 


 


— Потому что полезные ископаемые, которые можно добыть, уже добыты, — сказал Коростель. — А без них человечеству не светит ни железный век, ни бронзовый, ни стальной, никакой. На большой глубине полезные ископаемые есть, но высокие технологии, которые необходимы для их добычи, уничтожены. 


 


— Их можно восстановить, — сказал Джимми, жуя попкорн. Он давным-давно не пробовал такого вкусного попкорна. — Инструкции ведь останутся. 


 


— На самом деле нет, — сказал Коростель. — Это ведь не колесо, слишком сложно. Допустим, инструкции остались, допустим даже, остались люди, которые могут их прочесть и понять. Но таких людей очень мало, они попадаются редко, и к тому же у них нет инструментов. Электричества же нету. Потом эти люди умрут — и конец. И у них не останется учеников или последователей. Хочешь пива? 


 


— Холодное? 


 


— Достаточно уничтожить одну генерацию, одно поколение, — сказал Коростель. — Одно поколение чего угодно. Жуков, деревьев, микробов, ученых, франкоговорящих, неважно. Разорви связь между одним поколением и следующим, и игра навсегда закончится.


----------------------------------------------------------


Комментарий читателя: 


прочитал на стене и понял посыл. 


от того жизнь совсем не понимаю. все умные люди всё описывают, а мы всё равно живём под стать этим дурным описаниям. 


 


Комментарий Белого Кролика:


Хорошо что ты понял - значит не зря книгу написали, а я эту тему опубликовал. 


И такие люди (понимающие и порядочные - ещё на свете есть). 


Умные люди и во времена "Святой Инквизиции" были (и всё понимали) и они потихоньку всякими правдами и не правдами - вытягивали человечество из пропасти невежества. 


Сейчас сходное время (история ведь повторяется) со временами мрачного средневековья. 


Хотя это и звучит как нонсенс (ведь сейчас - полёты в космос интернет и тут вдруг средневековье). 


Средневековье в наше время, не в науке и технике, а в тёмных, дремучих умах - современных обманутых обывателей. 


И новые " Понимающие"хоть они теперь и не Джордано Бруно и не Галилео Галилеи, а просто писатели и режиссёры, в своих произведениях - пытаются предупредить человечество, от возможного катастрофического падения цивилизации. 


Хочу надеяться что им это удастся (лишь бы времени хватило и им и человечеству. 


Главная опасность сейчас это "феодальная раздробленность человечества" - на фоне стремительно развивающихся - новых опасных технологий. 


Из за феодальной раздробленности человечества и постоянной вражды и соперничества политиков - пока не возможно создавать глобальные разумные законы, для всего человечества (которые помогли бы вывести современную цивилизацию - из сваливания в самоубийственное пике).


5358337_4585449835 (525x700, 362Kb)
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Alexlotov2

Легко доказать, что Новая парадигма мировоззрения есть то, что надо. То, что все ждут

Среда, 26 Июля 2017 г. 09:47 (ссылка)


Ученые обнаружили фермион Майораны

Одно только то, что не будет никаких больше религий в свете Новой парадигмы мировоззрения, однозначно доказывает, что Парадигма именно то, что все ждут. Апокалипсис в переводе с греческого означает Откровение.

Почему не будет никаких больше религий?

Потому что в Новой парадигме мировоззрения даны точные определения Бога, веры, сознания. Определено направление развития цивилизации. Есть свобода воли и Критерий истины.

И многое другое.

Самое главное, что в Парадигме заложен неограниченный потенциал к развитию, потому что это метатеория для мультиверсов.

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rasan9ka

ApePocalypse Now

Четверг, 20 Июля 2017 г. 17:30 (ссылка)


«ПЛАНЕТА ОБЕЗЬЯН: ВОЙНА» (режиссер Мэтт Ривз)





Значительная часть населения Земли вымерла от вируса, который, в то же время, серьезно развил интеллект обезьян, сделав их едва ли не полноценным интеллектуальным оппонентом человека. Правитель приматов Цезарь увел своих подопечных подальше от глаз людских в леса близ Сан-Франциско, но и там братьям нашим меньшим не обрести покоя. Воинствующий тиран Полковник возлагает все несчастья рода человеческого на обезьян и уверен, что лишь их полное истребление сможет дать людям шанс. Лесной лагерь Цезаря подвергается вооруженной атаке, но приматы умело отражают налет, разбивая противника. Не желая дожидаться нового вторжения, правитель обезьян собирается отвести свой прайд в далекие земли, чтобы окончательно укрыться от людского мира. Но Полковник имеет другие планы и воплощает их в жизнь трагическим для Цезаря образом. Войны не избежать…





Когда 16 лет маститый эксцентрик Тим Бертон не убедил публику своей версией «Планеты обезьян» (сборы у ленты были не впечатляющие, но приличные, однако пересматривать ее можно разве, как снотворное), перезапуск легендарной франшизы 60-70-х можно было считать мероприятием загубленным. Да, режиссер неоднократно признавался, что вышедшее на экраны имело мало общего с его задумками, и передавал «привет» продюсерам, но сути дела сии объяснения не меняют.





Случившийся четырьмя годами позже успех «Кинг Конга» Питера Джексона явственно намекнул студийным боссам, что публике все еще интересны разумные обезьяны, особенно если они будут такими реалистичными. Стало быть, все просто: берем Энди Серкиса (именно он занимался «оживляжем» Конга, дав ему свою мимику и жесты, как ранее и Голуму), отдаем ему главную животную роль и скрещиваем пальцы.



Затея Рика Джаффы и Аманды Сильвер оказалась удачной. Вышедшее в 2011-м «Восстание планеты обезьян», где муж с женой (до той поры звезд с профессионального олимпа не хватавшие) выступили продюсерами и сценаристами, встречали аплодисментами. Рассказ о становлении шимпанзе Цезаря в качестве короля разумных приматов получил достойное продолжение в «Революции» 2014-го. Та же отличная графика, мрачная тональность повествования и реалистичность сделали очевидной простую истину: новой истории Цезаря – быть!





Если первые две части возобновленной франшизы демонстрировали происходящее, как со стороны обезьян, так и со стороны людей, то «Война», в которой режиссер Мэтт Ривз выступил еще и сценаристом, это на 99 процентов рассказ от лица приматов. И рассказ в крайней степени достойный.



Как и три года назад (после «Восстания) Ривз произвел глобальную чистку кадров в кадре. Из людских персонажей «Революции» не осталось никого. Да и вообще звезда-человек в кадре – одна. Зато какая. Вуди Харельсон в образе Полковника, возглавляющего поклоняющуюся ему колонию, - очевидный оммаж легендарному Курцу из «Апокалипсиса сегодня». Доживи бы Брандо до наших дней, он бы поаплодировал Вуди за гипнотическое погружение в образ безумного властителя, зараженного смертельным вирусом войны.



1167417_MV5BNWI4ZjNmOGYtMTcxOC00MWI2LThmOWYtZjI2YmU5ZGZlNWRlXkEyXkFqcGdeQXVyNDYzODU1ODM__V1_SX1009_CR001009999_AL_ (700x693, 268Kb)



Среди обезьян, натуралистичность которых вновь достигает максимума, помимо гениального Энди «Цезаря» Серкиса (выдвигайте его уже на «Оскар», чего церемониться), особого внимания заслуживают: отвечающий за юмор в кадре «новичок» - Плохая обезьяна (комик Стив Зан), и мудрейший Морис (сериальная Карин Коновал).



Жанрово лента сочетает разом анималистическое-апокалиптическое роуд-муви, антимилитаристскую драму и военный боевик. Блестящая, разносторонняя: шемящая, тревожащая и будоражащая оркестровка за авторством Майкла Джакино позволяет органично соединить их воедино. Ривз снимает свой «ApePocalypseNow» с нескрываемыми отсылками к шедевру Копполы, в котором доходчиво проговаривает: не восстановишь мир войной. Причем носителями этой идеи в кадре выступают именно разумные обезьяны, а не их далекие «недалекие» потомки.





Попутно режиссер продолжает начатую в «Революции» беседу о природе власти, ее губительной силе и спасительных возможностях. Правящий Цезарь всего раз решает воспользоваться «служебными полномочиями», оставляя свой народ едва ли не на произвол судьбы (со смягчающими обстоятельствами, но все же) и это имеет трагические последствия. Власть – ничто без народа, равно, как и народ недалеко уйдет в безвластии. Обезьянам удается вовремя это понять, людям – не совсем. Глядя на творящееся в современном мире, «Война» кажется еще более мрачной, чем является. Успешные поиски компромиссов – не то, чему научилось нынешнее общество. И Цезарь на заседании какого-нибудь Совбеза ООН дал бы мастер-класс всем тамошним заседателям, даже несмотря на свою лаконичность в красноречии.

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<апокалипсис - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda