Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 1314 сообщений
Cообщения с меткой

искусственный интеллект - Самое интересное в блогах

Следующие 30  »
rss_rss_hh_new

Что происходит, когда используешь искусственный интеллект, отключив при этом свой

Суббота, 20 Августа 2016 г. 22:56 (ссылка)

В данной статье будет произведена критика недавно написанного поста про Анализ Корана при помощи AI. Что-ж, кому интересно, как анализ проводить не следует, добро пожаловать под кат.



Неточности



Начнем с того, что автор во введении пишет:
… а потом проанализировал весь текст манускрипта.
хотя при этом был произведен анализ 7 из 114 сур Корана. В общем, без комментариев.



Дальше веселей:
Если предположить, что текст Корана писался не одним человеком, а несколькими ...
Для человека, который хоть чуточку изучал историю данного вопроса, подобное звучит как: «если предположить, что детей приносят аисты ...». Безусловно, есть дикие фантазии отдельных историков, которые предполагают, что Коран был создан несколькими людьми и т.п., тем не менее, это не более чем фантазии, подобные Новой хронологии Фоменко.



Ну и наконец:
Корреляция между двумя массивами данных отчетливо заметна даже визуально, а именно 0.7839422223, что говорит о прямой связи между классификаторами пола и настроенем текста.
Я бы по 7 числам не строил такие глубокие выводы о том, как устроен классификатор.



Использование не по назначению



Watson



На сайте Ватсона четко и недвусмысленно написано: «You need text written by the person whose personality you're interested in. It should contain words about every day experiences, thoughts, and responses.», то есть ему нужны тексты с рассказами о повседневном опыте, мыслях и ответах человека. Как человек, не раз прочитавший Коран, скажу, что он не подходит под это описание. А вот то, о чем же все-таки повествуется в Коране, советую каждому изучить самостоятельно. Сразу будет понятно, кому интересно докопаться до истины, а кому поставить очередную галочку «уф, эти глупые верующие».



Кажется, дальнейшие комментарии по Ватсону излишни.



uClassify



Может хотя бы этот инструмент автор использовал по назначению? Давайте посмотрим: «It is well suited for both short and long texts (tweets, Facebook statuses, blog posts, product reviews etc). It’s trained on 2.8 million documents with data from Twitter, Amazon product reviews and movie reviews. It can be used to conduct research, brand surveys and see trends around market campaigns.» Эх, опять разочарование! Данный классификатор был обучен на постах из Твиттера, Фейсбука, блог постах и обзорах продуктов. Скорее всего в обучающей выборке было колосальное множество коротких простых предложений, в то время как стиль изложения Корана иной. Результат был бы чуточку интересней, если бы это обучили на текстах из классической литературы.



Немного анализа



Про Ватсона я скажу лишь то, что заметил один хабровчанин в комментариях: если изменить стиль Корана с simple на Uthmani, то результат изменяется, что крайне странно. Эти две «версии» совпадают слово в слово, буква в букву, а отличаются лишь огласовками и подсказками для читающих. То есть суть одна и та же, а результат разный. В общем, IBM Watson есть куда стремиться.



Куда интересней дела обстоят с uClassify. Да, пусть он обучен на коротких, не очень релевантных текстах, но почему он думает, что в Коране так много негатива? Давайте разбираться.



Одна из первых мыслей, которая пришла мне в голову, а давайте я посмотрю на окраску отдельных слов, наверняка, это на многое прольет свет. Как вы думаете, какое самое часто употребляемое слово в Коране? Не сложно догадаться, что это слово «Аллах». Давайте посмотрим на его окраску:


  • Allah — 35% позитивное, 65% негативное



Эм… слегка предвзятое отношение, не правда ли? В дважды больше негатива… Давайте для сравнения возьмем другие слова:


  • God — 53% позитивное, 47% негативное

  • killer — 50% позитивное, 50% негативное

  • kill — 33% позитивное, 67% негативное

  • murder — 45% позитивное, 55% негативное



На всякий случай отмечу, что у верующего должны быть позитивные мысли по отношению к Богу. В доказательство (ага, прямо как в математике, это вам не ля-ля) приведу начало следующего хадиса:

Пророк, да благословит его Аллах и приветствует, сказал: «Аллах Всевышний говорит: “Я буду таким, каким считает Меня раб Мой ..."»

Исламские ученые, комментируя этот хадис говорят: «Имеется в виду, что Аллах сделает для человека именно то, чего он будет от Него ожидать.»

Кроме того, из наиболее часто употребляемых имен Аллаха в Коране: Милостивый, Милосердный, Прощающий, Мудрый и т.д. Вы ни за что не найдете там ни одного, которое бы имело негативную окраску.



Но все же, любопытство взяло верх, и что-то дернуло меня проверить еще несколько слов на эмоциональную окраску:


  • Quran — 22% позитивное, 78% негативное

  • Merciful — 17% позитивное, 83% негативное

  • Mercyful — 57% позитивное, 43% негативное



«Воу-воу-воу, парень, палехчи», как оказалось, у него очень предвзятое отношение к Корану, слово Милостивый он считает супер-негативным, а вот датскую хеви-метал-группу с кучей сатанических знаков вполне себе позитивной.



Вместо заключения



Я понимаю, что AI — это стильно, модно, молодежно, но всегда стоит думать своей головой, критически мыслить и проверять результаты. Ладно то автор, по тексту кажется (могу ошибаться), что ему нужно было сделать какое-нибудь быстренькое исследование, но что печально, так это то, что еще человек 50 «лайкнули» этот пост, то бишь «глубина» исследования автора их вполне удовлетворила.



Всем добра, позитивных мыслей и точных классификаторов! ;)
Original source: habrahabr.ru.

https://habrahabr.ru/post/308164/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Что происходит, когда используешь искусственный интеллект, отключив при этом свой

Суббота, 20 Августа 2016 г. 22:56 (ссылка)

В данной статье будет произведена критика недавно написанного поста про Анализ Корана при помощи AI. Что-ж, кому интересно, как анализ проводить не следует, добро пожаловать под кат.



Неточности



Начнем с того, что автор во введении пишет:
… а потом проанализировал весь текст манускрипта.
хотя при этом был произведен анализ 7 из 114 сур Корана. В общем, без комментариев.



Дальше веселей:
Если предположить, что текст Корана писался не одним человеком, а несколькими ...
Для человека, который хоть чуточку изучал историю данного вопроса, подобное звучит как: «если предположить, что детей приносят аисты ...». Безусловно, есть дикие фантазии отдельных историков, которые предполагают, что Коран был создан несколькими людьми и т.п., тем не менее, это не более чем фантазии, подобные Новой хронологии Фоменко.



Ну и наконец:
Корреляция между двумя массивами данных отчетливо заметна даже визуально, а именно 0.7839422223, что говорит о прямой связи между классификаторами пола и настроенем текста.
Я бы по 7 числам не строил такие глубокие выводы о том, как устроен классификатор.



Использование не по назначению



Watson



На сайте Ватсона четко и недвусмысленно написано: «You need text written by the person whose personality you're interested in. It should contain words about every day experiences, thoughts, and responses.», то есть ему нужны тексты с рассказами о повседневном опыте, мыслях и ответах человека. Как человек, не раз прочитавший Коран, скажу, что он не подходит под это описание. А вот то, о чем же все-таки повествуется в Коране, советую каждому изучить самостоятельно. Сразу будет понятно, кому интересно докопаться до истины, а кому поставить очередную галочку «уф, эти глупые верующие».



Кажется, дальнейшие комментарии по Ватсону излишни.



uClassify



Может хотя бы этот инструмент автор использовал по назначению? Давайте посмотрим: «It is well suited for both short and long texts (tweets, Facebook statuses, blog posts, product reviews etc). It’s trained on 2.8 million documents with data from Twitter, Amazon product reviews and movie reviews. It can be used to conduct research, brand surveys and see trends around market campaigns.» Эх, опять разочарование! Данный классификатор был обучен на постах из Твиттера, Фейсбука, блог постах и обзорах продуктов. Скорее всего в обучающей выборке было колосальное множество коротких простых предложений, в то время как стиль изложения Корана иной. Результат был бы чуточку интересней, если бы это обучили на текстах из классической литературы.



Немного анализа



Про Ватсона я скажу лишь то, что заметил один хабровчанин в комментариях: если изменить стиль Корана с simple на Uthmani, то результат изменяется, что крайне странно. Эти две «версии» совпадают слово в слово, буква в букву, а отличаются лишь огласовками и подсказками для читающих. То есть суть одна и та же, а результат разный. В общем, IBM Watson есть куда стремиться.



Куда интересней дела обстоят с uClassify. Да, пусть он обучен на коротких, не очень релевантных текстах, но почему он думает, что в Коране так много негатива? Давайте разбираться.



Одна из первых мыслей, которая пришла мне в голову, а давайте я посмотрю на окраску отдельных слов, наверняка, это на многое прольет свет. Как вы думаете, какое самое часто употребляемое слово в Коране? Не сложно догадаться, что это слово «Аллах». Давайте посмотрим на его окраску:


  • Allah — 35% позитивное, 65% негативное



Эм… слегка предвзятое отношение, не правда ли? В дважды больше негатива… Давайте для сравнения возьмем другие слова:


  • God — 53% позитивное, 47% негативное

  • killer — 50% позитивное, 50% негативное

  • kill — 33% позитивное, 67% негативное

  • murder — 45% позитивное, 55% негативное



На всякий случай отмечу, что у верующего должны быть позитивные мысли по отношению к Богу. В доказательство (ага, прямо как в математике, это вам не ля-ля) приведу начало следующего хадиса:

Пророк, да благословит его Аллах и приветствует, сказал: «Аллах Всевышний говорит: “Я буду таким, каким считает Меня раб Мой ..."»

Исламские ученые, комментируя этот хадис говорят: «Имеется в виду, что Аллах сделает для человека именно то, чего он будет от Него ожидать.»

Кроме того, из наиболее часто употребляемых имен Аллаха в Коране: Милостивый, Милосердный, Прощающий, Мудрый и т.д. Вы ни за что не найдете там ни одного, которое бы имело негативную окраску.



Но все же, любопытство взяло верх, и что-то дернуло меня проверить еще несколько слов на эмоциональную окраску:


  • Quran — 22% позитивное, 78% негативное

  • Merciful — 17% позитивное, 83% негативное

  • Mercyful — 57% позитивное, 43% негативное



«Воу-воу-воу, парень, палехчи», как оказалось, у него очень предвзятое отношение к Корану, слово Милостивый он считает супер-негативным, а вот датскую хеви-метал-группу с кучей сатанических знаков вполне себе позитивной.



Вместо заключения



Я понимаю, что AI — это стильно, модно, молодежно, но всегда стоит думать своей головой, критически мыслить и проверять результаты. Ладно то автор, по тексту кажется (могу ошибаться), что ему нужно было сделать какое-нибудь быстренькое исследование, но что печально, так это то, что еще человек 50 «лайкнули» этот пост, то бишь «глубина» исследования автора их вполне удовлетворила.



Всем добра, позитивных мыслей и точных классификаторов! ;)
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/308164/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
mirinda_38

Фильм Царевой Г.И. "Я хочу остаться человеком"

Пятница, 19 Августа 2016 г. 12:37 (ссылка)





Трансгуманизм. Нейронет - соединение мозга с компьютером. Виртуальная реальность. Разрушение системы образования, новые религии.

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Анализ Корана при помощи AI

Четверг, 19 Августа 2016 г. 03:58 (ссылка)

Прошу прощение за возможно «желтый» заголовок, потому срау перехожу к сути. В ходе работы потребовалось протестировать систему осуществляющую качественный анализ текста по различным классификаторам, таким как пол, сентимент (настроение), возраст и прочее. В качестве одного из тестируемых образцов решил взять суру из корана, а потом проанализировал весь текст манускрипта.



Watson



Изначально возникло желание «пропустить» Коран через небезызвестный Watson, тем более, что сервис позволяет анализировать текст на арабском языке. Первая сура Watson'ом была отвергнута, т.к. содержала совсем мало текста, поэтому решено было использовать вторую. Результаты оказались информативными, но не совсем то, что требовалось, поскольку Watson не дает оценки по сентименту, полу и возрасту.



Обработав суру Al Baqarah, Watson представил числовые значения основных характеристик автора текста, которые можно посмотреть в JSON формате.



Абсолютный интроверт (практически замкнутый), с узким эмоцианальный диапазоном, выраженной импульсивностью. Готов пробывать что-то новое. Дисциплинированный и обязательный. Альтруизм, скромность, сочувствие и доброта не обнаружены. Высокая степень доверчивости. Выражает острую потребность в любви, гармонии, близости и организованности распорядка. Придает значение традициям и достижениям в рамках общепринятых социальных стандартов. Не заинтересован в помощи другим и получении наслаждения от жизни.

JSON
(Предупреждение про 285 слов это баг ватсона, возможно связанно с особенностями обработки арабской вязи. На самом деле 285 строф, слов значительно больше).

{

"id": "*UNKNOWN*",

"source": "*UNKNOWN*",

"tree": {

"id": "r",

"name": "root",

"children": [

{

"id": "personality",

"name": "Big 5",

"children": [

{

"id": "Extraversion_parent",

"name": "Extraversion",

"category": "personality",

"percentage": 0,

"children": [

{

"id": "Openness",

"name": "Openness",

"category": "personality",

"percentage": 0.7401994172490934,

"sampling_error": 0.0632961745,

"children": [

{

"id": "Adventurousness",

"name": "Adventurousness",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.0531619985

},

{

"id": "Artistic interests",

"name": "Artistic interests",

"category": "personality",

"percentage": 0.01376496058079709,

"sampling_error": 0.1084097325

},

{

"id": "Emotionality",

"name": "Emotionality",

"category": "personality",

"percentage": 0,

"sampling_error": 0.049707709

},

{

"id": "Imagination",

"name": "Imagination",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.0672327285

},

{

"id": "Intellect",

"name": "Intellect",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.0588966455

},

{

"id": "Liberalism",

"name": "Authority-challenging",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.0869470685

}

]

},

{

"id": "Conscientiousness",

"name": "Conscientiousness",

"category": "personality",

"percentage": 0.9123376288115044,

"sampling_error": 0.079482993,

"children": [

{

"id": "Achievement striving",

"name": "Achievement striving",

"category": "personality",

"percentage": 0.9259149497833751,

"sampling_error": 0.102722867

},

{

"id": "Cautiousness",

"name": "Cautiousness",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.09507552899999999

},

{

"id": "Dutifulness",

"name": "Dutifulness",

"category": "personality",

"percentage": 0.009847553196768501,

"sampling_error": 0.063380138

},

{

"id": "Orderliness",

"name": "Orderliness",

"category": "personality",

"percentage": 0.00951030345654535,

"sampling_error": 0.0730250425

},

{

"id": "Self-discipline",

"name": "Self-discipline",

"category": "personality",

"percentage": 0.7957300993092047,

"sampling_error": 0.048516363

},

{

"id": "Self-efficacy",

"name": "Self-efficacy",

"category": "personality",

"percentage": 0.031706902665228645,

"sampling_error": 0.096044686

}

]

},

{

"id": "Extraversion",

"name": "Extraversion",

"category": "personality",

"percentage": 0,

"sampling_error": 0.059340869500000004,

"children": [

{

"id": "Activity level",

"name": "Activity level",

"category": "personality",

"percentage": 0,

"sampling_error": 0.0810636685

},

{

"id": "Assertiveness",

"name": "Assertiveness",

"category": "personality",

"percentage": 0,

"sampling_error": 0.0866103315

},

{

"id": "Cheerfulness",

"name": "Cheerfulness",

"category": "personality",

"percentage": 0,

"sampling_error": 0.10896341150000001

},

{

"id": "Excitement-seeking",

"name": "Excitement-seeking",

"category": "personality",

"percentage": 0,

"sampling_error": 0.083409996

},

{

"id": "Friendliness",

"name": "Outgoing",

"category": "personality",

"percentage": 0.004154940124177926,

"sampling_error": 0.078376899

},

{

"id": "Gregariousness",

"name": "Gregariousness",

"category": "personality",

"percentage": 0.006610468323581309,

"sampling_error": 0.059563857

}

]

},

{

"id": "Agreeableness",

"name": "Agreeableness",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.100387345,

"children": [

{

"id": "Altruism",

"name": "Altruism",

"category": "personality",

"percentage": 0.00835173524008939,

"sampling_error": 0.073512979

},

{

"id": "Cooperation",

"name": "Cooperation",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.0826257435

},

{

"id": "Modesty",

"name": "Modesty",

"category": "personality",

"percentage": 0,

"sampling_error": 0.058549201499999995

},

{

"id": "Morality",

"name": "Uncompromising",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.06559944549999999

},

{

"id": "Sympathy",

"name": "Sympathy",

"category": "personality",

"percentage": 0.00899654205884867,

"sampling_error": 0.101299643

},

{

"id": "Trust",

"name": "Trust",

"category": "personality",

"percentage": 0.99,

"sampling_error": 0.059132582

}

]

},

{

"id": "Neuroticism",

"name": "Emotional range",

"category": "personality",

"percentage": 0.12553186654101073,

"sampling_error": 0.094767615,

"children": [

{

"id": "Anger",

"name": "Fiery",

"category": "personality",

"percentage": 0.009857823702785023,

"sampling_error": 0.0976305695

},

{

"id": "Anxiety",

"name": "Prone to worry",

"category": "personality",

"percentage": 0.10522549628333466,

"sampling_error": 0.0574906605

},

{

"id": "Depression",

"name": "Melancholy",

"category": "personality",

"percentage": 0.0012238948047045572,

"sampling_error": 0.061626443999999996

},

{

"id": "Immoderation",

"name": "Immoderation",

"category": "personality",

"percentage": 0.25656958950189773,

"sampling_error": 0.0550395485

},

{

"id": "Self-consciousness",

"name": "Self-consciousness",

"category": "personality",

"percentage": 0.06392969963372698,

"sampling_error": 0.0593781605

},

{

"id": "Vulnerability",

"name": "Susceptible to stress",

"category": "personality",

"percentage": 0.10113758876238299,

"sampling_error": 0.088768721

}

]

}

]

}

]

},

{

"id": "needs",

"name": "Needs",

"children": [

{

"id": "Ideal_parent",

"name": "Ideal",

"category": "needs",

"percentage": 0.003832960708229936,

"children": [

{

"id": "Challenge",

"name": "Challenge",

"category": "needs",

"percentage": 0.6100166548928185,

"sampling_error": 0.086264993

},

{

"id": "Closeness",

"name": "Closeness",

"category": "needs",

"percentage": 0.8251348807632928,

"sampling_error": 0.08506778699999999

},

{

"id": "Curiosity",

"name": "Curiosity",

"category": "needs",

"percentage": 0.6427034487726155,

"sampling_error": 0.1232055355

},

{

"id": "Excitement",

"name": "Excitement",

"category": "needs",

"percentage": 0.005544228138235261,

"sampling_error": 0.11254523300000001

},

{

"id": "Harmony",

"name": "Harmony",

"category": "needs",

"percentage": 0.99,

"sampling_error": 0.112534116

},

{

"id": "Ideal",

"name": "Ideal",

"category": "needs",

"percentage": 0.003832960708229936,

"sampling_error": 0.10201695250000001

},

{

"id": "Liberty",

"name": "Liberty",

"category": "needs",

"percentage": 0.5752122746131392,

"sampling_error": 0.1490213055

},

{

"id": "Love",

"name": "Love",

"category": "needs",

"percentage": 0.99,

"sampling_error": 0.103592588

},

{

"id": "Practicality",

"name": "Practicality",

"category": "needs",

"percentage": 0.99,

"sampling_error": 0.089956072

},

{

"id": "Self-expression",

"name": "Self-expression",

"category": "needs",

"percentage": 0.009886632263973901,

"sampling_error": 0.083656981

},

{

"id": "Stability",

"name": "Stability",

"category": "needs",

"percentage": 0.011545403965898251,

"sampling_error": 0.109521769

},

{

"id": "Structure",

"name": "Structure",

"category": "needs",

"percentage": 0.99,

"sampling_error": 0.0821582255

}

]

}

]

},

{

"id": "values",

"name": "Values",

"children": [

{

"id": "Self-transcendence_parent",

"name": "Self-transcendence",

"category": "values",

"percentage": 0,

"children": [

{

"id": "Conservation",

"name": "Conservation",

"category": "values",

"percentage": 0.99,

"sampling_error": 0.069950964

},

{

"id": "Openness to change",

"name": "Openness to change",

"category": "values",

"percentage": 0.008825493504679734,

"sampling_error": 0.0660268375

},

{

"id": "Hedonism",

"name": "Hedonism",

"category": "values",

"percentage": 0.008326985786020414,

"sampling_error": 0.140913567

},

{

"id": "Self-enhancement",

"name": "Self-enhancement",

"category": "values",

"percentage": 0.765277368499976,

"sampling_error": 0.10627466249999999

},

{

"id": "Self-transcendence",

"name": "Self-transcendence",

"category": "values",

"percentage": 0,

"sampling_error": 0.0846075525

}

]

}

]

}

]

},

"warnings": [

{

"id": "WORD_COUNT_MESSAGE",

"message": "There were 285 words in the input. We need a minimum of 3,500, preferably 6,000 or more, to compute statistically significant estimates"

}

]

}





Любопытно то, что практически все характеристики предоставленные «Ватсоном» возведены в абсолют, что редко встречалось при анализе других текстов, иначе говоря, Watson редко демонстрирует такую высокую степень уверенности в полученных результатах.



image



Помимо числовых значений, Watson еще предоставляет и небольшое текстовое описание полученных результатов, в так называемом «human readable format». Сам факт наличия такого описания удобен, но мало интересен, а вот процесс его генерации немного неожиданный. Код отвечающий за создание текста реализован на стороне клиента, на JavaScript — Выделяются наиболее яркие черты, ранжируются и каждой присваевается идентификатор. Потом сторятся предложения вида:

switch (intervalFor(valuesList[0].percentage)) {
case 0:
sentence = format(tphrase('You are relatively unconcerned with both %s and %s'), term1, term2) + '.';
break;
case 1:
sentence = format(tphrase("You don't find either %s or %s to be particularly motivating for you"), term1, term2) + '.';
break;
}




uClassify



Очередной условно бесплатный сервис, использующий технологии машинного обучения для анализа текста по выбранным классификаторам. Выбор пал на него по двум причинам — высокие результаты на тестовых выборках и наличие требуемых классификаторов. Более того, отсутствие ограничения на минимальное количество слов для анализа, что позволяет проанализировать каждую отдельно взятую суру.



К сожалению uClassify работает только с текстом написанном на Английском языке, поэтому анализу подвергся текст корана в Английском переводе. Опираясь на информацию из разных источников, я выбрал наиболее точный, широко признанный и часто используемый вариант перевода.



Начал с классификатора сентимент, который демонстрирует общее настроение повествования — негативное или позитивное.
































Сура 1 2 3 4 5 6 7
Негатив 9% 76% 71% 76% 60% 60% 54%
Позитив 91% 24% 29% 24% 40% 40% 46%


На графике ниже отчетливо заметно, что текст Корана начинается крайне позитивно, а потом интенсивно устремляется в негатив, причем негативные настроения сохраняются на протяжении всего текста, лишь незначительно ослабевая ближе к окончанию, когда настроение повествования приближается к нейтральному (негатив 54%).

sentiment graph



Вполне закономерно и то, что негативное настроение превалирует на протяжении всего текста, тем более если учесть тот факт, что первая сура несоизмеримо мала по обьему, в сравнении с каждой последующей.

sentiment graph



Если предположить, что текст Корана писался не одним человеком, а несколькими и проанализировать гендерный классификатор, то получается не менее интересная «картина»:

image
































Сура 1 2 3 4 5 6 7
Мужчина 20% 49% 48% 60% 69% 54% 47%
Девушка 80% 51% 52% 40% 31% 46% 53%


Корреляция между двумя массивами данных отчетливо заметна даже визуально, а именно 0.7839422223, что говорит о прямой связи между классификаторами пола и настроенем текста.



Эпилог



Конечно это всего лишь цифры, графики и формулы.
Original source: habrahabr.ru.

https://habrahabr.ru/post/308082/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Oreanda

Обход законов природы системами искусственного интеллекта

Четверг, 18 Августа 2016 г. 23:29 (ссылка)

Лиза Ренее - Причина и следствиеВ предыдущих циклах группы людей обходили Всеобщий Закон причины и следствия, активно подпитывая искусственные линии времени Негативной Инопланетной Программы, внедрений и темных сущностей  - Продолжение статьи Лизы Ренее "Причина и следствие" за август 2016  об обходе законов природы системами искусственного интеллекта

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Перевод] Долгая игра Тима Кука в Apple

Понедельник, 15 Августа 2016 г. 23:51 (ссылка)

Продажи iPhone упали, акции идут вниз, а знатоки твердят, что Apple становится технологическим «увальнем». Но компания, на самом деле, может быть, сильнее, чем когда-либо ранее.





«Цель нашего существования точно та же, что была всегда», — говорит Тим Кук, генеральный директор Apple. «Она в том, чтобы делать лучшие в мире продукты, которые, действительно, обогащают жизнь людей».



Эдди Кью не похож на человека, находящегося в середине самого тяжёлого своего года за последние десятилетия. Спортивная, светлая, молодёжная рубашка навыпуск, синие джинсы, носки цвета хаки, пара синих кожаных кроссовок из Германии — первый вице-президент Apple по интернет-сервису и программному обеспечению выдвигает стул за одним из столов с мраморной столешницей на площадке перед Caff'e Macs, рестораном для сотрудников, в самом центре 23-летнего комплекса зданий компании Apple в городке Купертино в 70 км от Сан-Франциско. (Компания собирается переехать в свой новый «космический» главный офис в следующем году.) Кью сразу же начинает мне рассказывать свою последнюю «ужасную» историю:



Крах два дня назад его любимой баскетбольной команды «Голден Стэйт Уорриорз» в финале НБА, который Кью имел сомнительное удовольствие наблюдать из первого ряда в зале. «В трауре ли я?» — он спрашивает о проигрыше своих любимцев команде «Кливленд Кавальерс» во главе с Джеймсом Леброном. «Ещё бы! Я не смотрю ESPN (американский кабельный спортивный ТВ-канал. Прим. переводчика), я не захожу на спортивные веб-сайты, я не читаю газеты. Когда я включаю мой телевизор, я сразу иду на видеозапись».



«Эдди, это есть в записи», — комментирует Крэйг Федериги, первый вице-президент Apple по разработке программного обеспечения, сидящий за этим же столиком напротив.



«У меня нет проблем с этим», — отвечает Кью, который является таким фанатом «Уорриорз», что был запечатлён на первой странице газеты «Сан-Франциско кро

https://habrahabr.ru/post/307680/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Искусственный интеллект помог Google сократить потребление энергии системами охлаждения в дата-центрах на 40%

Понедельник, 15 Августа 2016 г. 19:44 (ссылка)



Часть инфраструктуры одного из дата-центров Google в Тайване



Разработчики из DeepMind, дочерней компании Google, помогли корпорации значительно снизить потребление электричества в своих дата-центрах. Сооснователь DeepMind Демис Хассабис заявляет о сокращении размера счетов за энергию, потребленную оборудованием компании на 40%. А все началось несколько месяцев назад, когда руководство холдинка Alphabet Inc. решило оптимизировать расходы компании.



После анализа потребления энергии дата-центрами Google оказалось, что оптимизировать расходы действительно нужно. Google в 2014 году использовал огромное количество энергии — около 4,5 миллионов мегаватт-часов. Столько же за указанный год использовали энергии 366 903 американских домохозяйств. И даже, если сократить расходы энергии на 1%, это может сэкономить компании миллионы долларов США в год. Кроме того, сейчас компании стараются выглядеть белыми и пушистыми в глазах защитников окружающей среды. Последние, как посчитали в Google, положительно бы оценили снижение затрат энергии компанией, что помогло бы еще больше улучшить «зеленую» репутацию.



Поскольку одно из подразделений Google, компания DeepMind, занимается разработками в сфере искусственного интеллекта, сотрудников этого подразделения попросили помочь в решении проблем. Ранее разработчики DeepMind обучили свой ИИ играть в видеоигры на приставке Atari, а также создали программу AlphaGo, обыгравшую Ли Седоля, одного из лучших игроков мира по настольной игре го. Теперь сотрудники DeepMind получили задание создать нечто более практичное для анализа потребленных Google ресурсов. И подразделение с успехом справилось с решением этой проблемы.





После экспериментов с управлением системой охлаждения PUE удалось снизить на 15%



ИИ от DeepMind (так называемая слабая форма ИИ) обучили контролировать серверное оборудование и элементы инфраструктуры (например, системы охлаждения). Для контроля было выделено 120 различных параметров работы дата-центра, включая управление работой кондиционеров, закрытие или открытие окон, скорость работы вентиляторов и т.п.



«В действительности мы смогли построить предиктивную модель, которая обеспечивает снижение потребления энергии системами охлаждения путем предсказания времени максимальной нагрузки на серверное оборудование», — заявил Мустафа Сулейман, сооснователь DeepMind. Управление системами дата-центра производится в режиме реального времени в ответ на влияние внешних и внутренних факторов.



Управляющие алгоритмы были разработаны после детального анализа информации о работе дата-центров компании за пять лет. На основе полученных данных удалось создать эффективную предиктивную модель потребления энергии дата-центром. Основной критерий здесь — количество задействованных серверов и другого оборудования в различное время. ИИ «скормили» такие данные, как температуру оборудования, скорость работы насосов, активность работы охлаждающего оборудования, количество использованной энергии и т.п.



На этих данных ИИ обучили, и доверили управлять уже реальным оборудованием.



«Люди обычно используют множество физических функциональных элементов для установления контроля над дата-центром. Работа команды людей более-менее слажена, но при этом сотрудники-люди упускают из виду множество важных факторов», — говорит представитель DeepMind. А ИИ может учитывать подавляющее большинство важных факторов в своей работе. Именно благодаря этому удалось добиться снижения использования энергии на 40% в системах охлаждения дата-центра.



Сейчас за электричество корпорация платит в разных штатах США от $25 до $40 за МВт·ч. Снижение потребления энергии дата-центром всего на 10% способно сэкономить компании сотни миллионов долларов за несколько лет. Google купил DeepMind за $600 млн, так что эта покупка может оправдать себя уже очень скоро.



Созданные алгоритмы самообучаемы, и могут работать в самых разных условиях, включая непредвиденные. И это только начало работы. Сейчас DeepMind пытается убедить руководство Google в необходимости установки в дата-центрах дополнительных сенсоров, которые будут собирать информацию для управляющих алгоритмов. Получая все больше данных в режиме реального времени о состоянии дата-центра, ИИ сможет еще более эффективно управлять его работой.



Другие наши публикации:

https://habrahabr.ru/post/307800/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Машинное обучение для прогнозирования тенниса: часть 2

Вторник, 09 Августа 2016 г. 14:28 (ссылка)

В первой части обзора я рассмотрел основные термины и понятия в ставках на теннис и сделал обзор статистических моделей для прогнозирования теннисных матчей.

Вторая часть посвящена собственно машинному обучению: алгоритмам, проблемам и кейсам.











Содержание

Часть 2

Машинное обучение в теннисе

Модели машинного обучения




Проблемы с машинным обучением



Кейсы МО для прогнозирования тенниса





Машинное обучение в теннисе



Машинным обучением называется раздел искусственного интеллекта, изучающий алгоритмы, способные обучаться или адаптировать свою структуру на основании обработанной выборки данных. Машинное обучение с учителем решает задачу построения функции из набора помеченных обучающих примеров, где помеченный пример это пара, состоящая из вектора на входе и желаемого значения на выходе.



В контексте тенниса историческая статистика матчей может использоваться для формирования выборки обучающих примеров. Для отдельного матча входной вектор может содержать различные признаки матча и игроков, а выходным значением будет исход матча. Отбор релевантных признаков – это одна из основных проблем построения эффективного алгоритма машинного обучения.



С точки зрения существующих алгоритмов, прогнозирование тенниса можно рассмотреть с двух сторон:


  1. Как задачу регрессии, в которой выходное значение является вещественной величиной. Выход может представлять вероятность выигрыша матча напрямую, однако истинные вероятности выигрыша прошлых матчей неизвестны, что вынуждает нас использовать дискретные значения для меток обучающих примеров (например, 1 для победы, 0 для поражения). Иначе, можно прогнозировать вероятности выигрыша очка при подаче и вставлять их в иерархические выражения Барнета и О’Майли для нахождения вероятности выигрыша матча, но это возвращает нас к марковским цепям.

  2. Как задачу бинарной классификации, в которой можно попытаться классифицировать матчи по категориям «победа» или «поражение». Некоторые алгоритмы классификации также дают некоторую степень точности события, принадлежащего к классу, что можно использовать как вероятность победы в матче.





Модели машинного обучения



Логистическая регрессия



Несмотря на свое название, логистическая регрессия это по сути алгоритм классификации. Главными в алгоритме являются свойства логистической функции. Логистическая функция

https://habrahabr.ru/post/307422/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Из песочницы] Машинное обучение для прогнозирования тенниса: часть 1

Вторник, 02 Августа 2016 г. 17:15 (ссылка)

Математическое моделирование тенниса набирает популярность на наших глазах. Каждый год появляются новые аналитические модели и сервисы, соревнующиеся друг с другом в точности прогнозирования исходов теннисных матчей. Это вызвано желанием заработать на стремительно растущем онлайн рынке спортивных ставок: нередки случаи, когда сумма ставок на отдельный матч в профессиональном теннисе достигает миллионов долларов.



В этом обзоре я рассмотрю основные математические методы прогнозирования тенниса: иерархические марковские модели, алгоритмы машинного обучения, а также разберу кейсы IBM, Microsoft и одного российского сервиса, использующих машинное обучение для прогнозирования результатов теннисных матчей.









Содержание

Часть 1

Введение в проблему прогнозирования тенниса

Данные для тенниса

Ставки на спорт




Статистические модели



Часть 2

Машинное обучение в теннисе

Модели машинного обучения



  • Логистическая регрессия

  • Нейронные сети

  • Метод опорных векторов

  • Другие алгоритмы МО



Проблемы с машинным обучением

Кейсы МО для прогнозирования тенниса



  • IBM

  • Microsoft

  • OhMyBet!





Введение в проблему прогнозирования тенниса



Большой теннис – это отличное зрелище и большие деньги. Ассоциация теннисистов-профессионалов (ATP) ежегодно проводит более 60 профессиональных турниров в 30 странах. За телетрансляцией игры Энди Маррея против Милоша Раонича в финале Уимблдона 2016 следило свыше 13,3 млн. человек в одной только Великобритании. Ставки на теннис догоняют по популярности футбол. На крупнейшей в мире онлайн-бирже ставок Betfair общая сумма ставок на матч Маррей-Джокович в финале Уимблдона 2013 составила 63 млн. долларов. Потенциальная прибыль и научный интерес обусловили всплеск исследований в области алгоритмов точного прогнозирования теннисных матчей.



Система очков в теннисе имеет иерархическую структуру: матч состоит из сетов, которые состоят из геймов, которые состоят из отдельных очков. В большинстве современных подходов к прогнозированию тенниса эта структура используется для получения иерархических выражений вероятности победы игрока в матче на основе марковских цепей. Если считать, что очки в теннисе распределяются независимо и одинаково (independent and identical distribution, IID), для получения выражения необходимо знать только вероятность выигрыша каждым игроком очка при подаче. На основании этой базовой статистики, которую легко получить из исторических данных в Интернете, можно вычислить вероятность выигрыша каждым игроком гейма, потом сета и, наконец, матча.



При всей изящности такого подхода, он не может быть признан идеальным. Представляя качества игроков только по одному параметру (выигранные очки при подаче) такой метод неспособен учитывать более тонкие факторы, которые также влияют на исход матча. Например, приверженность игрока определенной стратегии, время после травмы, общая усталость от предыдущих матчей могут лишь косвенно повлиять на прогноз матча, полученный методом иерархических моделей. Более того, характеристики самого матча – покрытие, местоположение, погода – вообще не учитываются в таком прогнозе.



Принимая во внимание огромное количество исторических данных по теннису, можно предложить альтернативный подход к прогнозированию теннисных матчей – машинное обучение. Параметры игроков и матча вместе с результатом матча могут составить обучающую выборку. Алгоритм машинного обучения с учителем может использовать эту выборку для построения функции предсказания результатов новых матчей.



Несмотря на то, что машинное обучение само собой напрашивается для решения проблемы прогнозирования тенниса, этот подход до недавнего времени привлекал значительно меньше внимания исследователей, чем стохастические иерархические методы. В большинстве исследований применения машинного обучения к теннису используются логистическая регрессия и нейронные сети. ROI наиболее точной модели, описанной в научной литературе, составляет 4,35%, что по заявлению автора на 75% лучше современных стохастических моделей [1].



Большинство онлайн-сервисов прогнозов на теннис (людей-прогнозистов не рассматриваем) используют именно стохастические модели и предлагают пользователям вероятности победы каждого игрока с сопутствующей статистикой, которую предлагается анализировать самостоятельно. Я рассмотрю более интересные случаи, когда с помощью алгоритмов машинного обучения анализируются не только вероятности выигрыша очка при подаче, но и историческая статистика по игрокам и параметры матча. Я рассмотрю кейсы таких гигантов как IBM, Microsoft, а также российского сервиса OhMyBet!, прогнозирующих теннис с помощью алгоритмов машинного обучения.



Но обо всем по порядку.



Данные для тенниса



Исторические данные по теннисным матчам широко доступны в интернете. Официальные сайты турниров, например, www.atpworldtour.com, предоставляют информацию об игроках и результатах матчей, а также результативность спортсмена по каждому матчу. Некоторые источники, например, www.tennis-data.co.uk, предоставляют исторические данные в структурированной форме (CSV или Excel файлы). Доступны и платные базы данных – более комплексные, на более длинные периоды и с лучшей точностью, например, база OnCourt.



Наиболее релевантные данные, которые можно взять из подобных баз данных, представлены в таблице ниже.




























































































Данные об игроке

Имя

Дата рождения

Страна

Призовой фонд

Рейтинг по очкам

Общий рейтинг ATP или WTA

Данные о матче

Название турнира

Тип турнира (например, Большой шлем)

Покрытие корта

Местоположение (страна, координаты)

Дата

Результат (счет по сетам)

Призовой фонд

Коэффициенты (от Pinnacle)

Поматчевая статистика для обоих игроков

Процент выигрыша на первой подаче

Эйсы

Двойные ошибки

Невынужденные ошибки

Процент очков, выигранных при первой подаче

Процент очков, выигранных при второй подаче

Процент очков, выигранных при приеме

Победители

Брейк-пойнты (выигранные, всего)

Выходы к сетке (выигранные, всего)

Всего выигранных очков

Самая быстрая подача

Средняя скорость первой подачи

Средняя скорость второй подачи

Коэффициенты (от Pinnacle)



Для моделирования матча могут быть важны и такие данные как статистика по сетам и по очкам для каждого игрока. Эти данные можно получить путем парсинга таких сайтов как flashscore.com. Важно отметить, что с помощью технологии отслеживания мяча HawkEye для многих турниров можно получить данные более высокого качества и детализации, например, положение мяча и игрока в любой момент матча. Однако ассоциация ATP, владеющая этими данными, не выдает лицензии на их использование третьим сторонам.



Ставки на теннис



Существуют две основные категории ставок на теннис: предматчевые и live-ставки, различающиеся уровнем коэффициентов. Кроме того, сделать ставку можно не только на победителя матча, но и на множество других факторов, например, на счет в отдельных сетах, общее количество геймов, и т. д. Большинство прогностических моделей ориентированы на предматчевые ставки на победителя в матче, так как именно на этот тип ставок доступно больше всего исторических данных по коэффициентам, что позволяет провести наиболее полную оценку эффективности прогностической модели.



Ставки на теннисные матчи можно размещать либо в букмекерских конторах (онлайн и оффлайн), либо на биржах ставок. Традиционные букмекеры (например, Pinnacle) устанавливают коэффициенты на различные исходы матча, а клиент (беттор) играет против букмекера. В случае бирж ставок (например, Betfair) клиенты могут делать ставки против коэффициентов, установленных другими бетторами. Биржа уравнивает ставки клиентов и зарабатывает на сборе комиссии с каждой сыгравшей ставки.



Коэффициенты, предполагаемая вероятность и ROI



Коэффициент ставки означает прибыль, которую получит беттор, если верно угадает исход события. Например, если беттор верно спрогнозировал победу игрока, коэффициент на которого составляет 3,00, он получит 2 доллара на каждый поставленный доллар (в добавок к сумме самой ставки, которая возвращается). Если прогноз беттора оказался неверен, он теряет только сумму своей ставки независимо от коэффициентов. Существуют разные системы записи коэффициентов, наиболее популярными из которых являются десятичная или европейская (1,5, 2,00, 2,50 и т. д.) и дробная или британская (1/2, 1/1, 6/4 и т. д.).



Коэффициенты выражают предполагаемую вероятность исхода матча, то есть оценку букмекером истинной вероятности. В описанном выше примере с коэффициентом 3,00 (1 к 3) предполагаемая вероятность p победы игрока в матче равна 33%.



В таблице ниже представлены различные системы записи коэффициентов и соответствующие им предполагаемые вероятности.















































Десятичные (Европа)

Дробные (Великобритания)

США

Гонконг

Индонезия

Малайзия

Предполагаемая вероятность

1,50

1/2

-200

0,50

-2,00

0,50

1 к 1,5 = 67%

2,00

1/1 (evs)

+100

1,00

1,00

1,00

1 к 2 = 50%

2,50

6/4

+150

1,50

1,50

-0,67

1 к 2,5 = 40%

3,00

2/1

+200

2,00

2,00

-0,50

1 к 3 = 33%



Формулы пересчета




















































X

Персчитать в

Действие

Десятичные

Дробные

x-1, затем преобразовать в дробь

Десятичные

США

100*(x-1) если x>2; -100/(x-1) если x<2

Дробные

Десятичные

разделить дробь, затем x+1

Дробные

США

разделить дробь, затем 100*x если x>=1; -100/x если x<1

США

Десятичные

(x/100)+1 если x>0; (-100/x)+1 если x<0

США

Дробные

x/100, если x>0; -100/x, если x<0

Десятичные

Гонконг

x-1

Гонконг

Индонезия

x если x>=1; (1/x)*-1 если x<1

Гонконг

Малайзия

x если x<=1; (1/x)*-1 если x>1



Источник: Википедия



Прибыль за определенный период времени называется возвратом инвестиций (return on investment, ROI). В случае ставок на спорт ROI – это процент выигрыша с каждой сделанной ставки, усреднённый на дистанции. Упрощенная формула ROI при фиксированном размере ставки выглядит так:



где Pn – общая прибыль на дистанции, s — сумма одной ставки, n — количество ставок (дистанция). ROI – это основной показатель успешности беттора, и, соответственно, – целевой показатель эффективности прогностической модели.



Измерение эффективности модели на основании ROI, вычисляемого на исторических данных рынка ставок, является общепринятым подходом в исследованиях в этой области (в том числе в [1], [4], [7]). Если в качестве целевого значения выбирать точность модели (процент верных прогнозов), то при тривиальной фильтрации матчей по низким коэффициентам (1,01-1,3) можно приблизиться к точности 90% и более, но по понятным причинам, ROI при этом будет отрицательной.



Стратегии ставок



Зная коэффициент и предполагаемую вероятность исхода матча, можно принять разные решения, сколько ставить и ставить ли вообще. Очевидно, что различные стратегии дают в итоге разный ROI. Как правило, для оценки эффективности прогностической модели используются три базовые стратегии. Пусть

si = размер ставки на игрока i

pibettor — оценка беттором вероятности победы игрока i

bi = чистый коэффициент при ставке на игрока i, вычисляемый как x-1 для десятичной записи коэффициентов или как x/y для дробной записи.

piimplied — предполагаемая вероятность победы игрока i, вычисляемая как (1/x)*100% для десятичной записи x, или как y/(y+x) для дробной записи x/y.



1. Ставка на предсказанного победителя


В простейшей стратегии беттор всегда ставит фиксированную сумму q на прогнозируемого победителя:





2. Ставка на предсказанного победителя с высоким коэффициентом


Беттор может увеличить прибыль, делая фиксированную ставку q только на матчи, где он имеет преимущество над букмекером, то есть оценка вероятности беттором победы игрока i выше, чем вероятность, предполагаемая коэффициентом букмекера. Иными словами, эта стратегия избегает ставок на предсказанного победителя, если коэффициент не компенсирует в достаточной мере риск ставки.





3. Ставка на предсказанного победителя по критерию Келли


В предыдущей стратегии беттор ставит фиксированную сумму, если по его оценке он имеет преимущество по коэффициентам перед букмекером, независимо от величины этого преимущества. Критерий Келлли, описанный Джоном Келли в 1956 г. [2], можно использовать для определения оптимального размера ставки на основании оценочного преимущества беттора и размера его банка. Доказано, что в долгосрочной перспективе критерий Келли оказывается эффективней все других стратегий.



Беттор ставит долю от максимального размера ставки q на предсказанного победителя, если по его оценке он имеет преимущество:





Фактически максимальный размер ставки q – это доля от банка беттора, которая, соответственно, изменяется с течением времени, в зависимости от успеха предыдущих ставок. При оценке прогностических моделей q часто принимается за константу, так чтобы все ставки одинаково влияли на результирующий ROI.



Важно отметить, что во всех трех стратегиях нельзя делать ставки на обоих игроков. Также, если при первой стратегии нужно ставить на каждый матч, рекомендованный моделью (при условии, что оценочная вероятность никогда не бывает ровно 0,5), то вторая и третья стратегии предполагают пропуск некоторых матчей.



Статистические модели



Большинство современных моделей для прогнозирования тенниса используют иерархические стохастические выражения на основе цепей Маркова. Ниже приводится обзор концепций, лежащих в их основе.



Марковские модели



Klaasen and Magnus [3] оспорили теорию IID, показав, что очки в теннисе распределяются не независимо и не одинаково. Однако они также показали, что отклонения от IID настолько малы, что использование этого допущения часто дает хорошие усредненные значения. Этот факт позволяет предположить, что для каждого очка в матче исход этого очка не зависит от предыдущих очков. Предположим далее, что мы знаем вероятность выигрыша очка при подаче каждым игроком. Пусть p – вероятность того, что игрок А выиграет очко при подаче, q — вероятность того, что игрок B выиграет очко при своей подаче. Используя допущение IID и вероятности выигрыша очков, можно построить марковскую цепь, описывающую вероятность победы игрока в гейме.



Формально, цепью Маркова называется система переходов между разными состояниями в пространстве состояний. Важным свойством системы является отсутствие памяти, то есть, следующее состояние системы зависит только от текущего состояния, а не от предшествующей последовательности состояний. Если принять счет в гейме за пространство состояний, а за переходы между состояниями – вероятности того, что игрок А выиграет или проиграет очко, получим цепь Маркова, отражающую стохастическую прогрессию счета в гейме. На рисунке ниже показана схема цепи для одного гейма с подачами игрока А. Обозначив p вероятность выигрыша очка при подаче и принимая допущение IID, получим, что все переходы, означающие очко, выигранное игроком А, имеют ту же вероятность, а все переходы, означающие проигранное очко, имеют вероятность 1–p.



Марковская цепь для гейма в матче, где подает игрок А [1].



За счет иерархической структуры теннисного матча строятся дополнительные марковские цепи, моделирующие прогрессию очков в тай-брейках, сетах и матчах. Например, в модели матча будут два исходящих перехода из каждого неокончательного состояния, помеченные вероятностями выигрыша и проигрыша отдельного сета игроком. Диаграммы таких моделей можно посмотреть в [4].



Иерархические выражения



На основании идеи моделирования теннисных матчей при помощи марковских цепей Barnett and Clarke [5] и O’Malley [6] разработали иерархические выражения вероятности победы определенного игрока во всем матче.



Барнет и Кларк описывают вероятность победы игрока А в гейме при своей подаче Pgame с помощью следующего рекурсивного определения:





Граничные значения следующие:





В приведенных выражениях р – это вероятность выигрыша игроком А очка при подаче, x и y – количество очков, выигранных соответственно игроками А и В. Это выражение полностью соответствует марковской цепи на рисунке выше.



Барнет и Кларк также определяют сходное выражение вычисления вероятности выигрыша по сетам на основании вероятностей выигрыша отдельных геймов и тай-брейков (которые тоже зависят от вероятностей выигрыша при подаче). Наконец, вероятность выигрыша в матче можно рассчитать с использованием ранее определенных выражений. Получается, что итоговое выражение для вероятности победы в матче зависит только от вероятности выигрыша очка при подаче каждым из игроков.



Оценка вероятности выигрыша при подаче



Остается вопрос, как оценить эти вероятности выигрыша очка при подаче для еще не сыгранных матчей. Барнет и Кларк приводят метод оценки таких вероятностей из исторической статистики игроков:



где

fi – процент очков, выигранных при подаче игроком i

gi– процент очков, выигранных при приеме мяча игроком i

ai – процент первых подач игрока i

aav – cредний процент первых подач для всех игроков

bi – процент выигрыша при первой подаче игрока i

ci – процент выигрыша при второй подаче игрока i

di – процент выигрыша при приеме первой подачи игроком i

ei – процент выигрыша при приеме второй подачи игроком i



Итак, для матча между игроками А и В мы можем оценить вероятности выигрыша очка при подаче игроками А и В соответственно как fAB и fBA, используя следующее уравнение:



где

ft – средний процент очков, выигранных при подаче на турнире

fav – средний процент очков, выигранных при подаче для всех игроков

gav – средний процент очков, выигранных при приеме для всех игроков



Современные модели



Современные модели прогнозирования тенниса основаны на описанных иерархических стохастических выражениях. Knottenbelt [7] уточнил модели Барнета, использовав для вычисления вероятности выигрыша очка при подаче только матчи с общими соперниками игроков, вместо всех прошлых соперников. Этот подход позволяет снизить погрешность, возникающую из-за того, что игроки в прошлом встречались с соперниками разного уровня.



Madurska [4] далее расширила модель общего соперника Кноттенбельта, использовав разные вероятности выигрыша очка при подаче для разных сетов. Таким образом, автор отказалась от допущения IID и ее модель отражает накопление физической усталости у игрока по ходу матча.



Модель общего соперника Кноттенбельта и посетовая модель Мадурски – это наиболее современные статистические модели, авторы утверждают, что ROI по их моделям составил соответственно 6,8% и 19,6% в сравнении с рынком ставок на матчи турниров WTA Большого шлема 2011 года. Модель общего соперника также тестировалась на более крупной и разнообразной выборке из 2173 матчей ATP 2011 г. и показала ROI 3,8%.



Продолжение следует



Библиография


1. M. Sipko Machine Learning for the Prediction of Professional Tennis Matches. Technical report, Imperial College London, London, 2015.

2. J. Kelly. A new interpretation of information rate. IRE Transactions on Information Theory, 2(3):917–926, 1956.

3. F. J. G. M. Klaassen and J. R. Magnus. Are Points in Tennis Independent and Identically Distributed? Evidence From a Dynamic Binary Panel Data Model. Journal of the American Statistical Association, 96:500–509, 2001.

4. A. M. Madurska. A Set-By-Set Analysis Method for Predicting the Outcome of Professional Singles Tennis Matches. Technical report, Imperial College London, London, 2012.

5. T. Barnett and S. R. Clarke. Combining player statistics to predict outcomes of tennis matches. IMA Journal of Management Mathematics, 16:113–120, 2005.

6. J. A. O’Malley. Probability Formulas and Statistical Analysis in Tennis. Journal of Quantitative Analysis in Sports, 4(2), 2008.

7. W. J. Knottenbelt, D. Spanias, and A. M. Madurska. A common-opponent stochastic model for predicting the outcome of professional tennis matches. Computers and Mathematics with Applications, 64:3820–3827, 2012.
Original source: habrahabr.ru.

https://habrahabr.ru/post/306944/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Яндекс.Толока. Как люди помогают обучать машинный интеллект

Среда, 20 Июля 2016 г. 17:48 (ссылка)

Вот уже полтора года в Яндексе для совершенствования поисковых алгоритмов и технологий машинного интеллекта применяется платформа Толока. Может показаться удивительным, но все современные технологии машинного обучения в той или иной степени нуждаются в человеческих оценках.



Люди оценивают релевантность эталонных документов поисковым запросам, чтобы на них ориентировались формулы ранжирования в поиске; люди переписывают аудиозаписи в текст, чтобы на этих данных настроился алгоритм голосового распознавания; люди размечают изображения по категориям, чтобы, натренировавшись на этих примерах, нейронная сеть дальше делала это без людей и лучше людей.







Все это можно делать в Толоке, которая является краудсорсинговой платформой и помогает найти тех, кто решит вашу задачу. Сегодня она переходит в статус беты и отныне открыта для всех внешних заказчиков. Так что пришло время рассказать вам подробно о самой платформе и о том, с какими неожиданными сложностями мы сталкивались в процессе работы над ней, поделимся своими наблюдениями и объясним, как Толока может помочь именно вам.



Задачи, о которых мы говорили выше, в Яндексе традиционно решаются с помощью обученных специалистов — асессоров. Асессоры смотрят, насколько результаты поиска соответствуют запросу, находят среди найденных веб-страниц спам, классифицируют его, решают схожие задачи и в других сервисах.



Ирония заключается в том, что чем больше новых технологий мы запускаем, тем сильнее растет потребность в человеческих оценках. Недостаточно просто определить релевантность страницы поисковому запросу. Важно понимать, не замусорена ли страница вредоносной рекламой? Не содержит ли страница контент для взрослых? А если содержит, то подразумевает ли запрос пользователя, что он искал именно такой контент? Для того чтобы автоматически учитывать все эти факторы, нужно собрать достаточное количество примеров для обучения поисковой машины. А так как все в интернете постоянно меняется, то и обучающие наборы нужно постоянно обновлять и поддерживать в актуальном состоянии. В общем, только для задач поиска потребность в человеческих оценках измерялась миллионами в месяц, и с каждым годом это число только растет.



Привлекать все больше и больше асессоров в каждой из стран присутствия Яндекса организационно непросто. При этом далеко не все новые задачи требуют специального обучения. Со многими заданиями может справиться практически любой человек, а часто даже более полезно собрать мнения обычных пользователей, не натренированных профессионально оценивать ранжирование. Подобное разделение задач привело нас к выводу, что в дополнение к асессорам нам нужен еще один более гибкий и масштабируемый источник получения человеческих оценок.



Краудсорсинг



В дополнение к сложным задачам, выполняемым асессорами, нам нужно было научиться собирать миллионы простых оценок в любой интересующей нас стране. Большинство заданий, о которых мы говорим, довольно простые и мелкие: на их выполнение не требуется больше 30 секунд. Зато количество этих заданий очень большое. Обычные фриланс-биржи, на которых можно связаться напрямую с несколькими исполнителями и объяснить им суть задания лично, для нас не подходили. Для промышленных масштабов нам нужно было привлекать тысячи исполнителей, оплачивать их работу без бумажной волокиты и контролировать результат.



Ближайшим аналогом того, что нам на самом деле было нужно, были краудсорсинговые платформы Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с помощью них, как правило, собирают простые человеческие оценки академические исследователи в области Machine Learning и крупные поисковые компании, например, Bing.







Вот только все эти платформы не работали в интересующих нас странах. К тому же мы уже успели накопить определенный опыт для того, чтобы решить задачу собственными силами.



Толока



В принципиальной логике работы любой краудсорсинговой платформы и, в частности, Толоки нет ничего сложного. С одной стороны, мы работаем с исполнителями, распределяем задания, производим оплату, а с другой – помогаем заказчикам получить результат с минимальными трудозатратами.







Кстати, что это за слово такое «Толока»? Над названием думали довольно долго, искали международные варианты, но в итоге вышло совсем наоборот. Идея назвать сервис «Толокой» родилась в нашем минском офисе, в котором, кстати, и сосредоточено ядро разработки платформы. Это слово (по-белорусски «талака») распространено в Беларуси примерно в 30 раз сильнее, чем в России, и означает совместную полезную работу на общий результат, а это отлично сочетается с краудсорсингом. Хотя выбор названия – это далеко не самый сложный вопрос, с которым мы столкнулись при разработке сервиса.



Какими могут быть задания? Потенциально они могут быть любыми по исходным данным, интерфейсу, ожидаемым ответам. Одному нужно загрузить картинки и попросить их классифицировать, другому — отобразить аудио-плеер и попросить написать, что слышно на записи, третьему — показать карту с расположением пользователя.







Несколько примеров














Поэтому был выбран путь максимальной гибкости: используя json для входных и выходных параметров и html/css/js — для интерфейса, заказчик может создать практически любое задание. А для тех задач, которые требуют работу «в поле» (например, пойти по адресу и проверить актуальность информации об организации), мы подготовили мобильную версию Толоки для Android.







У гибкости в настройках есть и обратная сторона – высокий порог вхождения. Далеко не каждый человек умеет верстать интерфейс. Эту проблему мы решаем с помощью готовых шаблонов, общее количество которых планируем увеличить.



Как платить толокерам? Успешный вывод кровно заработанных — один из главных мотиваторов для человека возвращаться и продолжать выполнять задания. Сложная и долгая процедура вывода может похоронить платформу. Поэтому мы выстроили систему, в которой достаточно добавить свой кошелек в PayPal или Яндекс.Деньгах. На этапе отладки процессов со стороны Толоки вывод денег мог занимать до 30 дней, сейчас — пару дней, а то и минут. При этом и толокеры, и заказчики освобождаются от бумажной волокиты.



Как обеспечить качество выполнения? Этот вопрос — главная головная боль любой краудсорсинговой платформы. В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть — ленивые, недобросовестные и при этом умеющие писать скрипты. Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей. У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других. Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.







Кстати, а что мы знаем о самих толокерах?



Толокеры



В Толоке регистрируются и выполняют задания самые разные люди. Больше всего исполнителей (как и заданий) у нас в России, Украине и Турции. Большинство толокеров — это молодые люди до 35 лет (как правило, студенты технических ВУЗов или мамы в декрете). В основном исполнители рассматривают Толоку в качестве дополнительного источника денег, хотя многие отмечают, что им нравится выполнять полезную работу, делать интернет чище. Вот, например, что они сами пишут о себе, обсуждая Толоку в интернете:



Мне на кошелек уже упало 790,41 рублей. Если что, то в регионе, где я живу, зарплата, к примеру, учителя-молодого специалиста, составляет 2800 рублей. Обратите внимание, что это все набито между делом, в свободное время, в перерывах между выполнением основной работы, когда хотелось отдохнуть и немного переключиться.





И вообще, работая здесь, не чувствуешь себя тупым кликающим роботом. Есть какое-то ощущение полезности своей работы.





Толока в Яндексе



Толока сейчас — это почти 270 тысяч исполнителей из пяти стран мира, 80 тысяч выполняемых заданий в день, 400 уже опробованных разных типов заданий, 1 миллиард собранных оценок.



В момент открытия мы стартовали с тремя основными типами заданий, и интересно, что именно они по-прежнему остаются самыми любимыми заданиями для большинства толокеров: оценка качества поиска картинок, разметка контента для взрослых и попарное сравнение объектов (например, страниц в разном дизайне).



Использование краудсорсинга для сбора оценок в этих проектах позволило командам существенно сократить время ожидания оценок для построения метрик. Где асессорам требуется несколько дней на оценку набора объектов, толокеры справляются за пару часов. За счет снижения стоимости оценки удалось заметно увеличить размеры обучающих наборов и повысить качество алгоритмов классификации. К примеру, после перехода на Толоку качество определения контента для взрослых выросло на 30%.



Заказчиками оценок в Толоке выступают десятки разных команд Яндекса. С помощью этого сервиса собираются данные для технологий компьютерного зрения и распознавания речи, совершенствуются рекомендательные технологии, пополняется база справочника организаций, решаются многие другие внутренние задачи. Но их все равно недостаточно для того, чтобы обеспечить всех толокеров работой. Нужно двигаться дальше.



Первые внешние заказчики



Договорившись с несколькими внешними партнерами, мы организовали закрытое альфа-тестирование, чтобы проверить соответствие платформы потребностям извне. Внешние заказчики пришли как со знакомыми для нас типами задач, так и с новыми, специфичным для их бизнеса. За время тестирования были запущены задания по расшифровке ценников товаров с фото, аудиту торговых точек, категоризации товаров, поиску характеристик.



Сайт «Рейтинг Букмекеров» предложил толокерам задания по обновлению базы букмекерских отделений по всей стране (около 4000 объектов). Нужно было проверить, существует ли объект по указанному адресу, сделать фотографию и составить его описание. По данным заказчика, проверить актуальность базы объектов по России с помощью краудсорнинга оказалось выгоднее и оперативнее, чем командировать сотрудника или искать подрядчиков. Немного конкретики. Выполнение задачи по Санкт-Петербургу, где нашлось 157 адресов для проверки, с использованием Толоки обошлось заказчику чуть более чем в 4100 рублей. Это более чем в 10 раз дешевле, чем проектная семидневная командировка одного собственного сотрудника компании из Москвы в Санкт-Петербург, и в 3-6 раз дешевле, чем наем подрядчика на месте.



Толока оказалась полезна не только бизнесу, но и в научной работе. Дмитрий Усталов из Института математики и механики им.Н.Н.Красовского (ИММ УрО РАН) использует сервис для сбора оценок о смысловых связях русских слов, чтобы повысить качество электронных словарей, используемых в рамках проекта NLPub. По словам Дмитрия, он может быстро и недорого проводить эксперименты, проверяя большое количество гипотез в сжатые сроки. Для одного из заданий, например, ему удалось собрать 13 тысяч оценок всего за час.



И еще один пример. Рамблер использует Толоку для уточнения асессорских оценок поисковой выдачи. Результаты толокеров чуть менее точны, поскольку они не имеют специальной подготовки, но зато они могут выполнить задания больших объемов в короткие сроки и со стабильным качеством. Так что этот канал получения оценок особенно полезен в периоды пиковых нагрузок.



Закрытое альфа-тестирование помогло нам определиться с дальнейшим вектором доработок и в целом подтвердило гипотезу, что Толока может быть полезна внешним заказчикам и должна быть открыта для всех. Ровно это мы и сделали. Начиная с этой недели, Толока переходит в статус беты, и ее краудсорсинговые возможности доступны для всех желающих.



Как добавить свое задание?



Процесс отправки задания по-прежнему предполагает определенные знания со стороны заказчика, но мы уже работаем над тем, чтобы упростить этот процесс в ближайшем будущем. А пока для заказчиков доступна документация по адресу yandex.ru/support/toloka-requester.



Мы рекомендуем начать с песочницы. Эта тестовая среда позволит вам не только разобраться в процессе создания задач, но и испытать их, не рискуя потратить деньги впустую. После регистрации можете сразу приступить к созданию своего проекта, причем сервис предложит вам уже готовые шаблоны на выбор.







При постановке задачи вы сможете ограничить исполнителей по определенным критериям (например, страна, язык или юзер-агент браузера), включить предварительную проверку результата и контроль качества, настроить спецификации входных и выходных данных.



После обучения на песочнице вы можете перейти к боевой системе, перенести туда свои проекты, пополнить баланс и запустить краудсорсинг. Кстати, все это не обязательно делать в интерфейсе. У Толоки есть свой API.



В заключение хотелось бы рассказать об основных рекомендациях, которые мы сформулировали на основе собственного опыта работы с толокерами.



Рекомендации по работе с краудом



Wisdom of crowd (мудрость толпы) — вовсе не философский, а вполне статистически проверяемый феномен. Даже если мнение одного человека недостаточно компетентно, а его оценка — недостаточно точна, объединение оценок от многих разных людей может давать более точные результаты, чем оценка одного профессионального эксперта. Главное здесь — правильно организовать процесс сбора и агрегирования отдельных оценок.




  1. Краудсорсинг — очень мощный инструмент, он отлично подходит, когда речь идет о больших объемах и необходимости масштабировать и стандартизировать процессы. Но если у вас разовая задача, которая решается одним человеком за пару часов, то именно так ее и проще решить.

  2. Многократно проверено, что любую сложную задачу можно и нужно декомпозировать на набор мелких независимых подзадач. Это позволит существенно повысить качество итоговых данных без увеличения стоимости общей разметки.

  3. Большинство заданий в краудсорсинге запускаются с перекрытием (когда несколько исполнителей делают одно и то же задание). Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так. Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.

  4. Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок. Зачастую завышение ставки может даже навредить качеству, так как толокеры в погоне за деньгами перестают уделять заданиям достаточное внимание.

  5. А вот главное, от чего реально зависит качество оценок – это от организации задания. Чем понятнее написана инструкция и спроектирован интерфейс, тем выше качество результата. И не забываем о проверочных заданиях («ханипоты»), которые помогут выявить недобросовестных толокеров.

  6. Большинства проектов в Толоке не требуют от исполнителя специальных знаний. Тем не менее иногда приходится «тренировать» толокеров выполнять задание именно так, как нужно заказчику. В этом случае следует создавать специальные обучающие пулы и использовать дополнительные настройки (например, допускать до задания только тех толокеров, которые успешно прошли тренировку).

  7. Правильное таргетирование заданий на определенных исполнителей часто помогает заметно улучшить результаты разметки. Например, если для разметки каталога обуви вам требуется оценить пантолеты, то это задание лучше сразу отдать толокерам-девушкам.

  8. Далеко не все задачи можно отдать на откуп мудрости толпы. Всегда найдется задание, которое требует профессиональной подготовки и предельной внимательности. Но практически всегда в этих случаях с помощью предварительной фильтрации краудом можно упростить жизнь профессиональным экспертам, заметно снизить стоимость получения оценок и увеличить пропускную способность вашего рабочего процесса.





Были бы благодарны сообществу Хабрахабра за отзывы о работе бета-версии Толоки. Мы продолжаем работать над тем, чтобы любой заказчик мог получить максимально качественный результат без необходимости писать код, а каждый ответственный исполнитель – поощрение и достаточное количество заданий. И ваши отзывы помогут нашей команде в этой работе. Спасибо!
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/305956/

Комментарии (0)КомментироватьВ цитатник или сообщество
Avel_Hladik

искусственный интеллект

Пятница, 15 Июля 2016 г. 09:37 (ссылка)


 


Я за искусственный интеллект.  Всеми руками, душой и пальцами.


 


Я это осознал когда себе восемь лет назад Punto Switcher   поставил.


А я часто пишу - ну вы знаете - фразу "ты чо?"


Пишу фразу "ты чо?", а Punto Switcher исправляет её на "ты xj&". 


Странно правда? 


Так иногда, зачастую, непреднамеренно  бездушная машина  становится честнее человека.


 


Потому что пишешь порой кому-нибудь "ты чо?",


а хочешь написать "ты xj&",  но стесняешься.


 


 


Хотя с другой стороны, если верить Стивену Кингу,


только враги говорят друг другу правду.


Друзья и возлюбленные, запутавшись в паутине взаимного долга, врут бесконечно.


 


 


.

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<искусственный интеллект - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda