Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 1273 сообщений
Cообщения с меткой

искусственный интеллект - Самое интересное в блогах

Следующие 30  »
rss_rss_hh_new

[Перевод] Будущее компьютерных технологий: обзор современных трендов

Среда, 15 Июня 2016 г. 16:16 (ссылка)





Сфера информационных технологий развивается в двух преимущественно независимых циклах: продуктовом и финансовом. В последнее время не утихают споры о том, на каком этапе финансового цикла мы находимся; очень много внимания уделяется финансовым рынкам, которые подчас ведут себя непредсказуемо и сильно колеблются. С другой стороны, продуктовым циклам достается относительно мало внимания, хотя именно они двигают информационные технологии вперед. Но, анализируя опыт прошлого, можно попытаться понять текущий продуктовый цикл и предугадать дальнейшее развитие технологий.









Новая эпоха компьютерных технологий начинается раз в 10–15 лет



Развитие продуктовых циклов в сфере высоких технологий происходит за счет взаимодействия платформ и приложений: новые платформы позволяют создавать новые приложения, которые, в свою очередь, повышают ценность этих платформ, замыкая таким образом цепь положительной обратной связи. Малые продуктовые циклы повторяются постоянно, но исторически сложилось так, что раз в 10–15 лет начинается очередной большой цикл – эпоха, полностью меняющая облик IT.





Финансовые и продуктовые циклы развиваются в основном независимо друг от друга



Когда-то возникновение компьютеров побудило предпринимателей создать первые текстовые редакторы, таблицы и много других приложений для ПК. С появлением интернета мир увидел поисковые механизмы, онлайн-коммерцию, электронную почту, социальные сети, бизнес-приложения модели SaaS и много других сервисов. Смартфоны дали толчок развитию мобильных социальных сетей и мессенджеров, а также появлению новых видов услуг вроде карпулинга. Мы живем в разгар мобильной эпохи, и, судя по всему, нас ожидает еще много любопытных инноваций.



Каждую эпоху можно условно разделить на 2 фазы:



1. фазу формирования – когда платформа впервые появляется на рынке, но является дорогостоящей, сырой и/или сложной в обращении;

2. активную фазу – когда новый продукт решает упомянутые недостатки платформы, тем самым начиная период ее стремительного развития.



Компьютер Apple II был выпущен в 1977 году, а Альтаир 8800 – в 1975 году, но активная фаза эпохи ПК началась с релиза IBM PC в 1981 году.





Продажи ПК в год



Фаза формирования интернета началась в 80-х и ранних 90-х годах, когда он, по сути, представлял собой инструмент обмена текстовыми данными, используемый учеными и правительством. Выход первого браузера, NCSA Mosaic, в 1993 году ознаменовал начало фазы интенсивного развития интернета, которая не закончилась и по сей день.





Количество пользователей интернета по всему миру



В 90-х годах уже существовали мобильные телефоны, а первые смартфоны появились на заре нулевых, но повсеместное производство смартфонов началось в 2007–2008 годах с выходом первого iPhone, а затем – с появлением платформы Android. С тех пор количество пользователей смартфонов взлетело до небес, и сейчас их число достигло уже порядка двух миллиардов. А к 2020 году смартфоны будут у 80 % населения планеты.





Продажи смартфонов по всему миру (млн.)



Если длительность каждого цикла действительно составляет 10–15 лет, всего через несколько лет начнется активная фаза новой компьютерной эпохи. Выходит, новая технология уже находится в фазе формирования. На сегодняшний день можно выделить несколько главных трендов в сферах аппаратного и программного обеспечения, позволяющих нам частично пролить свет на следующую эпоху. В данной статье я хочу обсудить эти тренды и выдвинуть несколько предположений о том, как может выглядеть наше будущее.



Аппаратное обеспечение: компактное, дешевое и универсальное



В мейнфрейм-эпоху только крупные организации могли позволить себе компьютер. Мини-компьютеры были доступны для организаций поменьше, а компьютеры – для домов и офисов.





Размер компьютеров уменьшается с постоянной скоростью



Сейчас мы на пороге новой эпохи, в которой процессоры и сенсоры становятся настолько дешевыми и компактными, что компьютеров скоро будет больше, чем людей.



Этому способствуют 2 фактора. Во-первых, неуклонный прогресс в производстве полупроводников за последние 50 лет (Закон Мура). Во-вторых, то, что Крис Андерсон называет «мирными дивидендами от войны смартфонов»: головокружительный успех смартфонов способствовал большим инвестициям в разработку процессоров и сенсоров. Загляните внутрь современного квадрокоптера, очков виртуальной реальности или любого устройства интернета вещей – что вы увидите? Правильно – главным образом компоненты смартфона.



Но в современную эпоху полупроводников всё внимание перешло от отдельных процессоров к целым узлам специальных микросхем, известным как однокристальные системы.





Цены на компьютеры стабильно снижаются



Обыкновенная однокристальная система сочетает в себе энергоэффективный ARM-процессор и специальный графический процессор, а также устройства обмена информацией, управления питанием, обработки видеосигнала и так далее.



Эта инновационная архитектура позволила сбросить минимальную стоимость базовых вычислительных систем со 100 до 10 долларов за единицу. Отличным примером послужит Raspberry Pi Zero – первый 5-долларовый компьютер на Linux с частотой 1 GHz. За те же деньги можно приобрести микроконтроллер Wi-Fi, поддерживающий одну из версий Python. Совсем скоро эти микропроцессоры будут стоить меньше доллара, и мы без труда сможем встраивать их практически всюду.



Но более серьезные достижения происходят сегодня в мире высококачественных микропроцессоров. Отдельного внимания заслуживают графические процессоры, лучшие из которых производит компания NVIDIA. Графические процессоры полезны не только для обработки графики, но и при работе с алгоритмами машинного обучения, а также с устройствами виртуальной и дополненной реальности. Однако представители компании NVIDIA обещают более существенные улучшения производительности графических процессоров в ближайшем будущем.





Raspberry Pi Zero: 5-долларовый Компьютер на Linux с процессором 1 GHz



Козырем всей сферы информационных технологий по-прежнему остаются квантовые компьютеры, которые пока существуют преимущественно в лабораториях. Но стоит сделать их коммерчески привлекательными, и это приведет к грандиозному росту производительности, прежде всего, в сфере биологии и искусственного интеллекта.





Квантовый компьютер Google



Программное обеспечение: золотой век искусственного интеллекта



Сегодня в мире программного обеспечения происходит много любопытных вещей. Хороший пример – распределенные системы. Их появление обусловлено многократным увеличением количества устройств за последние годы, что вызвало необходимость распараллеливать задания на нескольких машинах, налаживать обмен данными между устройствами и координировать их работу. Отдельного внимания заслуживают такие технологии распределенных систем, как Hadoop или Spark, предназначенные для работы с большими массивами данных. Стоит также упомянуть технологию блокчейн, обеспечивающую безопасность данных и ресурсов и впервые реализованную в криптовалюте Bitcoin.



Но, пожалуй, самые захватывающие открытия совершаются сегодня в области искусственного интеллекта (ИИ), имеющего длинную историю взлетов и падений. Еще сам Алан Тьюринг предсказывал, что к 2000 году машины будут способны имитировать людей. И хотя это предсказание пока не осуществилось, есть веские причины полагать, что ИИ наконец вступает в золотой век своего развития.



«Машинное обучение – это ключевой, революционный способ переосмысления всего, что мы делаем», – генеральный директор компании Google Сундар Пичаи.



Наибольший ажиотаж в области ИИ сосредоточен вокруг так называемого глубинного обучения – метода, который был широко освещен в рамках одного известного проекта компании Google, запущенного в 2012 году. В этом проекте была задействована высокопроизводительная сеть компьютеров, целью которой было научиться распознавать котиков на видеороликах с YouTube. Метод глубинного обучения основывается на искусственных нейронных сетях – технологии, зародившейся еще в 40-х годах прошлого века. Недавно эта технология снова стала актуальной из-за многих факторов: появления новых алгоритмов, снижения стоимости параллельных вычислений и широкого распространения больших наборов данных.





Процент ошибок в конкурсе ImageNet (красная линия соответствует показателям человека)



Остается надеяться, что глубинное обучение не станет просто очередным модным термином Силиконовой долины. Впрочем, интерес к этому методу обучения подкрепляется впечатляющими теоретическими и практическими результатами. К примеру, до введения глубинного обучения допустимый процент ошибок победителей ImageNet, известного конкурса по машинному видению, составлял 20–30 %. Но после его применения правильность алгоритмов неуклонно росла, и уже в 2015 году показатели машин превзошли показатели человека.



Многие документы, пакеты данных и инструменты программного обеспечения, связанные с глубинным обучением, находятся в открытом доступе, что позволило отдельным лицам и небольшим организациям создавать собственные высокоэффективные приложения. Компании WhatsApp Inc. потребовалось всего 50 разработчиков, чтобы создать популярный мессенджер для 900 миллионов пользователей. Для сравнения, создание мессенджеров предыдущих поколений требовало привлечения свыше тысячи (а иногда и нескольких тысяч) разработчиков. Нечто подобное теперь происходит и в области ИИ: программные средства вроде Theano и TensorFlow в сочетании с облачными дата-центрами для обучения и недорогими видеокартами для вычислений позволяют небольшим командам разработчиков создавать новаторские системы ИИ.



К примеру, ниже представлен небольшой проект одного программиста с использованием TensorFlow для преобразования черно-белых фото в цветные:





Слева направо: черно-белое фото, преобразованное фото, цветной оригинал фото. (Источник)



А вот небольшое стартап-приложение для классификации предметов в реальном времени:





Приложение Teradeep идентифицирует предметы в реальном времени



Хм, а ведь где-то я уже это видел:





Фрагмент из фильма Терминатор 2: Судный день (1991 г.)



Одним из первых приложений с методом глубинного обучения, выпущенных крупной компанией, было удивительно умное приложение для поиска изображений Google Photos:





Поиск по фотографиям (без метаданных) с ключевой фразой «big ben»



В скором времени нас ожидает значительное повышение производительности ИИ во всех сферах программного и аппаратного обеспечения: голосовые помощники, поисковые механизмы, чат-боты, 3D сканеры, языковые переводчики, автомобили, дроны, системы диагностической визуализации и многое-многое другое.



«Легко предугадать идеи следующих 10000 стартапов: взять Х и прибавить искусственный интеллект», – Кевин Келли.



Стартапы, создающие продукцию с упором на ИИ, должны оставаться предельно сфокусированными на определенных приложениях, чтобы поддерживать конкуренцию с крупными компаниями, для которых ИИ является высшим приоритетом. Системы ИИ становятся эффективнее по мере того, как увеличивается объем собранных для них данных. Получается нечто вроде маховика, постоянно вращающегося за счет так называемого эффекта сети данных (больше пользователей -> больше данных -> лучше продукция -> больше пользователей). К примеру, команда картографического сервиса Wase использовала эффект сети данных, чтобы сделать качество предоставляемых карт лучше, чем у их более маститых конкурентов. Всем, кто намерен использовать ИИ для своего стартапа, стоит придерживаться аналогичной стратегии.



Программное + аппаратное обеспечение: новые компьютеры



Сейчас на стадии формирования находится целый ряд перспективных платформ, которые скоро вполне могут перейти на стадию развития, так как они сочетают в себе самые последние разработки из сфер программного и аппаратного обеспечения. И хотя эти платформы могут выглядеть по-разному либо иметь разную комплектацию, у них есть одна общая черта: использование последних расширенных возможностей умной виртуализации. Рассмотрим некоторые из этих платформ:



Автомобили. Крупные информационно-технологические компании вроде Google, Apple, Uber и Tesla немало инвестируют в разработку автономных или беспилотных автомобилей. На рынке уже представлены полуавтономные автомобили Tesla Model S и вскоре ожидается выход обновленных и более совершенных моделей. Создание полностью автономного автомобиля потребует некоторого времени, однако есть основания полагать, что ждать осталось не более пяти лет. На самом деле, уже существуют разработки полностью автономных автомобилей, которые ездят не хуже, чем под управлением человека. Тем не менее, в силу многих аспектов культурного и регулятивного характера такие автомобили должны ездить намного лучше, чем управляемые человеком, чтобы быть допущенными к широкой эксплуатации.





Беспилотный автомобиль составляет схему своего окружения



Несомненно, объем инвестиций в беспилотные автомобили будет только расти. В дополнение к информационно-технологическим компаниям, крупные производители автомобилей тоже начали задумываться над автономностью. Нас ждет еще много интересных стартап-продуктов. Программные средства глубинного обучения стали настолько эффективными, что сегодня одному-единственному разработчику под силу сделать полуавтономный автомобиль.





Самодельный беспилотный автомобиль



Дроны. Современные дроны укомплектованы по последнему слову техники (в основном компонентами смартфонов и механическими деталями), но имеют относительно простое ПО. В скором времени появятся усовершенствованные модели, оснащенные компьютерным зрением и другими видами ИИ, что сделает их более безопасными, удобными в управлении и полезными. Фото- и видеосъемка с дронов будет популярной не только среди аматоров, но, что важнее, найдет и коммерческое применение. К тому же, существует немало опасных видов работ, в том числе высотных, для выполнения которых было бы гораздо безопаснее использовать дроны.





Полностью автономный полет дрона



Интернет вещей. Самые основные преимущества устройств интернета вещей – это их энергоэффективность, безопасность и удобство. Хорошими примерами первых двух характеристик могут послужить продукты Nest и Dropcam. Что касается удобства, стоит обратить внимание на устройство Echo от Amazon.



Большинство людей полагают, что Echo – это очередная маркетинговая уловка, но, воспользовавшись хотя бы раз, они удивляются, насколько удобным оказывается это устройство. Оно блестяще демонстрирует эффективность голосового управления как основы пользовательского интерфейса. Конечно, мы еще не скоро увидим роботов с универсальным интеллектом, способных поддерживать полноценный разговор. Но, как показывает Echo, компьютеры уже способны справляться с более-менее сложными голосовыми командами. По мере того как метод глубинного обучения будет совершенствоваться, компьютеры научатся лучше понимать язык.



3 основных преимущества: энергоэффективность, безопасность, удобство.



Устройства интернета вещей также найдут применение в бизнес-сегменте. К примеру, устройства с сенсорами и возможностью сетевого подключения широко используются для оперативного контроля промышленного оборудования.



Носимая техника. Сегодня функциональность носимых компьютеров варьируется в зависимости от ряда факторов: емкости батареи, средств коммуникации и обработки данных. Наиболее успешные устройства обычно имеют весьма узкую сферу применения: к примеру, фитнес-трекинг. По мере улучшения компонентов аппаратного обеспечения носимые устройства будут, как и смартфоны, расширять свою функциональность, открывая тем самым возможности для новых приложений. Как и в случае с интернетом вещей, предполагается, что голос станет основным пользовательским интерфейсом управления носимыми устройствами.





Миниатюрный наушник с искусственным интеллектом, фрагмент из фильма «Она»



Виртуальная реальность. 2016 год будет очень интересным для развития средств VR: релиз очков виртуальной реальности Oculus Rift и HTC Vive (и, возможно, PlayStation VR) означает, что удобные и иммерсивные системы VR наконец станут общедоступными. Разработчикам устройств VR придется хорошенько постараться, чтобы не допустить возникновения у пользователей так называемого эффекта «зловещей долины», при котором чрезмерная правдоподобность робота или другого искусственного объекта вызывает неприязнь у людей-наблюдателей.



Для создания качественных систем VR требуются качественные экраны (с высоким разрешением, высокой частотой обновления и низкой инерционностью), мощные видеокарты и возможность отслеживать точное положение пользователя (предыдущие поколения систем VR могли только отслеживать поворот головы пользователя). В этом году благодаря новым устройствам пользователи впервые смогут испытать на себе полноценный эффект присутствия: все чувства настолько качественно «обманываются», что пользователь ощущает полное погружение в виртуальный мир.





Демонстрация Oculus Rift Toybox



Несомненно, очки VR продолжат развиваться и со временем будут становиться всё доступнее. Разработчикам еще предстоит немало поработать над такими аспектами, как новые инструменты представления генерируемого и/или отснятого контента VR, усовершенствование машинного зрения для отслеживания положения пользователя и получения данных о нем прямо с телефона или очков виртуальной реальности, а также распределенные серверные системы для размещения масштабных виртуальных окружений.





Создание виртуального мира в 3D формате с помощью очков VR



Дополненная реальность. Скорее всего, AR получит развитие только после VR, потому что для полноценного использования дополненной реальности потребуются все возможности виртуальной вместе с дополнительными новыми технологиями. К примеру, для полноценного объединения в одной интерактивной сцене реальных и виртуальных объектов средствам AR потребуются продвинутые технологии машинного зрения с малой задержкой.





Устройство дополненной реальности, фрагмент из фильма «Kingsman: Секретная служба»



Но, скорее всего, эпоха дополненной реальности наступит быстрее, чем вам кажется. Этот деморолик был отснят непосредственно через устройство AR Magic Leap:





Демонстрация Magic Leap: виртуальный персонаж в реальной среде



Этот деморолик был снят непосредственно через устройство Magic Leap 14 октября 2015 года. При его создании не применялись ни спецэффекты, ни композитинг.



Что дальше?



Возможно, циклы в 10–15 лет больше не повторятся, и мобильная эпоха будет последним из них. А может быть, следующая эпоха будет короче, или лишь какой-то один подвид из рассмотренных выше технологий станет впоследствии действительно важным.



Я предпочитаю думать, что мы сейчас находимся в точке пересечения нескольких эпох. «Мирными дивидендами от войны смартфонов» стало стремительное появление новых устройств и разработок в сфере ПО, в особенности искусственного интеллекта, способного сделать эти устройства еще более умными и полезными.



Некоторые исследователи отмечают, что большинство новых устройств пока еще находятся в «пубертатном периоде»: они могут быть несовершенными и в некоторой степени нелепыми, а всё потому, что они еще не перешли в фазу развития. Как и в случае с персональными компьютерами в 70-х, интернетом в 80-х и смартфонами на заре нулевых, мы видим не полную картину, а лишь фрагменты того, во что текущим технологиям предстоит превратиться. Так или иначе, будущее близко: рынки колеблются, мода приходит и уходит, но прогресс, как и прежде, уверенно двигается вперед.

Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/303258/

Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Будущее браузеров и искусственный интеллект. Дзен в Яндекс.Браузере

Среда, 08 Июня 2016 г. 13:00 (ссылка)

В будущем, как нам кажется, все популярные браузеры выйдут за рамки программ для открытия веб-страниц и научатся лучше понимать людей, которые ими пользуются. Сегодня я расскажу вам, каким мы видим это будущее на примере персональной ленты Дзен в Яндекс.Браузере, которая теперь доступна пользователям Windows, Android и iOS.







Несмотря на кажущуюся простоту, в основе Дзена лежат довольно сложные технологии. Я расскажу немного о том, как это реализовано у нас, где и почему мы использовали традиционное машинное обучение, а где — нейронные сети и искусственный интеллект, и буду благодарен за ваше мнение об этом подходе.



Рекомендации хорошо знакомы всем, кто активно пользуется сетью. Интернет-магазины предлагают схожие товары. Онлайн-кинотеатры советуют фильмы. Музыка, книги, игры, приложения — в любой нише можно найти примеры подобных решений. В современном мире, где количество информации растет в геометрической прогрессии, рекомендации помогают людям найти что-то новое и интересное.



Яндекс всегда специализировался на поиске. В широком смысле этого слова. Поиск ответов на свои вопросы. Поиск оптимального маршрута. И даже поиск свободного такси рядом с вами. Примерно два года назад у нас появилась еще одна идея. Научить машину искать в сети тот контент, который был бы интересен конкретному человеку. Персонализированный поиск, где в качестве запроса выступают не слова, а интересы. Из этой идеи и родилась лента рекомендованного контента Дзен.



Дзен



Дзен – это бесконечная лента контента, которая формируется исходя из интересов конкретного человека. Мы хотим помочь пользователям найти интересный контент, а издателям – целевой трафик (клик по рекомендациям открывает материал на сайте-первоисточнике). Обычно рассказы о новых продуктах начинают с описания идеологии и продуктовой стратегии, и здесь я рекомендую вам прочитать пост Романа kukutz Иванова в блоге Яндекса, а мы с вами сразу перейдем к самому важному для Хабра, к технологиям. Тем более, что именно они отличают Дзен в Яндекс.Браузере от любых других браузерных (и не только) аналогов.







Кстати, внимательный читатель может вспомнить, что первые эксперименты с Дзеном проводились в 2015 году на странице zen.yandex.ru. Почему теперь лента рекомендаций стала частью Браузера? На этот раз вопрос я обязательно отвечу чуть позже.



В основе Дзена лежит рекомендательная технология Диско, разработанная в Яндексе и уже нашедшая применение в Яндекс.Музыке и Яндекс.Маркете. Слово «диско» созвучно английскому слову discovery, которое означает «открытие нового» и хорошо описывает суть технологии.



Упрощенная логическая схема работы Диско в случае с Дзеном выглядит так:







Начнем с самого начала, с исходных данных, которым еще только предстоит как-то превратиться в факторы.



С чего начинаются рекомендации



Прежде чем что-либо советовать человеку, нужно понять его интересы и предпочтения. Дзен для этого использует знания Яндекса о посещаемых людьми сайтах. Благодаря этим знаниям многие новые пользователи Дзена смогут сразу увидеть ленту персональных рекомендаций без необходимости что-то настраивать. Но иногда их недостаточно. Можно было бы попробовать решить эту проблему с помощью ленты, ориентированной на среднестатистического человека. Но мы же знаем, что такого человека в реальности не существует (что хорошо было показано на примере американских военно-воздушных сил). Поэтому пошли другим путем и предложили людям самостоятельно ограничить круг своих интересов. У этих настроек нет своего названия, но внутри мы называем их «Онбордингом».







Важно понимать, что Онбординг – это не обязательный этап начальных настроек, а лишь резервный вариант для тех, кому точно нечего предложить. Лента рекомендаций сразу после прохождения Онбординга может достаточно сильно отличаться от подборок, формируемых через несколько недель активного использования Дзена. Эти настройки уже доступны пользователям Яндекс.Браузера для Android и iPhone. Для Windows станут доступны в ближайшее время (а пока можно воспользоваться временным решением).



Знания об интересах человека – это лишь половина необходимой информации. Для того чтобы что-то рекомендовать, нужно для начала это что-то найти. Обычно рекомендательные сервисы решают эту задачу примитивным способом – формируют ограниченный каталог RSS-лент по интересам. В случае с Дзеном таких ограничений нет. Поисковые роботы ищут любые материалы. Это могут быть как авторские публикации с популярных блогов, так и качественные истории с форумов или ролики с YouTube. Это то, что мы называем «диким вебом». Главное, чтобы сайт не был заброшен и на странице содержалось достаточное количество полезного контента.



Итак, с одной стороны у нас знания о любимых публикациях миллионов пользователей, с другой – вся мощь глобального поискового индекса Яндекса. Осталось самое «простое». Научить машину строить рекомендации.



Виды рекомендательных систем



В истории рекомендательных технологий хорошо известны два их основных вида: фильтрация по содержимому и коллаборативная фильтрация. Начнем с первого, который основан на сравнении содержимого рекомендуемых объектов. Для примера предлагаю рассмотреть фильмы. Если два фильма относятся к одному и тому же жанру, и пользователь уже высоко оценил один из них, то с определенной вероятностью можно посоветовать ему и второй. И здесь интересно вспомнить онлайн-кинотеатр Netflix, который увеличил количество жанров с нескольких сотен до десятков тысяч, среди которых можно найти даже «Культовые ужастики со злыми детьми». Большая часть из этих жанров скрыта от глаз зрителей и используется только для построения рекомендаций.







В нашем случае никаких жанров нет. Чтобы сделать вывод о соответствии веб-страницы интересам человека, нужно сравнить ее контент с известными образцами. Причем заниматься этим должен компьютер, которому нужно не просто прочитать материал, но и понять его смысл. И единственный способ решить эту задачу достаточно точно, это использовать опыт Яндекса в области искусственного интеллекта.



NLP + CV



Когда речь заходит об искусственном интеллекте, то многие пользователи представляют себе SkyNet, желающий поработить человечество. К счастью, будущее не предопределено и все в наших руках. Но а если серьезно, то наработки в области ИИ уже сейчас помогают нам решать сложные задачи. Способность машины читать, видеть и, что наиболее важно, понимать смысл открывает большие перспективы.



Обработка естественного языка (Natural Language Processing, NLP) и компьютерное зрение (Computer Vision, CV) – два широко применяемых в Дзене направления из области искусственного интеллекта.







Когда мы говорим о рекомендациях, то подразумеваем себе материалы, которые были бы достаточно близки по своему смысловому наполнению к образцам пользователя. Иными словами, машина должна прочитать два текста и сделать вывод: близки ли они по смыслу или нет. Ровно это мы и учимся делать. Специально обученная нейронная сеть преобразует текст в вектор, в котором заключен смысл текста. Два текста могут быть написаны с использованием разных слов и даже на разных языках, но смысл у них будет один. Сравнивая эти векторы, мы можем с определенной вероятностью предсказать интерес человека к новому материалу. Кстати, если векторы почти совпадают, то это уже говорит о смысловом дубликате (рерайт текста или разные статьи об одном и том же событии), с которыми мы боремся в ленте.



Другой подход к NLP, над которым работает команда Дзена, это автоматическое присвоение меток для любого текста. Вспомните про пример с Netflix'ом и десятками тысяч жанров. Так и здесь. Классификация публикаций с помощью меток помогает повысить точность итоговых рекомендаций.



Работа с компьютерным зрением в целом похожа на NLP. Только вместо чтения текста машина учится «смотреть» и понимать смысл изображения. Помимо прямого применения в рекомендациях у компьютерного зрения есть и другие задачи в Дзене. Например, миниатюры картинок далеко не всегда удобно масштабируются, и их приходится обрезать, а компьютерное зрение помогает находить на картинках людей и спасает их от судьбы Нэда Старка из «Игры престолов».



Компьютерное зрение применяется и для нахождение текста на картинках. Некоторые сайты любят дублировать заголовок в виде изображения. В ленте это смотрится далеко не так красиво, поэтому подобные картинки выявляются и не используются в качестве миниатюр. Существует еще такое труднообъяснимое понятие, как «качество» картинки. Машина учится выбирать на сайте те изображения, которые больше нравятся людям, и использует их в качестве все тех же миниатюр.



SVD



Выше я рассказал вам о подходе к построению рекомендаций, который основан на фильтрации по содержимому объектов. Теперь пришло время вспомнить о коллаборативной фильтрации. В основе этого подхода лежит идея, что похожим людям нравятся похожие объекты. В этом случае вам не нужно знать свойства рекомендуемых объектов, достаточно собрать статистику о том, насколько они соответствуют интересам пользователей. На примере фильмов это может выглядеть так:







Опираясь на уже известные оценки, можно выявить закономерности в поведении разных людей и попробовать предсказать реакцию на новый фильм. На математическом уровне для применения коллаборативной фильтрации придуманы разные алгоритмы, о которых в свое время на Хабре хорошо рассказал мой коллега Михаил Ройзнер.



В случае с Дзеном мы используем коллаборативную фильтрацию (а точнее алгоритм SVD) для предсказания интереса человека к определенному сайту в целом. Эта информация дополняет рекомендации, построенные для отдельных материалов с помощью искусственного интеллекта (NLP+CV). Позволяет отсеять излишний шум и выявить нетривиальные закономерности (скажем, может выясниться, что люди, которые интересуются Хабром и историями с Пикабу, чаще других читают «N+1»).



Подытожим. Используя исходные данные о сайтах и пользователях, мы с помощью технологий обработки естественного языка, компьютерного зрения и алгоритма SVD формируем комплект различных факторов, которые характеризуют интересы человека к тем или иным сайтам/материалам.







Точность итоговых рекомендаций напрямую зависит от количества и разнообразия исходных данных, поэтому в качестве факторов используются и многие другие наши знания. Например, знания Яндекса о конкретном сайте или странице, информация о том, как человек использует Дзен, его обратная связь в виде кликов, «больше такого» и «меньше такого», местоположение и даже время суток. Общее количество отдельных факторов, которые мы закладываем в систему рекомендаций, исчисляется тысячами. Сложность системы достигает такого уровня, что одних алгоритмов уже мало. Нужна технология, которая будет сама вычислять идеальную формулу для построения итоговой ленты. И здесь нам пригодился опыт Яндекса в области машинного обучения.



Матрикснет



Термин «машинное обучение» появился еще в 50-х годах. Он обозначает попытку научить компьютер решать задачи, которые легко даются человеку, но формализовать путь их решения сложно. В результате машинного обучения компьютер может демонстрировать поведение, которое в него не было явно заложено.



Каждый день наша поисковая система отвечает на миллионы запросов, многие из которых — неповторяющиеся. Поэтому невозможно написать такую программу, в которой предусмотрен каждый запрос и для каждого запроса известен лучший ответ. Поисковая система должна уметь принимать решения самостоятельно, то есть сама выбирать из миллионов документов тот, который лучше всего отвечает пользователю. Для этого нужно научить ее обучаться.



С 2009 года поиск Яндекса использует собственный метод машинного обучения Матрикснет. С его помощью можно построить очень длинную и сложную формулу ранжирования, которая учитывает множество различных факторов и их комбинаций. Кроме того, Матрикснет сам определяет разную чувствительность для разных значений факторов ранжирования. Эта технология достаточно универсальна, поэтому впоследствии нашла применение не только в Яндексе, но и в Европейском Центре ядерных исследований.



Способность компьютера учитывать тысячи факторов и самостоятельно искать наилучшее решение – это то, без чего невозможно построить современную рекомендательную систему. Именно поэтому Матрикснет был взят за основу при создании собственной рекомендательной технологии.



Результат работы Матрикснета – это именно то, что пользователь и видит в ленте Дзен. Со стороны разработчиков не существует каких-либо правил вида «Если человек любит А, то рекомендуем ему Б». Все подобные закономерности рождаются и постоянно меняются внутри Матрикснета. И чем больше у него данных, тем точнее рекомендации. Именно поэтому Дзен – это часть Яндекс.Браузера, а не самостоятельный веб-сервис или приложение. Отдельному приложению сложнее понять интересы пользователя, который после двух-трех дней может просто перестать его запускать. Чтобы магия Дзена и машинного обучения вступила в полную силу, им нужно активно пользоваться или хотя бы регулярно проходить рядом. И браузер, как единая точка выхода в интернет, подходит для этого лучше всего. Само собой, любой пользователь может отказаться от использования Дзена в Браузере.



В этом посте я рассказал вам о том, как формируется лента персональных рекомендаций в Яндекс.Браузере, и почему Дзен – это не очередная «лента новостей», а результат работы серьезных технологий. Наработки из области искусственного интеллекта уже сейчас помогают машине понимать смысл контента и интересы человека. Но это лишь самое начало. Кто знает, может быть, однажды компьютеры будут понимать нас лучше, чем мы сами?

Original source: habrahabr.ru.

https://habrahabr.ru/post/302856/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Комментарии (0)КомментироватьВ цитатник или сообщество
pmos_nmos

Знаете ли вы, что ...

Среда, 08 Июня 2016 г. 10:34 (ссылка)


... юридическая фирма Baker & Hostetler  наняла на работу искусственный интеллект?



4e05e32d75954427b77420d16d4c3e72 (700x466, 256Kb)



Компания приняла на должность руководителя отдела искусственный интеллект, который будет управлять 50 сотрудниками. Нового работника по имени Росс создала компания IBM на базе компьютера Watson. Росс способен понимать письменную речь, анализировать информацию, выдавать решения по судебным разбирательствам и ссылаться на закон. Также искусственный интеллект будет отличным советчиком и поисковиком.



1455875829_1 (700x393, 73Kb)

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Сергей_Удачин

Красная кнопка для искусственного интеллекта

Вторник, 07 Июня 2016 г. 20:19 (ссылка)

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

http://earth-chronicles.ru/news/2016-06-07

кнопка (700x397, 38Kb)
Научная фантастика подарила нам два воображаемых мира, в которых господствует искусственный интеллект (ИИ): в первом машины превращаются в грозных убийц, восстающих против людей, во втором – в незаменимых помощников человека. Какой из этих планов реализуется на самом деле, остаётся только гадать. Тем не менее многие эксперты считают, что подготовиться надо ко всему.
Читать далее...
Метки:   Комментарии (4)КомментироватьВ цитатник или сообщество
Сергей_Удачин

Причины возможного исчезновения человечества

Суббота, 04 Июня 2016 г. 19:28 (ссылка)

ПРИЧИНЫ ВОЗМОЖНОГО ИСЧЕЗНОВЕНИЯ ЛЮДЕЙ

http://earth-chronicles.ru/news/2016-06-03

исчез (640x477, 102Kb)
Стивен Хокинг широко известен своими теориями чёрных дыр и гравитации. Кроме того, учёный регулярно будоражит общественность прогнозами о вероятной гибели человечества. По мнению Хокинга, люди могут полностью исчезнуть с лица Земли, и на это имеются как минимум три причины.
Читать далее...
Метки:   Комментарии (1)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Размышления на тему оценки коммитов и роботов-программистов

Четверг, 02 Июня 2016 г. 16:50 (ссылка)





Представьте себя на месте программиста в компании, которая разрабатывает большой и сложный продукт, которым пользуется большое множество людей. Этот продукт уже много лет на рынке и зарабатывает для компании большое количество денег. Не исключено, что вы уже являетесь таким программистом. С каждым новым циклом разработки вы выпускаете новую версию продукта и надеетесь, что она стала лучше, чем предыдущая. Более того, вы надеетесь, что с каждым новым коммитом продукт, над которым вы работаете, становится лучше и лучше.



Как можно оценить, стала ли новая версия лучше или хуже? Или может быть ваша правка вообще ни на что не повлияла? Ведь в конце концов самое главное, что важно для компании — сколько принесёт денег новая версия продукта?



Есть различные более-менее понятные метрики, с помощью которых можно попробовать измерять то самое «лучше» или «хуже»:




  1. Количество строк кода.

  2. Сколько было исправлено багов.

  3. Сколько было добавлено новых фич, которые хотят ваши пользователи.

  4. Насколько производительнее стал продукт.

  5. Насколько более удобным стал продукт.

  6. Насколько более качественным стал результат продукта, если для него вообще есть метрика качества (точность классификации, ранжирования и пр.)

  7. Другие различные метрики.



Но ни одна из них не отвечает на поставленный выше вопрос.



Представьте, что в какой-то день человечество изобретёт такую метрику, которая может измерять финансовый вклад каждого коммита. И тогда вы, например, сможете увидеть в логах репозитория напротив каждой правки число в рублях или другой валюте, означающее сколько данная правка принесла денег компании. Ну или сколько компания потеряла денег.



Этот день будет чёрным днём для всех программистов. Ведь такая метрика — идеальная целевая функция для обучения робота-программиста.

Читать дальше →

https://habrahabr.ru/post/302422/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Сергей_Удачин

"Восстание" (фантастическая короткометражка)

Вторник, 31 Мая 2016 г. 23:35 (ссылка)

ВОССТАНИЕ РАЗУМНЫХ РОБОТОВ

http://earth-chronicles.ru/news/2016-05-31-92663




Знаменитая гоголевская фраза: «Я тебя породил, я тебя и убью!» будет актуальна и в недалеком будущем. Однако в нем отношения между собой будут выяснять отнюдь не отцы и дети, а люди и роботы.
Читать далее...
Метки:   Комментарии (1)КомментироватьВ цитатник или сообщество

Следующие 30  »

<искусственный интеллект - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda