Введение

Для анализа потоковых данных необходимы источники этих данных. Так же важна сама информация, которая предоставляется источниками. А источники с текстовой информацией, к примеру, еще и редки.

Из интересных источников можно выделить следующие: twitter, vk. Но эти источники подходят не под все задачи.

Есть источники с нужными данными, но эти источники не потоковые. Здесь можно привести следующее ссылки: public-apis.

При решении задач, связанных с потоковыми данными, можно воспользоваться старым способом.

Скачать данные и отправить в поток.

Для примера можно воспользоваться следующим источником: imdb.

Следует отметить, что imdb предоставляет данные самостоятельно. См. IMDb Datasets. Но можно принять, что данные собранные напрямую содержат более актуальную информацию.

Язык: Java 1.8.

Библиотеки: kafka 2.6.0, jsoup 1.13.1.

Читать дальше →

https://habr.com/ru/post/528134/?utm_source=habrahabr&utm_medium=rss&utm_campaign=528134

Привет Habr!



Дорогой читатель! Если тебя интересует парсинг html и разработка под Android, то эта статья для тебя. Надеюсь ты найдешь в ней много интересного и полезного. В ней я хочу поделиться своим опытом в данной сфере.

Описание проблемы

Немного обо мне. Я студент третьего курса ИТА ЮФУ. Также как и всем студентам, мне нужно каждый день смотреть расписание занятий. Причём мне нужно знать расписание не только на следующий день, но и на одну-две недели вперёд.



Казалось бы, почему нельзя просто сохранить расписание и пользоваться им? К сожалению, есть ряд причин, которые этому препятствуют, а именно:

• Расписание на одну неделю может сильно отличаться от расписания на другую


• Расписание не постоянно и может меняться

Конечно, есть сайт с расписанием, но он не очень удобен, так как на нём выводится просто сырая таблица с расписанием на 20 недель. Студенту приходится листать большую страницу, в поисках расписания на нужный день. Кроме того, в оффлайн режиме расписание становится недоступным.

Я решил сделать небольшое приложение, которое могло бы парсить сайт с расписанием моего института, и обладало бы следующим набором плюшек:

• Отображение: номера текущей недели, даты, дня недели и расписания на этот день


• Возможность перелистывать расписание кнопками «назад» и «далее»


• При отсутствии интернета показывать последнюю загруженную оффлайн версию расписания

Читать дальше →

https://habr.com/ru/post/483284/?utm_source=habrahabr&utm_medium=rss&utm_campaign=483284

Добрый день, уважаемый читатель! Вы могли подумать, что я ушёл в глубокое подполье, так как вестей от меня нет уже довольно давно. Около 10 дней я работал над одним увлекшим меня проектом – синтезатором речи.



Идея была простая: записать звуки русского языка (28 для гласных [включая ударные], 36 для согласных (включая мягкие)), и делать компоновку в соответствие с правилами русского языка. Благо, исключений в нем не так много, как в английском или французском, например.
Читать дальше ->

https://habr.com/ru/post/452504/?utm_source=habrahabr&utm_medium=rss&utm_campaign=452504