запятая - Самое интересное в блогах

rss_habr

А что с запятыми?

Пятница, 11 Ноября 2022 г. 10:32 (ссылка)

Запятые у всех вызывают вопросы. Погуглил и уточнил, в чем же проблема? Если знать 5 простых случаев, можно сэкономить время на поиске правил...

https://habr.com/ru/post/698750/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698750

Комментарии (0)Комментировать В цитатник или сообщество

rss_habr

Восстановление знаков пунктуации и заглавных букв — теперь и на длинных текстах

Четверг, 09 Декабря 2021 г. 20:06 (ссылка)

После релиза нашей первой модели, расставляющей знаки препинания и большие буквы, было много пожеланий доработать её, чтобы она могла обрабатывать тексты целиком, а не отдельные предложения. Это коллективное пожелание и было осуществлено в нашей новой версии модели.

В целом, архитектура и датасеты остались прежними. Что изменилось:

обучение теперь производилось не на отдельных предложениях, а на нескольких последовательных предложениях (принимаем во внимание, что конструктивное ограничение модели при обучении — 512 токенов на вход, что позволяет свободно подавать ~150 слов на любом из четырех поддерживаемых языков)

для ускорения обучения модели сокращение словаря теперь проводилось не только на инференсе, но и на трейне, что позволило увелить размер батча

Читать дальше →

https://habr.com/ru/post/594565/?utm_source=habrahabr&utm_medium=rss&utm_campaign=594565

Метки: python Big Data машинное обучение Natural Language Processing silero pytorch нейросеть запятая знаки препинания прописные буквы

Комментарии (0)Комментировать В цитатник или сообщество

rss_habr

Мы опубликовали модель, расставляющую знаки препинания и заглавные буквы в тексте на четырех языках

Среда, 06 Октября 2021 г. 16:56 (ссылка)

При разработке систем распознавания речи мы сталкиваемся с заблуждениями среди потребителей и разработчиков, в первую очередь связанными с разделением формы и сути. Одним из таких заблуждений является то, что в устной речи якобы "можно услышать" грамматически верные знаки препинания и пробелы между словами, когда по факту реальная устная речь и грамотная письменная речь очень сильно отличаются (устная речь скорее похожа на "поток" слегка разделенный паузами и интонацией, поэтому люди так не любят монотонно бубнящих докладчиков).

Понятно, что можно просто начинать каждое высказывание с большой буквы и ставить точку в конце. Но хотелось бы иметь какое-то относительно простое и универсальное средство расстановки знаков препинания и заглавных букв в предложениях, которые генерирует наша система распознавания речи. Совсем хорошо бы было, если бы такая система в принципе работала с любыми текстами.

По этой причине мы бы хотели поделиться с сообществом системой, которая:

Расставляет заглавные буквы и основные знаки препинания (точка, запятая, дефис, вопросительный знак, восклицательный знак, тире для русского языка);

Работает на 4 языках (русский, английский, немецкий, испанский);

По построению должна работать максимально абстрактно на любом тексте и не основана на каких-то фиксированных правилах;

Имеет минимальные нетривиальные метрики и выполняет задачу улучшения читабельности текста;

На всякий случай явно повторюсь — цель такой системы — лишь улучшать читабельность текста. Она не добавляет в текст информации, которой в нем изначально не было.

Читать дальше →

https://habr.com/ru/post/581946/?utm_source=habrahabr&utm_medium=rss&utm_campaign=581946

Комментарии (0)Комментировать В цитатник или сообщество

latboo1983

запятая - Самое интересное в блогах

<запятая - Самое интересное в блогах