Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста |
В статье на примере определения интента по фразе клиента, полученной в текстовом виде показаны подходы для решения поставленной задачи, выбор метрик и моделей.
Сделан обзор на актуальные подходы для ускорения работы нейронных сетей, представлены библиотеки ONNX и ONNX Runtime.
Проведены тесты с использованием фреймоворков ONNX и ONNX Runtime, используемых для ускорения работы моделей перед выводом их в продуктовую среду.
Представлены графические зависимости и блоки кода.
Читать далееhttps://habr.com/ru/post/704844/?utm_source=habrahabr&utm_medium=rss&utm_campaign=704844
| Комментировать | « Пред. запись — К дневнику — След. запись » | Страницы: [1] [Новые] |
