[Из песочницы] Ускорить сложные вычисления с минимальной загрузкой RAM

Четверг, 07 Февраля 2019 г. 11:10 + в цитатник

В процессе освоения ML, СNN, NN на Python новичок почти всегда сталкивается с проблемой скорости вычислений, а иногда и нехватки оперативной памяти.

Особенно это заметно с большими базами, которые по размеру больше 50% свободной RAM. Мысли о покупке более достойного железа всего лишь одно из возможных решений.

Иной вариант использовать одну из возможностей в Python — итерации по самой функции.

Простой и наглядный пример. Допустим Вам необходимо возвести в 200 000 степень ряд чисел от 1 до 10 и сложить их сумму. В итоге вы должны получить число длинной 200 тыс знаков. это в 2 раза больше чем google)

Вот простой код такой функции:

from time import time # импорт модуля времени
# простая функция возведения в степень
def power_1(x):
    power_1 = 0 
    start = time()
    power_1 = x**200000
    end = time()
    total_1 = end - start
    return round(total_1,6)
# простые операции сложения, для того что бы посчитать отдельно время операции
power_1(1) + power_1(2) + power_1(3) + power_1(4) + power_1(5) + power_1(6) + power_1(7) + power_1(8) \
+ power_1(9) + power_1(10)

В итоге мы получаем достаточно «затратную» операцию для вашего компа, и например у моего это занимает более 13 мс. А что если таких операций может быть много? Тогда все усложняется, а возможно Вам просто не хватит RAM.

Но можно быть хитрее и использовать туже самую функцию, прогнав с помощью итерации по вашим переменным.
Читать дальше →

https://habr.com/ru/post/439312/?utm_source=habrahabr&utm_medium=rss&utm_campaign=439312

LiveInternetLiveInternet

-Поиск по дневнику

-Подписка по e-mail

-Статистика

Перейти к полной формеБыстрая запись

TL; DR

Преамбула

Компоненты

Подготовка

Запрет на запрет

2019-й станет годом изменений в полупроводниковой промышленности, когда новые области исследований будут подстёгивать технологические прорывы