В первый же день синхронизировал контакты через Outlook Express, заметки перекинул по bluetooth. А вот sms так и остались на старом телефоне.

Некоторые удаляют sms сразу после прочтения, а мне нравится хранить их все.

Это почти как почта, никогда не знаешь, что может понадобится.

К счастью, есть способ их перенести.

Шаг первый: из телефона на компьютер

Тут всё просто. Nokia PC Suite может выгрузить sms в виде csv файлов.

Один файл для входящих и один для отправленых.

Шаг второй: чем добавить в android

Для Android я нашёл замечательное приложение SMS Backup & Restore.

Оно может сохранять sms на карте памяти телефона и загружать их обратно.

Да плюс к тому ещё и проверяет на дубли.

Один раз проделываем сохранение sms с помощью этой программы (для этого нужно, чтобы sms уже были). Так я получил формат файла, в котором программа SMS Backup & Restore хранит свои данные.

Оказалось, что это простой xml.

Дел осталось совсем чуть: написать конвертер из csv, который генерирует Nokia PC Suite в xml, используемый SMS Backup & Restore.

Шаг третий: готовим xml

Программку я написал на Python, в конце поста есть ссылка на неё.

Пользоваться ей просто:

python sms_convert.py <имя_файла.csv> <тип> > <имя_файла.xml>

Тип это значение, определяющее входящие sms в файле или отправленные.

Для входящих тип равен 1, а для отправленных 2.

Полученные файлы с sms надо положить в каталог SMSBackupRestore на карте памяти телефона.

После этого надо отключить телефон от компьютера, дождаться когда телефон инициализирует карту памяти и восстановить sms из файлов, запустив программу SMS Backup & Restore на телефоне.

Вот и всё.

Скачать программу

А вот и ссылка на скачивание: sms_convert.py

И нашёл плагин который давно искал. А именно плагин, позволяющий лазать в инете без помощи мыши. Дома за столом мышку дёргать неудобно, а постоянно хвататься то за мышь то за клавиатуру достаёт, и рука устаёт к тому же. Да и печатаю теперь я реактивно (по сравнению с собой год назад), быстрее кнопок понажимать, чем к мышке тянуться.

Ранее я пробовал плагин vimperator для firefox. Но после последней попытки я так и не понял как мне открыть новое окно.

Да и к тому же он в основном заведует перемещением по страницы, а для этого мне всегда хватало и стандартных комбинаций клавиш.

А вот переходить по ссылкам, быстро искать в гугле, быстро расшаривать любую страничку в Баззе с клавиатуры никак.

Кстати для chromium тоже есть расширение для навигации в стиле vim. Называется оно Vimium. Его, кстати, может буду использовать в дополнение к GleeBox, т.к. в Vimium есть полезная для нетбуков штучка горизонтальный скроллинг.

Вернёмся однако к теме поста. Итак, GleeBox это приятная на вид командная строка для совершения различных операций в интернете.

Операции эти весьма разнообразны: можно искать в поисковике, искать ссылки на странице по части слова из этой ссылки, переходить по найденным ссылкам, переключаться между ссылками на страницах, переходить по разделам отображённого документа, если он правильно отформатирован, постить в твиттер, в базз, добавлять rss со страницы в гуглридер, получать укороченную ссылку текущей страницы, управлять воспроизведением видео на youtube, делать скриншоты страниц, ещё что можете придумать.

Кроме встроенных команд , есть ещё внешние сборники команд YubNub и Quix, которые перекрывают все возможные запросы.

А если и этого окажется мало, то имеется возможность писать свои собственные команды.

Да команд чертовски много, но они же не все нужны одному человеку. Достаточно выучить полтора десятка нужных именно вам и жизнь станет намного проще.

Кстати, данный плагин доступен также для Firefox и Safari. Думаю со времене появится версия и для Explorer, если у создателя нет предубеждения.

Дело в том, что ранее я слышал что вариантов различных раскладок английских букв несколько.

Как минимум это qwerty и dvorak.

Люди, которые знают о раскладках говорят, что раскладка Дворака позволяет набирать текст быстрее и с меньшим утомлением пальцев.

Заглянув в википедию, я узнал, что существует даже раскладка Дворака для программистов

Как можно видеть, буквы сильно переставлены по сравнению с тем, что можно видеть на современных клавиатурах. Программистскую раскладку выделяет перенос различных скобочек и прочих часто нужных в программировании символов в нижний регистр цифровых клавиш.

В принципе вот оно: то что нужно.

Но почитав немного про клавиатуру Дворака выяснились некоторые детали:

1. Горячие клавиши в программах переехали. Это вообще-то катастрофа. Ctrl+C, Ctrl+V, Ctrl+X, Ctrl+S, Win+R и т.д. Об этом не думали, т.к. Дворак разрабатывал раскладку для электрических печатных машинок.

2. Сразу я этого не заметил, но в программистской раскладке цифры расположены не в порядке возрастания (вместо 1234567689 получили 7531902468). Логика, конечно прослеживается, но для меня это слишком.

Далее я наткнулся на раскладку Colemak

Она позиционируется как адаптация Дворака для компьютеров. Часть горячих клавиш оставлена на своих местах, часть переместилась так, что всё равно достижима левой рукой. Так же часть букв находится на тех же клавишах, что и в qwerty, что, как говорит автор, позволяет упростить переход на эту раскладку.

Можно решить, что это то что нужно, но проблемы не исчезают:

1. Хотя часть горячих клавиш осталась на местах, но часть то переехала. Кажется что это незначительно, ведь они всё равно близко, можно и переучиться. Но вспомним про русскую раскладку, на которой горячие клавиши располагаются там же, где они были на qwerty. Получается, что они будут в разных местах на разных языках, что довольно неудобно.

Я пробовал найти разные решения. Я нашёл dvorak-qwerty . Суть работы проста: при нажатии на Ctrl раскладка переключается на qwerty. Это то, о чём я подумал в первую очередь. Так, пожалуй, решается основная часть проблем. Программа поставляется в исходных кодах и её легко переделать с dvorak на colemak.

2. Однако остаются ещё проблемы с vim. Все горячие клавиши vim так же перераспределились по клавиатуре. Особенно это касается hjkl. Да и прочих часто используемых: y p g i u. Это реальная головная боль. Автор раскладки Colemak поддерживает свой конфиг для vim, упрощающий работу в этом редакторе. Но этот конфиг не соответствует стандартному расположению команд vim, что весьма печально. Есть на форуме пара людей, которые делали что-то похожее на стандартную конфигурацию, но у них тоже многое плохо.

Выводы я сделал для себя такие: можно решить текущие проблемы с помощью программы dvorak-qwerty и написания конфига для vim. Однако сейчас с этим совсем не хочется заморачиваться. Так что буду тренировать qwerty, а там может на Colemak перейду, если вдруг покажется целесообразным.

Нет, я далёк был в тот момент от паники, хотя верю, что у людей застрявших в метро, поводов было предостаточно. Ещё бы, под землёй и в полной темноте (я себе так представляю).

Но вернёмся к более глобальным вещам.

Из-за отсутствия электричества прекратилась подача воды, выключились светофоры, встали трамваи, троллейбусы, электроплиты не работают не поесть, холодильники начали размораживаться (это ещё в тот день прохладно было), встали электрички, остановились автоматические двери в супермаркетах, выключилось радио.

Всё можно понять, на холодильники да электроплиты ИБП не ставят пока ещё, но, блин, радио.

Мало волнует, что компьютер выключился, первый раз что ли. Но когда начинает поступать информация, что в куче районов света нет и не работают светофоры, думаешь, может надо что-то предпринять, а то как-то всё серьёзно.

А как узнать? Интернета ни у кого нет, телевизор тоже не включишь. Тут вспоминаешь про устаревшие радиотехнологии, которые по идее должны бы и работать (как же ещё можно оперативно оповестить людей о ЧП?)

И вот тут наступает полное недоумение: включаешь радио, а эфир пуст. Это довольно тревожно. Так ведь и испугаться недолго. С радио это они зря, должно работать всегда, больше новости не откуда узнать.

Забавное кстати следствие отключения электричества.

Можно было бы пойти в магазин и купить дизель-генератор, только вот кассы тоже электрические и не работаю, а значит и не продадут ничего.

Что работало? Работали стационарные телефоны, сотовая связь, интернет. Городские телефоны всегда питались своими силами, за счёт чего и надёжность. Да и телекомы привыкшие к отключениям электричества по пол-района обзавелись ИБП на узлах. Только вот воспользоваться интернетом некому(ну почти, повезло владельцем ноутов и домашних ИБП). А сотовые глючили так, как я никогда не видел (совершенно прикольное сообщение набранный номер не существует ).

П.С. Когда выяснили масштаб проблемы и надоело стоять на улице, пошли посмотреть в инете что же произошло. Нашли куцую новость на ленте, а фонтанка так вообще не работала (видимо сервер тоже пал). Послушали радио через вконтакт, нигде не слова. На музыкальных станциях музыка, на Эхе трындели про что-то своё какие-то люди, всем пофиг. А скоро и свет появился. Думаю конца света (большого) никто не заметит, всем будет пофиг.

Сериалы, что я качал/смотрел, все позаканчивались. Хаус завершился бездарно. Лост бездарно, а развитие шестого сезона в первой половине мне даже нравилось, после застоя в третьем и чертвёртом. Ви стал мусором с третьего эпизода где-то... Ну и т.п.

Разве что доснимают второй сезон Во все тяжкие , но с сюжетом там всё хуже и хуже.

Вот позавчера решил поискать что бы такого поглядеть на ночь глядя, и нашёл.

Нашёл я фильм Rampage немецкого режиссёра Уве Болла.

Снято довольно странно, камера постоянно дёргается, но действо весьма трешовое. Ну там если по ссылке почитать, понятно станет про что фильм.

Во время просмотра вспомнил замечательную игрушку Постал , заодно вспомнил, что по ней, вроде, фильм снимать собирались. Оказалось сняли. Кто? Да тот же самый Уве Болл!

Собственно страничка на кинопоиске про Постал

Актёр что играет главного героя как нельзя лучше подходит, как только он появился в кадре я сразу понял, что это он. А, да! В фильме есть использование кошки в качестве глушителя!!!

Смотрел в переводе Гоблина, так что мата хоть отбавляй, а вот субтитры пришлось отключить. Во-первых они мешались на экране, во вторых они не соответствуют звуку, понятно по какой причине.

По завершении просмотра фильма, очень захотелось поиграть в саму игру. Но пока не судьба, ибо поздно уже, да и боюсь стародавняя графика может испортить детские впечатления.

Уве Болл имеет ещё несколько фильмов по игрушкам. На очереди Far Cry и Bloodrayne.

Вот и всё пожалуй на сегодня. А, да, совсем забыл. Если кто желает посмотреть сии фильмы, то учтите сразу: они НЕ интеллектуальны, это Треш, нет ТРЭЭЭШШШ!!! Пиво приветствуется.

В прошлом посте Печать вслепую запечатлено, с чего я начал.

А именно: максимум 211 символов в секунду, средняя скорость 177.

Сегодня у меня вот такие результаты:

За месяц набрано 1100 текстов, это заняло 25 часов чистого времени;

Максимальная скорость 284 знака в секунду, средняя 244 знака в секунду.

Ниже приведён график моего обучения. Он ведётся на клавогонках автоматически.

Зона отмеченная римской цифрой один печать глядя на клавиатуру.

Отмеченная цифрой два прошедший месяц, в течение которого я набирал вслепую на маленькой клавиатуре нетбука.

Примерно через 10 дней занятий по полчаса-часу средняя скорость набора перевалила за 200 знаков в минуту.

Многим этого было бы достаточно(видимо этим и объясняются недельные курсы машинописи), но мне было интересно побить свой рекорд. Смысла набирать медленнее чем раньше нет никакого.

Побить рекорд удалось спустя две недели с момента начала занятий. Получилось набрать 252 знака за минуту.

Вышло это только благодаря тому, что я сделал всего две ошибки в тексте (до этого на текст выходило не менее 10 ошибок). Сокращение количества ошибок дало прирост в скорости 30 знаков.

Что хочется отметить. Когда я набирал глядя на клавиатуру, рекорд в 251 знак дался особым напряжением памяти (поскольку на экран смотришь редко, выигрышная стратегия заключается в запоминании отрывка текста максимальной длины) и страшной долбёжкой по клавиатуре.

Сейчас же когда моя средняя скорость 244 знака, такой же результат получается без усилия. Т.е. от набора не устаёшь, это ощутимый плюс.

Мне кажется, что печатая глядя на клавиатуру, можно достичь результата в 300 знаков, но долго так набирать не выйдет, скорее всего, да и на человека будет страшно смотреть.

Моя цель средняя скорость набора более 350 знаков в минуту, тогда, наверное, я начну учить набор вслепую на ангельском.

До сих пор...

Недавно я увидел как человек печатает десятипальцевым методом.

На тот момент мне было с чем сравнивать, я тогда играл в интернет игрушку typeracer.ru

Мой рекорд составлял 251 символ в минуту, а средняя скорость набора была в районе 230 символов в минуту.

Человек же вслепую набрал с первого раза в районе 350 символов в минуту.

Причём это явно не лучший результат, так как количество опечаток, которые пришлось исправить, а соответственно и потратить на это время, было более 10 на отрывок из 150 200 символов.

Собственно, с того момента я подумал, что неплохо бы тоже так.

Ну подумал и подумал, делать ничего не стал.

Но в джуике недавно проводился опрос на тему Чему бы вы хотели научиться в ближайшее время? или что-то вроде. Тут я и вспомнил.

Ещё к мотивации добаилась необходимость в последнее время писать много писем с кучей букв.

Вот как-то так я и собрался наконец научиться.

Поставил себе программку для тренировки ktouch (это клавиатурный тренажёр для KDE4).

Я уже писал про раскладку "машинопись" для ktouch.

За два или три вечера удалось запомнить где какие кнопки находятся и приучить себя нажимать на них нужными пальцами и не глядя.

Проблемы доставляют буквы в верхнем регистре и особенно знаки препинания.

Когда упражнения в ktouch закончились, и стало скучно. В то же время качество и скорость набора оставляли желать.

Вот тут я и вспомнил про typeracer.ru. Сейчас этот сайт называется клавогонки и находится по адресу klavogonki.ru и решил что это будет правильным продолжением обучения.

Суть простая: на сайте даётся текст для набора отрывок из какого-либо произведения. Процесс набора визуализируется машинкой едущей от старта к финишу в процессе набора. Интереса добавляет и тот факт, что параллельно этот же текст набирают другие люди и их машинки тоже отображаются. Приятно видеть, что ты набираешь быстрее других.

Если зарегистрироваться, то в профиле можно будет смотреть статистику по скорости набора. Эти много букв как раз ради статистика и затевались.

В этой статистике сохранены данные о моей скорости, когда я печатал глядя на клавиатуру. А теперь появились и новые данные о скорости набора слепым методом.

Как я сказал в начале поста старая скорость: максимум 251, а средняя 230.

Чуда не произошло. Сейчас максимум 211, а средняя 177.

Но тут есть две тонкости.

1. Ранше я набирал на обычной клавиатуре, а теперь на маленькой нетбучной. Тест на большой клавиатуре выявил среднюю скорость 195 символов в минуту, а рекорд 230.


2. Скорость набора растёт.

Какова цель? Набирать с такой скоростью, чтобы это занимало меньше времени, чем я придумываю что написать.

Так вот в свежеустановленном дебиане эти функции не работали.

Оно и понятно, я ведь их не настраивал.

Прочитав несколько форумов, в том числе и на kde.org, и перепробовав пакеты hibernate и uswsusp я ничего не добился.

Хотя нет, всё же добился. После установки этих пакетов я уже мог засыпать ноут из консоли, но замечательные кнопочки в меню kde не работали.

В поисках правды я добрался до файла /usr/lib/hal/scripts/linux/hal-system-power-hibernate-linux

В конце файла я обнаружил комментарий: #We only support pm-utils

Оказалось что в дебиане есть пакет с таким названием. После установки пакета кнопки засыпания в меню заработали.

Вот собственно и всё. Продолжаю наслаждаться и отдыхать.

Как я ранее рассказывал, есть у меня дома сервер, который качает/раздаёт торренты.



Вот к нему я и подключил МФУ.



В-общем, воспользовавшись статьёй, ссылку на которую я привёл выше, я расшарил сканер,



заодно выяснив, что теперь saned поддерживает samsung scx-4220 из коробки.



Правда перед этим я потратил много времени в попытках выяснить куда пропали драйвера для linux с сайта samsung.

Для принтера также имеется поддержка в виде пакета splix.



После установки данного пакета в веб-интерфейсе cupsd появилась возможность выбрать нужный принтер. Модели 4220 там нет, подойдёт 4200.



Кроме всего прочего надо прописать в /etc/cups/cupsd.conf ip-адреса или подсеть компьютеров для которых разрешена печать.

В директиве Listen вместо 127.0.0.1 надо вписать адрес, который присвоен серверу в локальной сети(например 192.168.0.2),



а в секции



вписать разрешающие правила для клиентов. делается это также как и для веб-сервера apache.



Например,



Allow from 192.168.0.4



или



Allow from 192.168.0.0/24



Это на сервере.

На клиентских компьютерах достаточно поставить пакет cups-client.



Далее прописываем в /etc/cups/client.conf строчку



ServerName ip_сервера



В примере выше ip_сервера это 192.168.0.2



После этого набираем



sudo cupsenable



и наслаждаемся печатью.

Оригинал можно почитать на http://akademic.name

В-общем, собственно установка проблем не вызывает. Всё как всегда. Но вот видео это проблема. GMA 500 всё так же не имеет нормальных дров для линукс. Да и виндузятники сетуют.



Пару недель назад нашёл я руководство для сборки полного комплекта модулей для GMA500 для Debian sid.



Вот и ссылочка на него:



http://blogs.koolwal.net/2009/11/05/howto-compiling-intel-atom-poulsbo-gma-500-graphics-driver-on-debian/

Автор руководства даже собрал пакеты для debian. Отличная новость. Удобнее всего воспользоваться ими. Но вот только ядра для которого собран модуль уже нет в репозитории, да и модуль для xorg также требует отсутствующий пакет.

Все эти проблемы я успешно решил. Сейчас расскажу как.

Модуль для ядра придётся собрать самостоятельно.

Ставим linux-headers для текущего ядра. В моём случае это ядро 2.6.32.



Скачиваем исходники модуля ядра как описано в руководстве по ссылке, либо другим способом.



Распаковываем и вводим в директории, куда распаковали команду:

make DRM_MODULES= psb

Должна начаться сборка. Может повезти как автору англоязычного руководства. А может не повезти как мне.

При компиляции вылезут ошибки.



Первая из них что-то про struct agp_memory.



В этом случае надо открыть файл /usr/src/linux-headers-2.6.32 2-common/include/linux/agp_backend.h (он из пакета linux-headers-common).



В-общем, находим в этом файле struct agp_memory и добавляем в эту структуру строчку

unsigned long *memory;

Теперь компиляция продвинется дальше, но снова возможно вылезут ошибки.



Ошибки и решения я нашёл здесь:



http://ubuntuforums.org/showthread.php?t=1330751

В выводе первой ошибки есть ключевое слово phys_to_gart



Для её исправления надо открыть файл drm_agpsupport.c (он находятся в исходниках модуля ядра, который мы пытаемся собрать)



Проблемная строчка mem->pages[mem->page_count++] = phys_to_gart(page_to_phys(*cur_page)); это где-то в районе 527 строки.



Надо подняться выше к началу функции (где-то строка 509) и добавить строчку

#define phys_to_gart(x) (x)

Вторая ошибка в файле drm_edid.c в строке

printk(KERN_ERR PREFIX Invalid _DDC data\n );

PREFIX нигде не определён, поэтому надо его определить.



Можно прямо перед проблемной строкой добавить

#define PREFIX PSB(edid)

Это решит проблему.

После этих манипуляций модуль ядра у меня собрался.

Делаем make install



Потом modpobe psb

Консоль стала в нативном разрешении. Далее вопрос с модулем для xorg.



Собираться у меня модуль отказался, поэтому пришлось искать подходящий xorg.



Нашёл я его в убунте.

Добавляем репозиторий убунты deb http://ru.archive.ubuntu.com/ubuntu/ karmic main



и ставим оттуда xserver-xorg 1:7.4+3ubuntu7 и xserver-xorg-core 2:1.6.4 2ubuntu4 и соответственно нужные модули xserver-xorg-input-{kbd,mouse,synaptics}

После чего ставим все пакеты из англоязычного руководства, кроме модуля ядра.



Настраиваем xorg.conf как написано там же и наслаждаемся работающей графикой.

На всякий случай выкладываю все пакеты здесь.

libdrm-poulsbo-dev_2.3.0 1squeeze1_i386.deb



libdrm-poulsbo1-dbg_2.3.0 1squeeze1_i386.deb



libdrm-poulsbo1_2.3.0 1squeeze1_i386.deb



libva-dev_0.29 1squeeze1_i386.deb



libva1_0.29 1squeeze1_i386.deb



poulsbo-driver-2d_1.1 1squeeze1_all.deb



poulsbo-driver-3d_1.1 1squeeze1_all.deb



psb-firmware_0.30 1squeeze1_all.deb



psb-kernel-headers_4.41.1 1squeeze1_all.deb



psb-kernel-source_4.41.1 1squeeze1_all.deb



xpsb-glx_0.18 1squeeze1_i386.deb



xserver-xorg-video-psb_0.31.0 1squeeze1_i386.deb

Заодно и дебы xorg а, а то исчезнут опять, замучаешься искать:



xserver-xorg-core_2:1.6.4 2ubuntu4_i386.deb



xserver-xorg_1:7.4+3ubuntu7_i386.deb

P.S. Статью эту заствил себя написать уже через две недели после того как всё это проделал. Так что мог что-то пропустить. В любом случае у вас уже больше информации, чем у меня, когда я начал.

Оригинал можно почитать на http://akademic.name

Но не беда. В ktouch есть встроенный редактор раскладок. Так что я сделал нужную раскладку.

Вот так она выглядит:



Полный размер

Собственно, в этом посте я её и выкладываю.

Скачать раскладку Russian Typewriter для ktouch

Положить её надо в /usr/share/kde4/apps/ktouch/

После этого она будет доступна в настройках.

В этот раз я расскажу как эти данные принять и вывести.

Возвращаясь к первой части.

В силу того, что один из моих серверов имеет динамический ip-адрес, пришлось изменить программу-нотификатор так, чтобы она посылала ещё и hostname, т.к. он уникален среди моих машин и в то же время не зависит от ip.

Теперь она выглядит так:

#!/usr/bin/python
 import os,sys
 import urllib
 filename = sys.argv[1]
 stats = open(filename).read()
 dir = os.path.dirname(filename)
 config = open(dir+'/client.cfg')
 for line in config:
     if line[:9] == 'machineid':
         mid = line[-2]
 data = [('mid', mid), ('stats', stats), ('hostname', os.uname()[1])]
 urllib.urlopen( 'http://мой.сайт/принимающий/данные/', urllib.urlencode( data ) )
 

Вернёмся к нашим баранам принимающему серверу.

Поскольку сейчас мне интересен python и django, то писать буду соответственно на них. Предполагаю, что туториал уже пройден.

Начнём.

Создадим приложение.

./manage.py startapp folding

vim folding/views.py

Здесь мы напишем также и функцию для отображения статистики, поэтому указываю сразу все импорты. Ценной же частью является функция collect

from datetime import datetime
 from django.core.cache import cache
 from django.http import HttpResponse
 from django.template import RequestContext, loader
 from django.contrib.auth.decorators import login_required
 

def collect(request):
     data = cache.get('folding')
     if data == None:
         data = {}
     mid = request.POST['mid']
     stats = request.POST['stats']
     host = request.POST['hostname']
     name_start = stats.find('Name:') + 6
     name_end = stats.find('Tag:') - 1
     title = stats[name_start:name_end]
     pr_start = stats.rfind('Progress:') + 10
     pr_end = stats.find( '%', pr_start )
     progress = int( stats[pr_start:pr_end] )
     now = datetime.now()
     if data.has_key( host ) != True:
         data[host] = { 'host': host, 'mids': { mid: {'title': title, 'progress': progress, 'last_update': now } } }
     else:
         next_update = 0
         if data[host]['mids'].has_key(mid) == True:
             diff = now - data[host]['mids'][mid]['last_update']
             if diff.seconds > 0:
                 next_update = diff + now
             else:
                 next_update = data[host]['mids'][mid]['next_update']
         data[host]['mids'][mid] = {'title': title, 'progress': progress, 'last_update': now, 'next_update': next_update }
     cache.set('folding', data, 5400)
     return HttpResponse()
 

В принципе тут всё просто. Но есть интересная особенность. Здесь я использую прямой доступ к кешу для хранения статистики. Имеется ввиду именно кеш в памяти. Т.к. статистика очень быстро теряет актуальность, а вести её историю я в планах не имею, то это очень интересный метод. Не надо моделей, не надо таблиц в БД, не надо файлов, можно просто хранить эти данные в памяти, благо их совсем чуть.

Это весьма приятный бонус django по сравнению с любым php сайтом. Поскольку сайт работает демоном, то он может хранить данные между запросами.

Тут хорошо бы переписать на конкретный класс для работы с кешом в памяти, но я пока не разобрался как, так что ограничился пока установкой

CACHE_BACKEND = locmem://

в settings.py

Дабы закончить со сбором статистики напишем folding/urls.py

from django.conf.urls.defaults import *
 import views
 urlpatterns = patterns('',
                 url(r'^collect/', views.collect),
                 url(r'^status/', views.display),
             )
 

и включим его в глобальный urls.py

(r ^folding/ , include( folding.urls )),

И вот уже можно собирать статистику.

Теперь вывод. В тот же folding/views.py добавим функцию display

@login_required
 def display(request):
     data = cache.get('folding')
     if data != None:
         tdata = []
         for k in data:
             mids = data[k]['mids']
             tmids = []
             for km in mids:
                 mids[km]['mid'] = km
                 tmids.append(mids[km])
             data[k]['mids'] = tmids
             tdata.append(data[k])
         t = loader.get_template('folding/status.htm')
         c = RequestContext(request, { 'data': tdata })
         return HttpResponse( t.render(c) )
     return HttpResponse( 'No data' )
 

Соответственно нужен шаблон для вывода. Вот и он:

 {% for host in data %}
     

         Host: {{host.host}}
         

         {% for mid in host.mids %}
             
MachineID: {{mid.mid}}, WU Name: {{mid.title}}
 Progress: {{mid.progress}}% Last update: {{ mid.last_update|date:"Y-m-d H:i:s" }} Next update: {{ mid.next_update|date:"Y-m-d H:i:s" }}

         {% endfor %}
         

     

 {% endfor %}
 

 

По-спартански, зато работает.

Шаблон у меня лежит в folding/templates/folding/status.htm

Для того чтобы это работало, необходимо добавить приложение folding в settings.py в INSTALLED_APPS.

Итак теперь по адресу сайт/folding/collect/ собирается статистика, а по адресу сайт/folding/display/ она отображается, причём только зарегистрированному пользователю. На моём сайте это только я.

Для целей мониторинга этого вполне достаточно, но я решил сделать ещё одну полезную штуку. А именно попрактиковаться в написании шаблонных тегов.

Приведённый далее код экстраполирует полученные результаты с целью показать ближайшее время окончания расчёта задания.

from django import template
 from django.core.cache import cache
 from datetime import datetime
 pre.
 register = template.Library()
 pre.
 @register.inclusion_tag('folding/closiest_wu.htm')
 def folding_closiest_wu():
     data = cache.get('folding')
     if data == None:
         return {
             'data': False
         }
     min_time = False
     mid_to_show = False
     for host in data:
         for mid in data[host]['mids']:
             lmid = data[host]['mids'][mid]
             if lmid.has_key( 'next_update' ) == True and lmid['next_update'] != 0 and lmid['next_update'] > datetime.now():
                 prog = lmid['progress']
                 speed = lmid['next_update'] - lmid['last_update']
                 time_rest = ( 100 - prog ) * speed
                 if min_time == False or ( time_rest.seconds > 0 and time_rest < min_time ):
                     min_time = time_rest
                     mid_to_show = lmid
     if mid_to_show != False:
         mid_to_show['end'] = mid_to_show['last_update'] + min_time
         return {
             'data': mid_to_show
         }
     else:
         return {
             'data': False
         }
 

Тег этот находится в файле folding/templatetags/tag_folding.py

Подключить его в шаблоне можно при помощи конструкции

{% load tag_folding }{ folding_closiest_wu %}

Результат можно видеть на главной странице моего блога http://akademic.name/ сразу после последнего поста из juick.

Сегодня я считаю уже на трёх машинах, что в сумме даёт 6 процессов расчёта.

В связи с этим захотелось мониторить их состояние где-нибудь в одном месте.

Например у себя на сайте.

В этом и следующем посте я изложу как это можно сделать.

Собственно процесс можно разделить на две части:

1. Отправка состояния на сервер это на считающих машинах


2. Приём данных и вывод состояния систем это на сайте

Начнём с первого.

Можно было бы воспользоваться встроенным в клиенты Folding@Home веб-сервером (я полагаю, что он там есть, раз есть соответствующая настройка в client.cfg). Но в этом случае пришлось бы писать опросчик, который с заданным интервалом заходил бы на клиенты и считывал данные. Получится что 90% времени мы будем получать данные, которые у нас уже есть, потому как с прошлого опроса они не изменились. Правильно подобранный интервал опроса лишь снизит паразитный трафик.

Было бы здорово получать данные только если они изменились и сразу как только они изменились. Необходимо чтобы клиентские машины при изменении состояния оповещали об этом событии сервер. Так и не будет впустую гоняться трафик по сети и результаты буду доступны немедленно.

Как это реализовать технически?

Клиенты Folding@Home сохраняют своё состояние в файле unitinfo.txt.

А раз мы в линуксе и состояние это файл, то мы можем воспользоваться замечательным способом подписки на события файла inotify.

Первое что нам понадобится это пакет incron:

sudo apt-get install incron

incron это cron-подобный сервис мониторинга файлов, запускает заданный скрипт при возникновении заданного события у файла.

После инсталляции incron, необходимо добавить пользователя, от имени которого будем запускать скрипт в файл /etc/incron.allow

Просто вписываем туда имя пользователя.

Затем добавляем задания для отслеживания:

incrontab -e

Туда вписываем строчки:

/путь/к/файлу/unitinfo.txt IN_CLOSE_WRITE /путь/к/обработчику/события $@
 

Здесь IN_CLOSE_WRITE событие, на которое мы подписались

$@ это имя файла, с которым произошло событие. Передаётся параметром запускаемому скрипту.

Полдела сделано. Теперь пора написать, собственно, обработчик события. Вернее, я то его уже написал на python. Просто приведу код:

#!/usr/bin/python
 import os,sys
 import urllib
 filename = sys.argv[1]
 stats = open(filename).read()
 dir = os.path.dirname(filename)
 config = open(dir+'/client.cfg')
 for line in config:
     if line[:9] == 'machineid':
         mid = line[-2]
 data = [('mid', mid), ('stats', stats)]
 urllib.urlopen( 'http://мой.сайт/принимающий/данные/', urllib.urlencode( data ) )
 

Скрипт посылает на сервер целиком файл unitinfo.txt и machineid, взятый из файла client.cfg

Осталось реализовать принимающую часть. Её буду делать в виде приложения для django. Это в следующей статье.

Сейчас на сервере запущен расчёт на CPU: две штуки, расчёт на GPU: одна штука.

Кроме этого сервер скачивает и раздаёт торренты через rtorrent на максимальной скорости соединения и можно смотреть 2 фильма по NFS. Всё без тормозов.

Под катом инструкция, как настроить обсчёт заданий на GPU. Поехали.

К сожалению клиента для расчёта на видеокарте под linux нет, есть только для windows. Поэтому придётся задействовать wine.

Делал по статье NVIDIA GPU2 Linux/WINE Headless Install Guide() с поправкой на то, что у меня debian x32.

Начну с пятого пункта статьи, т.к. установленный debian уже есть.

Необходимо поставить wine.

Можно как в статье

sudo apt-get install wine

Мне не понравилось, что с wine автоматически ставится куча мусора вроде поддержки печати, сканера и т.п.

Поэтому ставим wine-bin и libwine-gl:

sudo apt-get install wine-bin libwine-gl

Далее качаем драйвера для видеокарты и cuda с сайта nvidia.

Можно взять последние стабильные и думаю, что скоро это будет наиболее правильный путь. Но пока у меня с ними не заработало. Пришлось качать CUDA Toolkit 3.0 Beta.

На всякий случай вот прямые ссылки на скачивание:

Видеодрайвер Linux 32 195.17

CUDA Toolkit for Ubuntu 9.04 32-bit

Для компиляции драйверов необходимо поставить пакеты kernel-headers и build-essential.

sudo apt-get install build-essential linux-headers-`uname -r`

Затем ставим собственно драйвера:

sudo sh cudadriver_3.0-beta1_linux_32_195.17-beta.run

sudo sh cudatoolkit_3.0-beta1_linux_32_ubuntu9.04.run

Надеюсь этот этап пройдёт без запинки. У меня здесь вечно проблемы. То версия gcc не та, то в kernel-headers файлика не хватает. То симлинки где-нибудь прописать придётся.

Создаём ссылки на библиотеки cuda:

sudo sh -c echo /usr/local/cuda/lib > /etc/ld.so.conf.d/cuda.conf

sudo ldconfig

Инициализируем wine:

wine notepad

Создастся каталог ~/.wine

Скачиваем обёртку для работы libcuda в wine:

wget http://www.gpu2.twomurs.com/wrapper2ndgen/2.1/cudart.dll.so -O ~/.wine/drive_c/windows/system32/cudart.dll

ln -s ~/.wine/drive_c/windows/system32/cudart.dll ~/.wine/drive_c/windows/system32/nvcuda.dll

Проверяем, что все нужные зависимости у нас есть:

ldd ~/.wine/drive_c/windows/system32/cudart.dll

Вывод будет похож на такой:

linux-gate.so.1 => (0xb78c3000)

libcudart.so.2 => /usr/local/cuda/lib/libcudart.so.2 (0xb7866000)

libwine.so.1 => /usr/lib/libwine.so.1 (0xb772a000)

libm.so.6 => /lib/libm.so.6 (0xb7703000)

libc.so.6 => /lib/libc.so.6 (0xb75bc000)

libdl.so.2 => /lib/libdl.so.2 (0xb75b8000)

libpthread.so.0 => /lib/libpthread.so.0 (0xb75a0000)

librt.so.1 => /lib/librt.so.1 (0xb7597000)

libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0xb74a6000)

libgcc_s.so.1 => /lib/libgcc_s.so.1 (0xb7488000)

/lib/ld-linux.so.2 (0xb78c4000)

Если рядом с какой-нибудь библиотекой будет стоять not found , значить либо какой-то из шагов пропущен, либо поможет следующий экспорт:

export LD_LIBRARY_PATH=/usr/local/cuda/lib:$LD_LIBRARY_PATH

Не помню где я это взял, но мне помог именно он.

Теперь надо создать скрипт для инициализации CUDA без запуска X-сервера:

nano -w cudaini

Вот сам скрипт:

#!/bin/bash

PATH=$PATH:/usr/local/cuda/bin

modprobe nvidia

if [ $? -eq 0 ]; then

# Count the number of NVIDIA controllers found.

N3D=`/usr/bin/lspci | grep -i NVIDIA | grep 3D controller | wc -l`

NVGA=`/usr/bin/lspci | grep -i NVIDIA | grep VGA compatible controller | wc -l`

N=`expr $N3D + $NVGA 1`

for i in `seq 0 $N`; do

mknod -m 666 /dev/nvidia$i c 195 $i;

done

mknod -m 666 /dev/nvidiactl c 195 255

else

exit 1

fi

Даём скрипту права на исполнение:

chmod u+x cudainit

И запускаем:

sudo ./cudainit

Проверяем, что всё хорошо:

ls /dev/nv*

Должно вывестись следующее(для одной видеокарты):

/dev/nvidia0 /dev/nvidiactl

Можно вставить запуск cudainit в /etc/rc.local для автостарта при перезагрузке.

Пора, наконец, скачать клиент для windows:

wget Folding@home-Win32-GPU_XP-623.zip">http://www.stanford.edu/group/pandegroup/folding/release/Folding@home-Win32-GPU_XP-623.zip

И распаковать его

sudo apt-get install unzip

mkdir ~/fahgpu2

unzip Folding@home-Win32-GPU_XP-623.zip -d fahgpu2

И вот он момент истины! Запускаем!

cd ~/fahgpu2

nice wine Folding@home-Win32-GPU.exe -verbosity 9 -forcegpu nvidia_g80

Должен побежать текст по экрану.

Вывод программы останавливается и если не видно ошибок в последних строках типа

Folding@home Core Shutdown: UNSTABLE_MACHINE

то скорее всего всё хорошо.

Можно подождать минут 10 20 появится вывод

Completed 1%

Completed 2%

На GeForce 9400 один процент делается минут за 7 8 в среднем.

Итог мучений

На Atom N330 на одном ядре на 1% выполнения задания затрачивается около часа времени, на GeForce 9400 чуть менее восьми минут.

При использовании расчёта на видеокарте нагрузка на процессор не превышает 15% (htop показывает 4 процессора = 2 ядра * HyperThreading, нагрузка только на один).

Почитав руководство удачно запустил на двух машинах. Одна из них Celeron 1800MHz с 256Mb оперативки, вторая Acer Revo 3610.

За трое суток оба сосчитали по одному заданию из центра . Celeron был быстрее, чем одно ядро Atom 330.

Есть мысль добавить к мощностям расчёта видеокарту с сервера. Всё равно у него она не используется. А ведь это GeForce 9400, должен шустро считать.

Любую, даже самую пустяковую проблему он пытается решить путём вопроса ко мне.

Но стоит мне уйти, скажем, на обед, человек через некоторое время понимает, что пишет в пустоту, что никто за него не решит задачку и, наконец, включает мозг.

Было дело. Человек за ночь накидал мне в аську кучу вопросов(экрана два), а когда я утром пришёл, прочитал их все и спросил остались ли проблемы? , выяснилось, что он со всеми проблемами справился.

Это ещё неплохой вариант.

Бывает, что человек ничего не делает, а просто ждёт. В этом случае нужен магический пендель, но не от меня, а от кого-нибудь, кто заинтересован в результате, но подсказать в силу другой квалификации ничего не может. И когда третей стороны нет, то либо работа стоит, либо исполнитель может работать только мод мою диктовку.

Алгоритм должен быть примерно такой:

1. Возникла проблема

2. Подумать

3. Погуглить

4. Ещё погуглить

5. И ещё погуглить

6. Ну вот теперь уже, наверное, можно к кому-нибудь обратиться с вопросом(как правило вопрос становится уже другого рода)

Большинство вопросов отпадают ещё на 2м пункте, остальные до 5го. Те, что остаются к шестому, чёрт, да я и сам в 50% случаев не знаю на них ответа.

Кроме того, научился делать custom template tags

Как я понял, это единственный адекватный способ выводить прочие динамические блоки на страницу.

Потихоньку изучаю, набиваю шишки.

В качестве приёмника логов указал в админке роутера свой сервер.

А на сервере в файле /etc/rsyslog.conf раскомментировал строчки

 
 $ModLoad imudp
 $UDPServerRun 514
 
 

А чтобы лог писался в отдельный файл ещё добавил вот такие строки:

 
 $template DynaFile,"/var/log/system-%FROMHOST%.log"
 *.* -?DynaFile
 
 

Осталось только подождать пока соберётся статистика и тогда уже думать, как её обрабатывать.