Переход на Linux - GreedyTorrent на Python

Дневник

Четверг, 03 Февраля 2011 г. 20:33 + в цитатник

За основу взял microproxy, добавил модификацию upload-а и поддержку цепочки прокси...

#!/usr/bin/env python 
# -*- coding: utf-8 -*-
 
"""
pyGreedTorrent
This code is based on code based on microproxy.py written by ubershmekel in 2006.
 
 
"""
 
PORT = 8080
UP_MULT = 5.53
DN_MULT = 0
 
ACTUAL_PROXY_HOST_PORT = ()
# Uncomment and modify line below to use chain proxy
#ACTUAL_PROXY_HOST_PORT = '127.0.0.1', 3128
 
import re, socket, threading 
 
reUP =  re.compile(r"(?<=\Wuploaded=)\d+", re.UNICODE )
reDOWN =  re.compile(r"(?<=\Wdownloaded=)\d+", re.UNICODE )
 
err403 = 'HTTP/1.0 403 Forbidden\r\n' \
    +'Server: nginx/0.7.65\r\n' \
    +'Date: Tue, 16 Nov 2010 14:20:07 GMT\r\n' \
    +'Content-Type: text/html; charset=windows-1251\r\n' \
    +'Content-Length: 169\r\n' \
    +'Connection: close\r\n' \
    +'<html> <head><title>403 Forbidden</title></head>' \
    +'<body></body></html>' 
 
regex = re.compile(r'http://(.*?)/', re.IGNORECASE)
 
def cheat_url( s ):
    m = reUP.search( s )
    m2 = reDOWN.search( s )
    if m and m2 :
        up = int( round( UP_MULT * int( m.group() ) ) )
        down = int( round( DN_MULT * int( m2.group() ) ) )
        return s[:m.start()] + str(up + down) + s[m.end():]
    else:
        return s
    
 
class ConnectionThread(threading.Thread): 
    def __init__(self, (conn,addr)): 
        self.conn = conn 
        self.addr = addr 
        threading.Thread.__init__(self) 
    
    def run(self): 
 
        data = self.conn.recv(1024*1024)
        #print data
        #print 11
 
        host = regex.search(data).groups()[0]
 
        data = cheat_url( data )
        
        request = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
        #request.settimeout(6)
        
        if ACTUAL_PROXY_HOST_PORT:
            host = ACTUAL_PROXY_HOST_PORT
        else:
            i = host.find(':')
            if i >= 0:
                host = host[:i], int(host[i+1:])
            else:
                host = host, 80
        try:        
            request.connect( host )
                
            request.send( data ) 
     
            reply = '' 
     
            while 1: 
                temp = request.recv(1024) 
     
                if ('' == temp): 
                    break 
                    
                self.conn.send(temp)
        except:
            self.conn.send( err403 )
        self.conn.close() 
 
class ProxyThread(threading.Thread): 
    def __init__(self, port): 
        self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
        self.sock.bind(('localhost', port)) 
        threading.Thread.__init__(self) 
    
    def run(self): 
        self.sock.listen(10) 
        while 1: 
            temp = ConnectionThread(self.sock.accept()) 
            temp.daemon = True 
            temp.start() 
 
if __name__ == "__main__": 
    proxy = ProxyThread(PORT) 
    #proxy.daemon = True 
    #proxy.start() 
    print "Started a proxy on port", PORT
    proxy.run()
    
 

Рубрики:

девелопмент
всячина

Комментарии (1)

Переход на Linux - скрипт для каталогизации видео

Дневник

Четверг, 03 Февраля 2011 г. 05:09 + в цитатник

Переписал таки на Python...

#!/usr/bin/env python
#encoding: UTF-8
 
## [CONFIG] ############################################
duplicateFilePath = u"/home/dimzon/!test/duplicates.txt"
locationFileName = u"ku-ku.txt"
folderPathAll = u"/home/dimzon/!test/all"
folderPathByFirstLetter = u"/home/dimzon/!test/by_letter"
folderPathByYear = u"/home/dimzon/!test/by_year"
sourceFolders = [\
    u"/home/dimzon/!test/drives/1", \
    u"/home/dimzon/!test/drives/2", \
    u"/home/dimzon/!test/drives/3" ]
## [/CONFIG] ###########################################
 
 
import os,re
 
def get_first_letter( fileName ):
    ltr = fileName[0].upper()
    if "0123456789.,!@#$_()[]{}-".count(ltr):
        return "(0-9)"
    return ltr
 
reYear = re.compile(r"(?<=\D)(?:19|20)\d{2}(?=\D)", re.UNICODE )
 
def get_years(fileName):
    return reYear.findall( fileName )
    
 
def clean_symlinks( folderPath ):
    for i in os.listdir( folderPath ):
        j = os.path.join( folderPath, i )
        if os.path.islink( j ):
            os.unlink( j )
        elif os.path.isdir( j ):
            clean_symlinks( j )
            if len( os.listdir( j ) ) == 0 :
                print 11
                os.rmdir( j )
            
print 'Processing...'
 
clean_symlinks( folderPathAll )
clean_symlinks( folderPathByFirstLetter )
clean_symlinks( folderPathByYear )
 
knownFilms = {}
for f in sourceFolders:
    print f
    for i in os.listdir( f ):
        j = os.path.join( f, i )
        if os.path.isdir( j ):
            with open( os.path.join( j, locationFileName ) , 'w' ) as loc:
                loc.write( j.encode('utf-8') )
            key = i.upper( )
            if key in knownFilms :
                knownFilms[key][1].append( j )
            else:
                knownFilms[key]=( i.strip() , [ j ] )
 
with open( duplicateFilePath , 'w' ) as loc:
    for i in knownFilms.values():
        if len(i[1]) != 1 :
            loc.write( ('### ' + i[0] + '\n\r').encode('utf-8') )
            for j in i[1] :
                loc.write( (j + '\n\r').encode('utf-8') )
            loc.write( '\n\r\n\r' )
 
for i in knownFilms.values():
    os.symlink( i[1][0] , os.path.join( folderPathAll , i[0] ) )
    f = os.path.join( folderPathByFirstLetter , get_first_letter( i[0] ) )
    if not os.path.exists( f ) :
        os.mkdir( f )
    os.symlink( i[1][0] , os.path.join( f , i[0] ) )
    dt = get_years( i[0] )
    for y in dt :
        f = os.path.join( folderPathByYear , y )
        if not os.path.exists( f ) :
            os.mkdir( f )
        os.symlink( i[1][0] , os.path.join( f , i[0] ) )
 
print 'Done!'

Рубрики:

жисть
девелопмент
всячина

Комментарии (0)

Переход на Linux - структура каталога /nas

Дневник

Среда, 02 Февраля 2011 г. 21:08 + в цитатник

/nas/01_Incoming
Сюда автоматом переносятся торренты по завершении загрузки (отсюда-же они продолжают раздаваться)

/nas/01_Incoming/00_to_Sort
Сюда вручную переночу постопанные торренты (которые больше не раздаю). После чего скриптом оборачиваю отдельные avi-шнички в папочки. Далее в ручном режиме переименовываю папочки (даю осмысленные русские имена). После того как переименовал переношу в каталог /VIDEO на одном из винтов (где место есть).

/nas/02_Video/03_All
Символические ссылки на все папки с фильмами. Специальный скрипт находит папки /video/* на всех винтах и создаёт символические ссылки в /nas/02_Video/03_All

/nas/02_Video/01_ByLetter
Специальный скрипт находит папки /video/* на всех винтах, создаёт по первой букве из названия папочки подпапочку в /nas/02_Video/01_ByLetter, создает символическую ссылку

/nas/02_Video/02_ByYear
Аналогично предыдущему, только вместо первой буквы регулярным выражением выцепляется год создания

Собственно этот "волшебный скрипт" пока существует в виде программы для Windows7 (и вместо символических ссылок использует т.н. Junction Points). Кому надо - брать тут: http://dl.dropbox.com/u/2718637/jtool.zip
Для настройки открыть notepad-ом файл jtool.exe.config
Надеюсь в ближайшее время портировать его (скрипт) на питон. Заодно в планах научится читать теги (для папочки /nas/03_Audio/*

/nas/02_Video/02_Drives
здесь просто подмонтированы все HDD

Рубрики:

жисть
всячина

Комментарии (0)

Переход на Linux - настройки NFS, SAMBA, VSFTP

Дневник

Среда, 02 Февраля 2011 г. 12:51 + в цитатник

Поскольку сервер работает в рамка квартирной сети (за роутером/файрволом) то всем предоставляется полный доступ. Во внешний мир будут открыты только 2 порта - порт SSH и порт для uTorrent-а.

Шарится 1 папка /nas - остальное накидывается в нее через symlink-и

/etc/exports (NFS)

/nas           192.168.1.0/24(ro,no_subtree_check,insecure,all_squash)

/etc/samba/smb.conf (SAMBA)

[global]

        guest account = nobody

        map to guest = bad user



[nas]

        comment = Public Shares

        browsable = yes

        path = /nas

        public = yes

        writable = yes

        guest ok = yes

/etc/vsftpd.conf (VSFTP)

listen=YES

anonymous_enable=YES

anon_mkdir_write_enable=YES

anon_other_write_enable=YES

anon_upload_enable=YES

anon_umask=0000

no_anon_password=YES

local_enable=NO

dirmessage_enable=YES

write_enable=YES

anon_root=/nas

chown_uploads=YES

chown_username=me

log_ftp_protocol=YES

dual_log_enable=YES

Не заываем добавить вызов vsftpd в /etc/rc.local

vsftpd &

Рубрики:

жисть
девелопмент
всячина

Комментарии (0)

Переход на Linux - переписываем вспомогательные скрипты

Дневник

Пятница, 28 Января 2011 г. 21:12 + в цитатник

Перед тем как переустановить сервер надо подготовить набор скриптов на замену используемым. Первый скриптик - скриптик создания каталогов.
Задачка: просканировать каталог на наличие видеофайлов, для каждого файла создать подкаталог с аналогичным названием и перенести в него файл.

Текущая версия на VBScript:

option explicit
 
const DIR = "D:\TorrentDownload\00-to sort"
const EXT = "  \avi\mkv\mp4\flv\wmv\asf\mov\ts\"
 
dim oFSO: set oFSO=CreateObject("Scripting.FileSystemObject")
dim oTargetDIR: set oTargetDIR = oFSO.GetFolder( DIR )
dim oFile
dim sExt
dim sDirName
for each oFile in oTargetDIR.Files
	sExt = LCase(oFSO.GetExtensionName(oFile.Name))
	if InStr( EXT,  "\" &  sExt & "\") > 0 Then
		sDirName = DIR & "\" & trim(oFSO.GetBaseName(oFile.Name))
		If Not (oFSO.FolderExists( sDirName ) or oFSO.FileExists( sDirName )) Then
			oFSO.CreateFolder sDirName
			oFile.Move sDirName & "\" & oFile.Name
		End If
	end if
next
MsgBox "Done"

Теперь переписанная на Python:

#! /usr/bin/env python
 
import os, re
 
targetFolder = 'd:\!test' # CHANGE THIS!
 
 
ext = re.compile(r"^.+\.(?:avi|mov|mp4|mkv|wmv|asf|ts|m2ts|mpg|mpeg)$",re.IGNORECASE + re.UNICODE)
 
print 'Processing ' + targetFolder
 
for fileName in os.listdir(targetFolder):
    filePath =  os.path.join( targetFolder, fileName )
    if os.path.isfile( filePath ):
        if ext.match( fileName ):
            dirPath = os.path.join(targetFolder,(os.path.splitext(fileName)[0]).strip())
            if not os.path.exists( dirPath ):
                os.mkdir( dirPath )
                os.rename( filePath, os.path.join( dirPath, fileName ) )
 
print 'Done!'

Рубрики:

жисть
девелопмент
всячина

Комментарии (1)

Настройки Lubuntu 10.10 для NAS (в процессе)

Дневник

Четверг, 27 Января 2011 г. 21:43 + в цитатник

Собрал себе сервер для квартиры, подумываю установить на него Lubuntu вместо Win7 x64, пока тренируюсь на виртуальной машине...
В этом посте задокументирую процесс установки и настройки.

Что хочется в идеале:

Нужен telnet/ssh доступ для настройки "если что"
Нужен доступ к GUI в качестве "крайней решительной меры"
Нужен доступ к файлам хранилища по NAS/SMB/FTP
Нужна торрент-качалка с возможностью удалённого управления
Нужна возможность подчитерить с рейтингом в торренте
Нужен WEB-интерфейс для поиска (по имени) файла/папки из NAS

1) Доступ по NFS - настраивается штатными средствами
2) Торрент-клиент - либо трансмишн либо uTorrentServer либо uTorrent+WINE
3) Для накрутки аплоада хорошо-бы написать свой аналог GreedyTorrent-а (такой прооостенький http-прокси на питон)
4) telnet/ssh вроде умею настраивать, надо бы нормальный GUI-доступ придумать, XRDP завести не вышло
5) NTFS винты цепляются и работают, работают символические ссылки на NTFS.
6) Для каталогизации видео надо-бы написать утилитку на питоне, собирающую все в одном месте с помощью soft links

Рубрики:

жисть
девелопмент
всячина

Комментарии (2)

print2flash - печатаем из любого приложения - получаем Flash

Дневник

Четверг, 19 Ноября 2009 г. 04:57 + в цитатник

Сабж, ставится как виртуальный принтер. Для примера - моё резюме ;)

Рубрики:

всячина

Комментарии (0)

Кашперовский жжёт

Дневник

Суббота, 10 Октября 2009 г. 05:18 + в цитатник

Помнится было повальное увлечение этим пассажиром...

Рубрики:

юмор
всячина
видео

Комментарии (0)

Это жесть...

Дневник

Пятница, 02 Октября 2009 г. 03:42 + в цитатник

подробнее

Рубрики:

всячина
видео

Комментарии (0)

Развенчание мифа про лампочку

Дневник

Пятница, 02 Октября 2009 г. 04:44 + в цитатник

подробности

Рубрики:

всячина
видео

Комментарии (0)

SimpleBackup

Дневник

Четверг, 01 Октября 2009 г. 05:10 + в цитатник

Накомстрячил тут утилитку - добавляет пункт меню в проводнике, создаёт резервную копию файла...
тынц

Рубрики:

девелопмент
всячина

Комментарии (0)

Проверка сервиса mp32tube

Дневник

Вторник, 29 Сентября 2009 г. 19:26 + в цитатник

http://www.mp32tube.com/
Указываем картинку и MP3, получаем ролик на YouTube ;)

а если чуть поправить код плеера то получаем версию покомпактнее:

или даже так:

Рубрики:

всячина
видео

Комментарии (0)

9 - трейлер и предыстория

Дневник

Пятница, 11 Сентября 2009 г. 19:58 + в цитатник

Предыстория:
скачать PDF
почитать online

Трейлер:

Рубрики:

чтиво
постапокалипсис
всячина
видео

Комментарии (1)

Аудио-запись: Любимая мелодия...

Пятница, 28 Августа 2009 г. 19:43 + в цитатник

... из одной игры.

Рубрики:

всячина

Комментарии (0)

3D-календарик

Дневник

Среда, 26 Августа 2009 г. 20:14 + в цитатник

Вот такие забавные календарики можно сделать при помощи этого сайта.

Все очень просто - выбираем параметры календаря, скачиваем PDF-ку, распечатываем, режем и склеиваем ;)

Рубрики:

жисть
всячина

Комментарии (0)

Друзья, теперь вы можете читать и комментировать мои записи и на Я.ру

Дневник

Вторник, 25 Августа 2009 г. 04:04 + в цитатник

Друзья, теперь вы можете читать и комментировать мои записи и на Я.ру — dimzon541!

Рубрики:

всячина

Комментарии (0)

Тестирую аналоги YouTube для аудио...

Дневник

Четверг, 20 Августа 2009 г. 04:32 + в цитатник

Рубрики:

всячина

Комментарии (0)

Подключил OpenDNS

Дневник

Среда, 19 Августа 2009 г. 03:32 + в цитатник

Сегодня ночью у провайдера возник очередной дизастер с его DNS-серверами. Подключил OpenDNS...

Рубрики:

жисть
всячина

Комментарии (1)

А мож ну нафиг?

Дневник

Понедельник, 17 Августа 2009 г. 17:58 + в цитатник

В Алании 3-х комнатная квартира в доме у моря стоит 45000 евро. Продать свою подмосковную квартиру, купить 3 3-шки, в одной жить две сдавать... Если что можно ещё дополнительный приработок найти:
(375x500, 44Kb)