No včeraj sem na koncu šel spat namesto programirat 
. Danes pa sem skupaj spravil omenjeno zadevo, ki leti bolj kot sem mislil da bo … .
Torej preko 350 delujočih proxyjev v 20 minutah (seveda preverjeni v zadnjih 20 minutah), zdaj še samo Cron nastavim pa pridem čez kako urco pogledati 
.
Skratka dela 
.
Zadnje dneve sem pisal dosti botke in submiterje. Več ali manj je vse v PHP in s cURLom, seveda pa to pomeni, da bo v statistikah in logih viden IP strežnika, kar pa ni najbolj zaželeno pa tudi praktično ni … mi lahko kar na FW banajo vse skupaj 
.
No zato potrebujem še proxyje na tone proxyev, trenutno imam bazo z 50000 zapisi, ki pa mi ne pomaga kaj dosti, ker free proxyiji delujejo na obroke, torej malo crkne, malo dela … skratka zelo fajn zadeva.
Pa smo pri čekiranju proxyjev, ki sem ga prav tako spisal v PHP s cURLom in ga poganjam kar na cron, vsako minuto. Tu pa nastane drug problem, recimo da je timeout na 3 sekunde in da se lahko na strežniku skripta izvaja max. 90 sekund – to je 30 proxyev na minuto ? No zdaj jih preverjam 15 na minuto . Kar pomeni, da zelo zelo traja preden pridemo skozi vseh 50k zapisov, pa še potem že kak proxy sproti crkne.
In po 2 urah razmišljanja se nisem spomnil nič preveč pametnega, pa sem že bil namenjen nafilat cron … kar pa spet ni idealno. Recimo da bi rad preveril 750 proxyjev na minuto. Torej naj vsako minuto poganjam 50x cron na nek php file, kjer drkam po mysql. Potem pa vsak sam proces žere ram, mysql bo spet skočo gor za par mb … in uh. Skratka nebo šlo … 
No to je bilo z glavo v steno , zdaj pa skozi steno:
http://si.php.net/manual/en/function.curl-multi-init.php
Tako lahko lepo spravim vse v en file, kar pomeni samo en proces na minuto in manj šopanja MySqla , pa pač na enkrat pošlje 50 zahtevkov s cURLom pa čaka na odgovore. 50 * 15 = 750 … kar pomeni da v 100 minutah zadeva prečekira 75000 proxyev.
Super a? Zdaj pa gremo programirat to .