Czech National Team

Týmové fórum
Právě je ned 17 pro, 2017 07:27

Všechny časy jsou v UTC + 1 hodina




Odeslat nové téma Odpovědět na téma  [ Příspěvků: 18 ] 
Autor Zpráva
 Předmět příspěvku: BOINC na Linuxu
PříspěvekNapsal: ned 19 čer, 2011 07:48 
Offline Stats
10.5263157895 %
10.5263157895 %

Registrován: čtv 04 led, 2007 11:48
Příspěvky: 72
ID CNT statistik: 2687
Zdar,

mam linuxový stroj, ale přiznám se že v Linuxu docela plavu (začínám....). Stahl jsem Ubuntu distro, v repo byl BOINC klient, zaškrtnul jsem ho vše OK, nějaké výpočty běží.... (kromě MilkyWay, mam 4x XEON a 64bit distro....)

Jenže verze z repo je zastaralá (možná proto nejede milka??), stahnul jsem novou, rozbalil, přes příkaz sh run_client.sh spustim klienta, kterej za chvíli vyhodí chybku a je po počítání....

Takže moje otázečka je jednoduchá, potřeboval bych nějakého počtáře na Linuxovym stroji, kterej by mi vysvětlil krok po kroku co mam dělat a co nemam dělat.... 22sss 22sss

_________________
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 19 čer, 2011 10:41 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: čtv 29 bře, 2007 09:41
Příspěvky: 9418
Bydliště: Brušperk, 48 let
ID CNT statistik: 1
Předpokládám, že jsi tu původní verzi z repo neodinstaloval, takže teď se ti tam bijí 2 verze BOINC.
Koukni tady ať si v obraze.

Takže postup je pak jasný :
- nainstalovat BOINC z repozitáře
- vypnout počítání
- stáhnout verzi kterou chceš z berkeley
- rozbalit do adresáře BOINC
- pak všechny potřebné soubory z adresáře BOINC nakopírovat do umístění kam se instaluje boinc z repozitáře
- smazat adresář BOINC
- spustit z menu počítání

Tuším že někdo měl i nějaký jednodušší návod, já to dělám vždycky takto.
Pokud by jsi to chtěl podrobněji, nebo něčemu nerozumíš, tak se ozvi.

_________________
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 19 čer, 2011 20:10 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: pát 27 říj, 2006 09:19
Příspěvky: 16174
Bydliště: Újezd u Brna
Datum narození: 03 bře 1977
ID CNT statistik: 71
Jednoduchá instalace je tokováto:
- stáhni si ručně verzi klienta kterou chceš používat
- rozbal ji v místě, kde ji chceš mít v provozu
- do "aplikací po spuštění" přidej "run_client" z adresáře kde máš rozbaleného klienta

A to je vše. Výpočty se ti budou pouštět na pozadí hned po startu, když je budeš chtít ovládat pustíš si ručně klienta a když budeš chtít přejit na novou verzi, prostě ji jen rozbalíš a přehraješ základní soubory. Napřed musíš ale výpočty zastavit a ukončit boinc.

To že ti nejede Milka bych ale hledal spíše v ovladačích na grafiku.

_________________
Galerie CNT
Statistiky CNT od vklibera
Moje osobní statistika!
Kde a kdy jsem byl UoD
testovací balíček CNT 2017
tabulka výsledků testovacího balíčku CNT 2015


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 19 čer, 2011 20:29 
Offline Stats
10.5263157895 %
10.5263157895 %

Registrován: čtv 04 led, 2007 11:48
Příspěvky: 72
ID CNT statistik: 2687
dneska na tom celej pracuju, přišel jsem na to, proč mi nešlo Milky - staré jádro, takže celej den zkouším upgradovat kernel... teď snad nandám ubuntu 9.10, které bude mít novější kernel, zkusim ho taky upgradovat kam až to půjde a pak zkusim googlit ty optimalizace pro x86 na linuxu....

_________________
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: pon 20 čer, 2011 21:17 
Offline Stats
10.5263157895 %
10.5263157895 %

Registrován: čtv 04 led, 2007 11:48
Příspěvky: 72
ID CNT statistik: 2687
tak jsem dospěl k nějakému kompromisu a již něco jede...

verze BOINC 6.10.58
4x CPU Intel Xeon 3.0GHz
benchmark 826 MIPS Whetstone a 1928 MIPS Dhrystone

dle cat /proc/cpuinfo umi tyhle CPU spousta veci, nejzajimavejsi je asi SSE2

Počítám Milku (začalo to počítat bez chyb - jiná verze kernelu, stahuje si to jednotky kde jedna si vezme všechny 4 CPU :-) ) a Seti

Zkusil sem vygůglit nějaký optimalizace, ale připadá mi to, že ty články nejsou vůbec aktuální, je tu nějaký odborník na optimalizace pro Linux x64?

_________________
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: sob 25 čer, 2011 21:16 
Offline Stats
10.5263157895 %
10.5263157895 %

Registrován: čtv 04 led, 2007 11:48
Příspěvky: 72
ID CNT statistik: 2687
do seti nahrána optimalizace na linux 64b SSE2, na milku existuje taky optimalizace na SSE2, i pro linux, ale ne na 64bit.... hmm

ale co mě dostalo, že se snad dělali nějaký GeForce 9500GT do PCI slotu, což by na serverovém stroji, kde je to jediný slot, mohlo mít značný vliv na přísun jednotek... nemáte někdo tucha nebo neválí se to někomu doma? Na ebay.com sem toho moc nenašel.

_________________
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 26 čer, 2011 13:13 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: pát 27 říj, 2006 09:19
Příspěvky: 16174
Bydliště: Újezd u Brna
Datum narození: 03 bře 1977
ID CNT statistik: 71
Kdyby jsi to rozběhal,tak dej určitě zprávu o výkonu takového GPU počítání na stařičkém PCI slotu. To může být hodně zajímavá věc. Nedělají se i nyní nějaké použitelné karty na GPU výpočty do PCI?

_________________
Galerie CNT
Statistiky CNT od vklibera
Moje osobní statistika!
Kde a kdy jsem byl UoD
testovací balíček CNT 2017
tabulka výsledků testovacího balíčku CNT 2015


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 26 čer, 2011 22:30 
Offline Stats
10.5263157895 %
10.5263157895 %

Registrován: čtv 04 led, 2007 11:48
Příspěvky: 72
ID CNT statistik: 2687
hele co sem tak prošmejdil forka tak jediné co jde použít je GeForce řady 8 a vejš... a do starého PCI se dá sehnat na ebay.com od 8400GS do 9500GT. Já už sem tam jednu koupil, tak uvidim jesli jí vůbec na eServer 336 rozběhnu, pokud ne, našel jsem ještě jednu vychytávku a to reiser card z PCI-X na PCI-E a tam už by nějaká novější karta mohla vlézt. Jedinej problem bude ve velikosti (1U server) a napájení, což samozřejmě neni vůbec neřešitelný. Pak dodám fotky...

_________________
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: sob 30 bře, 2013 14:27 
Offline Stats
31.5789473684 %
31.5789473684 %
Uživatelský avatar

Registrován: sob 30 bře, 2013 14:16
Příspěvky: 357
Bydliště: Praha
Datum narození: 0- 0-1981
ID CNT statistik: 19867
Zdravím všechny příznivce linuxu a počítání v něm. Mám otázku - počítáte někdo s kombinací karet AMD/ATi a nVIDIA na jednom stroji, nebo se to z hlediska výkonu nehodí či se vůbec nesnesou? A v případě , že počítáte s kartami od jedné firmy (AMD) - máte zkušenosti jak v linuxu nastavit boinc, aby využíval těchto více karet a zároveň pokud možno jejich plný potenciál?

_________________
Vzhůru pro body na linuxu :-).


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 31 bře, 2013 09:18 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: čtv 29 bře, 2007 09:41
Příspěvky: 9418
Bydliště: Brušperk, 48 let
ID CNT statistik: 1
Ahoj a vítej na fóru 45nn .

Určitě tady je někdo kdo počítá na AMD/ATi a nVidia na jednom stroji a snad se ozve.

Pro začátek doporučuji již starší článek Distribuované výpočty na moderních grafických kartách, na konci článku je odkaz jak zapojit AMD/ATi, nVidii a jak je donutit, aby táhly za jeden provaz.

_________________
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: ned 31 bře, 2013 11:45 
Offline Stats
31.5789473684 %
31.5789473684 %
Uživatelský avatar

Registrován: sob 30 bře, 2013 14:16
Příspěvky: 357
Bydliště: Praha
Datum narození: 0- 0-1981
ID CNT statistik: 19867
Děkuji za rychlou odpověď 45uu . Sice jsem s boinc nováček, ale chci se rychle touto beta-fází prokousat. Počítat čím je jen počítat možné už jsem počítač naučil - ale počítat k tomu i efektivně, tj. využít skutečný potenciál HW mi svěřeného, to zatím ještě neumím. A rozdíly v bodech při stejné spotřebě a času mohou být výrazně..ehm...motivující :smt023

Edit: Tak GF8800GTS se moc neosvědčila - má jen 320 MB RAM, víc než jedna úloha se do ní nevejde a ještě ráda hlásí nedostatek paměti a následně chybu výpočtu, což je škoda... holt už je to letitá babička smrk :smt022

_________________
Vzhůru pro body na linuxu :-).


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: pon 01 dub, 2013 21:04 
Offline Stats
31.5789473684 %
31.5789473684 %
Uživatelský avatar

Registrován: sob 30 bře, 2013 14:16
Příspěvky: 357
Bydliště: Praha
Datum narození: 0- 0-1981
ID CNT statistik: 19867
Máte tu někdo fungující cc_config.xml pro linux na 2 AMD karty a byl(a) byste ochotný(á) jej sem nahrát (nebo jestli víte, že je tady, dát sem odkaz), abych si ho mohl projít a analyzovat? Ušetřilo by mi to trochu hledání na internetu a hlavně případnou nefunkční konfiguraci BOINC na PC, přičemž oprava může zabrat dost času, když to pořádně zbabrám 22sss .

_________________
Vzhůru pro body na linuxu :-).


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: stř 03 dub, 2013 17:58 
Offline
10.5263157895 %
10.5263157895 %

Registrován: pát 16 led, 2009 00:48
Příspěvky: 89
Na foru boinc.sk se o zprovozneni dvou karet zminoval kdysi Palo. Uz si nepamatuju esli mel obe ati, nvidie, nebo mix, zkus pohledat.
Urcite to ale rozjel na nejakem "starsim" ubuntu a musel si pohrat s xorg.conf - coz drive bylo normalni, dnes by uz to snad nebylo potreba.
Ono ale mit na linuxu ati je vetsinou spis za trest. S jejich driverama se muzou jit vycpat.

_________________
Boinc.cz : na srazech jen chlastaj. Trucujou. Lzou. Jsou pres 2 roky mrtvi.
Well, I am in !
:D


Naposledy upravil Shafa dne stř 03 dub, 2013 19:48, celkově upraveno 1

Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: stř 03 dub, 2013 19:01 
Offline Stats
78.9473684211 %
78.9473684211 %

Registrován: úte 13 led, 2009 15:33
Příspěvky: 6332
Datum narození: 0- 0-1956
ID CNT statistik: 10124
Já bych začal přidáním tagu
Kód:
<use_all_gpus>1</use_all_gpus>
do sekce options. Blíže třeba zde.

_________________
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 424x
Obrázek 2xObrázek 7xObrázek 9xObrázek Obrázek
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: pát 05 dub, 2013 22:05 
Offline Stats
31.5789473684 %
31.5789473684 %
Uživatelský avatar

Registrován: sob 30 bře, 2013 14:16
Příspěvky: 357
Bydliště: Praha
Datum narození: 0- 0-1981
ID CNT statistik: 19867
Děkuji za rady, už jsem to po menších porodních bolestech rozjel :-). Stačí si trochu pohrát s xorg.conf, zapojit 2 monitory naráz nebo vyrobit dummy plug, aby druhá karta byla aktivní, použít parametr use_all_gpus v cc_config.xml a pak, pak už stačí jen kouzelný příkaz pc@user$: DISPLAY=:0 ./boinc v daném adresáři, kde boinc sídlí a go go go. Protože jinak boinc sice vidí dvě karty, které jsou aktivní, ale na druhé patrně díky způsobu mapování paměti přes xorg server vidí 0MB využitelných a proto ji nepoužije. Parametr DISPLAY=:0 mu oznámí aby použil všechny dostupné xorg sessions, ne jen tu první, kde už běží karta číslo 1.
PS: Popisuji to tu jen +/- z pohledu BFU, nepátral jsem podrobněji a je možné že přísně technicky vzato to je řešené jinak, tak prosím nekamenovat 33aaa

Shafa: Drivery AMD karet na linux už nejsou taková hrůza jako před několika lety ATi, AMD mě teď třeba velmi mile překvapilo vydáním funkčních a bez potíží zbalíčkovacích driverů pro HD 7790 prakticky ihned při jeho vydání na trh. Ovladač navíc GPU dovede využít, proti 7770 je 7790 na první pohled početně výrazně rychlejší.
Dříve se čekalo taky třeba celý rok dva, než se jakási podpora daných karet vůbec objevila (Radeony sérií X000) a i pak se instalace ovladače rovnala provedení rituálu v černé magii s pentagramem, svíčkami a obětí nejméně 2 CPU od Intelu, zatímco u nvidie to byla rutinní funkční záležitost :smt023 . Do roku cca 2010 byla nvidia rozhodně lepší volbou co se pohodlnosti instalace týká a i dnes má stále podporu starých GPU na nová distra, zatímco AMD udělalo tlustou čáru za vším co je starší než 4XXX. Na druhou stranu se v současnosti AMD ovladače pěkně uživatelsky vytváří jako snadno přenositelné balíčky, není nutné vypínat xorg... Takže každý chvilku tahá pilku.

Karty AMD ale nabízí v OpenCL nejlepší poměr spotřeba/výkon na trhu (ještě před měsícem HD 7770, nyní je králem HD 7790), nvidia prostě má větší měrnou spotřebu. Použil jsem dvou relativně levných karet HD 7770, což mi umožnilo dosáhnout na výkon HD 7870 při ceně o zhruba 1000 Kč nižší a s o něco menší spotřebou proudu. Dvě GPU myslím také počítají 4 tasky einstein@home efektivněji než jen jedno GPU. A až tyto GPU budou na boinc hodně pomalé, dají se využít jako levné, nežravé 2D zobrazovadla do 2 PC :-).

_________________
Vzhůru pro body na linuxu :-).


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: úte 09 dub, 2013 19:30 
Offline Stats
31.5789473684 %
31.5789473684 %
Uživatelský avatar

Registrován: sob 30 bře, 2013 14:16
Příspěvky: 357
Bydliště: Praha
Datum narození: 0- 0-1981
ID CNT statistik: 19867
Přemýšlím nad jednou věcí a nenašel jsem tu správný chlíveček - je nějaká řekněme doporučená velikost RAM grafických karet, např. 1 GB, 2GB, nebo je to systém čím víc tím líp :?: Hádám že to poslední je nejlepší varianta, ale verze s mnoha GB RAM jsou samozřejmě výrazně dražší než 1 GB verze. Opakovaně se mi stalo, že karty, nejspíš když vyjedou z možností vlastního 1 GB RAM (např. běží úloha z POEM o velikosti 600-700MB), tak WCG úlohy např. s potřebou 300 MB RAM popadají na chybu výpočtu - patrně nenajdou dost volné paměti a psychicky to holt neunesou a úlohy popadají. Vhledem k tomu, že to obvykle neunesou všechny, třeba 30 za sebou, tak to špatně snáším i já - body stojí a generuji zbytečné rozesílání úloh. Dá se například nastavit, jaké úlohy budou momentálně fungovat? Dám příklad - mám hodně WCG úloh a do toho pár úloh z einsteina. Kombinace obojího nese relativně značné riziko pádu, takže bych rád nastavil einstein first, WCG potom a i když to třeba může mírně ovlivnit počet získaných bodů, nenahází to compute errors. Pečlivým dohledem sice jde část problému eliminovat, ale pozorovat PC zda náhodou nehází chyby je myslím neelegantní a zase tolik času nemám. Tedy, jde to nějak podle projektu seřadit? Nerad bych řešení hledal v kartách, které mají prostě jen víc napájené RAM - jednak finančně, zas takový uhlobaron na nové 3 grafiky měsíčně nejsem a časem by se situace nejspíš opakovala, až úlohy dostatečně nabobtnají. Popřípadě, není toto způsobeno něčím jiným (32/64-bit klient, maximálně adresovatelná RAM na task, to že používám AMD 7770 s OpenCL, vnitropekelné intriky...) Dané PC má 4 GB RAM, což také není zrovna nejvíc ale lze vypnout grafické rozhraní, použít méně rozežrané apod.

_________________
Vzhůru pro body na linuxu :-).


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: úte 09 dub, 2013 20:02 
Offline Stats
78.9473684211 %
78.9473684211 %

Registrován: úte 13 led, 2009 15:33
Příspěvky: 6332
Datum narození: 0- 0-1956
ID CNT statistik: 10124
Já bych začal zrušením "leave in memory while suspended" a pozoroval dění. Střídat na GPU jednotlivé projekty za běhu jinde, než na konci tasku je velmi riskantní - takže nastav si "switch between applications every xxx minutes" na dobu nejdelšího tasku z projektů, které počítáš + rezervu nejméně 20%. Pokud po těchto základních opatřeních budeš mít problémy i nadále, pátral bych po tom, zda náhodou neprovozuješ ke GPU úlohám (zejména POEM) nějaké CPU RAM nenasytné tasky, POEM umí sebrat obrovské množství nejen VRAM, ale i standardní RAM. Pozor také na FM@H, je to velmi agresivní aplikace, na některých strojích nemohu současně počítat více úloh, než je polovina CPU jader; pokud identifikuješ FM@H jako zdroj problémů, pomůže ti vkliberův skript - samozřejmě po úpravě.
Problém může být samozřejmě tam, kde ho tušíš ty, ale začal bych u jednoduchých akcí.
Abych pravdu řekl, pokud vůbec na GPU střídám projekty, tak suspend jeden/resume druhý + reboot stroje na vyčištění veškeré paměti a vůbec nenechávám Boinc dělat, co si zrovna zamane, většinou to dělá úplně blbě.
Lze to i zautomatizovat v cronu jako root (já používám berličku scheduled stasks: sudo gnome-schedule) pokud máš autologin do systému, jednu dobu jsem to úspěšně provozoval.

_________________
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 424x
Obrázek 2xObrázek 7xObrázek 9xObrázek Obrázek
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: BOINC na Linuxu
PříspěvekNapsal: úte 09 dub, 2013 21:17 
Offline Stats
31.5789473684 %
31.5789473684 %
Uživatelský avatar

Registrován: sob 30 bře, 2013 14:16
Příspěvky: 357
Bydliště: Praha
Datum narození: 0- 0-1981
ID CNT statistik: 19867
Díky za rady, vyzkouším změnu tasku po 1500 minutách (1 den) a vypnu držení pozastavených úloh v RAM aby to neběhalo do swapu a uvidím(e). Je pravda že v tom padání se vyskytuje jakási pravidelnost - čím náročnější úloha, tím vyšší šance na pád. Asi to bude s tou dobou běhu zejména souviset, prostě při třeba 30% šanci pádu to jednou projde ale po třetí, čtvrté výměně stráží na GPU už to prostě statisticky musí spadnout...
Pokud FM@H je fight malaria tak ta zrovna na tom stroji už neběží, vzhledem k CPU only počítání ji chroupá přetočené C2D bez vhodné GPU po dvou kusech :-). Čím dál víc mě ale vyvstává řešení jeden projekt - jeden počítač a bude po problémech s kompatibilitou. Teď už zařídit jen tu drobnost mít těch cca 8 našláplých PC a nemít Interpol v zádech :smt017 .

Co se cronu a plánování úloh týká, to je pro mě zatím španělská vesnice. Alespoň mám nové téma k studiu.

Edit: Tak zatím se to chová vzorně, vypnul jsem uchovávání úloh v RAM a zvýšil dobu pro přehazování tasků a zatím (ťuk ťuk ťuk) nic nespadlo :smt038

_________________
Vzhůru pro body na linuxu :-).


Nahoru
 Profil  
Odpovědět s citací  
Zobrazit příspěvky za předchozí:  Seřadit podle  
Odeslat nové téma Odpovědět na téma  [ Příspěvků: 18 ] 

Všechny časy jsou v UTC + 1 hodina


Kdo je online

Uživatelé procházející toto fórum: Žádní registrovaní uživatelé a 2 návštevníků


Nemůžete zakládat nová témata v tomto fóru
Nemůžete odpovídat v tomto fóru
Nemůžete upravovat své příspěvky v tomto fóru
Nemůžete mazat své příspěvky v tomto fóru
Nemůžete přikládat soubory v tomto fóru

Hledat:
Přejít na:  
Založeno na phpBB® Forum Software © phpBB Group
Český překlad – phpBB.cz