PG challenge

Sekce pro všeobecné rady a návody z oblasti DC projektů

Moderátoři: petnek, Zelvuska, nenym

Odpovědět
Zpráva
Autor
nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6688
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

PG challenge

#1 Příspěvek od nenym » pát 17 čer, 2011 12:18

Turnaje Prime Grid jsou 1 až 13 denní, od roku 2015 počítají se jeden až tři podprojekty v rámci jednoho turnaje. Některé lze počítat pouze na CPU, jiné i na GPU.
Započítávají se pouze ty jednotky turnajových aplikací, které byly nataženy po začátku turnaje a odevzdány před koncem. Kredit z jednotlivých podprojektů v rámci jednoho turnaje se sčítá dohromady. Jednotky, které neprojdou následnou validací, jsou od výsledného skóre odečteny, konečný výsledek je tedy znám až po skončení tzv. cleaning phase.

Příprava strojů před turnajem:
Sieve podprojekty – natáhnout před turnajem alespoň jednu jednotku kvůli obludným Sieve files (některé podprojekty jsou dataless, tedy bez sieve file). Jednotku lze po natažení zrušit či dopočítat (kvůli ověření času výpočtu) podle libosti.

LLR + GFN podprojekty – jsou to drtiče CPU. Vyčistit počítač, vyfoukat prach z chladičů, vyhnat pavouky, prověřit/promazat ventilátory. Poté ověřit na několika jednotkách stabilní přetakt počítače a průběžně kontrolovat teplotu CPU. Při paralelním běhu 4 tasků je vhodné počítat pesimisticky s navýšením doby o cca 50 % proti výpočtu sólo single tasku (co task navíc přibližně + 15 % aktuálního času, tedy pokud je doba jednoho tasku 10 hodin: 1=10, 2=11.5, 3=13.2, 4=15), záleží ta konkrétní konfiguraci - některé dosahují lepších časů. Výpočty na integrované GPU rovněž dobu úspěšně prodlužují.

Pro Sieve podprojekty je výhodné zapnutí HT, pro LLR + GFN podprojekty je naopak HT kontraproduktivní.

Příprava Boinc před turnajem:
V zásadě zavčasu vyčistit zásobu PG libovolných jednotek (kdo počítá SoB LLR a cpuGFN , tak si musí dát pozor na začátek turnaje sám, oznámení na našem fóru bývá později, než je doba výpočtu těchto oblud). Rozpočítané dopočítat, ty co se nestihnou do začátku turnaje zrušit.
Proč? Protože při pozastavené libovolné jednotce daného projektu se další nenatahují. Vůbec nehraje roli, že je pozastavená například CPU LLR jednotka a chcete natahovat GPU Sieve jednotku, o práci si BM prostě neřekne.
Existuje samozřejmě micromanagement jednotek, kterým lze uchovat rozpočítané jednotky jiného podprojektu a přitom natáhnout a během turnaje počítat pouze turnajové jednotky, ale kdo to umí, ten žádný návod nepotřebuje a toto ani nečte (návod doplněn).
Nastavit v preferencích na PG pouze turnajové podprojekty, povolit CPU a příslušné druhy GPU (nVidia/ATI) jak pro podprojekty, tak pro daný profil, tedy 2x. Nepovolovat pro daný profil počítače GPU, které ve stroji nejsou, některé verze Boinc core jsou z toho zmatené a nežádají si o další práci.
Vynulovat dluhy (není nezbytně nutné, ale doporučeníhodné) - v core verze 7+ se dluhy nepoužívají.

Strategie:

A. Sedím u stroje a PG je pozastavený či má zakázaný příjem práce, buffer PG je prázdný. Stroj počítá něco jiného, pokud možno s checkpointy
Je minuta před začátkem turnaje. POZOR na webu PG musí být ten správný čas, nespoléhat na odpočítávadlo, to jede podle času vašeho stroje.
- vyčkat na správný čas T,
- obnovit/povolit příjem práce PG,
- pozastavit ostatní projekty,
- nastavit zásobu na odpovídající dobu (nejméně 24 hodin),
- chroustat,
- v cc_config.xml zavčasu nastavit featuru <report_results_immediately>1</report_results_immediately>, stačí několik hodin před koncem turnaje.
Na konci turnaje vše vrátit do původních nastavení, nenačaté jednotky zrušit či dopočítat dle chuti a nálady. Na turnaj nemají vliv.

B. Nesedím u stroje a neumím zacházet s boinccmd a plánovačem úloh (Wirouz) či cronem (Linuxy)
Než od stroje definitivně odejdu, je nutné provést
- nastavit v preferencích na PG pouze turnajové podprojekty,
- pozastavit všechny ostatní projekty, i exoty bez práce, náhoda je blbec,
- nastavit buffer na 0,01, tím bude dosaženo, že zpoždění proti začátku turnaje bude nejvýše délka výpočtu jedné jednotky,
- v cc_config.xml nastavit featuru <report_results_immediately>1</report_results_immediately>,
- odejít.

C. Nesedím u stroje a umím zacházet s boinccmd a plánovačem úloh (Wirouz) či cronem (Linuxy)
V tom případě žádný návod pravděpodobně nepotřebuji, nastavím vše potřebné v libovolném předstihu a jdu tam, kam potřebuji. Pro jistotu čas na spuštění potřebného baťáku/scriptu nastavím na T + 2 minuty.
Pouze zhruba:
- dopředu u stroje: cc_config, preference PG, buffer,
- v plánovači: na čas T+2 min pozastavení ostatních projektů, povolení PG; případně na konci turnaje provést inverzi nastavení.
Doporučení: baťák/script pro plánovač odzkoušet, překlepi jsou potfora, moje vlastní zkušenost. Nastavit na období T až T+1 hodina aktualizaci projektu PG (update) v intervalu 2 minuty. Po zbytek turnaje stačí interval doby výpočtu jedné jednotky. Lze totiž předpokládat přetížení serveru a následný timeout klienta. - nyní již zbytečné, servery PG zvládají téměř vše.

Pozn: návod na cc_config.xml.

Micromanagement rozpočítaných jednotek nevhodného podprojektu:
- pozastavit jednotky nevhodného podprojektu,
- pomocí <ncpus> v cc_config.xml nastavit 2n či 3n jader + načíst konfigurační soubory,
- nastavit potřebnou zásobu,
- obnovit jednotky nevhodného podprojektu + update projektu - případně několikrát zopakovat se zvedáním zásoby,
- pozastavit jednotky nevhodného podprojektu,
- vrátit počet jader na správnou hodnotu + načíst konfigurační soubory, alternativa: nastavit skutečný počet jader jako % využití POČTU CPU v BM, vhodné pro opakované natahování jednotek bez nutnosti pořád rýpat do cc_config.
Pozn: V posledním kroku nelze použít hodnotu <ncpus>-1</ncpus> v cc_config.xml bez restartu Boinc core. Pokud nechcete restartovat (asi ne během turnaje), tak je nutné zadat skutečný počet jader a -1 zadat až před restartem core.

Management (rozpočítaných) dlouhých jednotek v časové tísni. Připomínám přibližný vztah z úvodu - co task navíc přibližně + 15 % aktuálního času, který platí i naopak.
1. Jednoduchý
Pozastavit potřebný počet jednotek, aby se dopočítalo aspoň něco
2. Micromanagement (na dvoujádře) - 4 jednotky se nestíhají dopočítat, při dvou jednotkách zbude do konce turnaje na přibližně polovinu délky jednotky: Natáhnout 3 jednotky, první pozastavit v půlce, držet pozastavenou do dopočítání druhé (se kterou běží třetí) a pak dopočítat společně první a třetí. Na 4 jádře obdobně, navíc se dá kouzlit s počtem jader - 3 a v totální nouzi 2.
Naposledy upravil(a) nenym dne pát 02 led, 2015 20:35, celkem upraveno 9 x.
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 464x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

Worf_VX
31.5789473684 %
31.5789473684 %
Příspěvky: 446
Registrován: čtv 16 úno, 2012 18:31
rok narození: 0- 0-1981
ID CNT statistics: 17768
Bydliště: Spytihněv
Kontaktovat uživatele:

Re: PG challenge

#2 Příspěvek od Worf_VX » sob 31 bře, 2012 20:20

Zdravim,
jeste jsem se neucastnil zadneho PG challenge, tak mam par dotazu.

Takze jsem zaregistrovany v projektu PG, mam pripraveny soubor cc_config.xml podle navodu (zatim neni v adresari s BOINC - zkopiruji pred zacatkem turnaje).

V predvolbach PG na svem uctu mam nechat zaskrtlou jen aplikaci pro nadchazejici turnaj - Sophie Germain Prime Search (LLR)? Zadnou jinou?

Diky za pomoc a odpoved novackovi
ObrázekObrázekObrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek ObrázekObrázekObrázek

Doktor
52.6315789474 %
52.6315789474 %
Příspěvky: 1258
Registrován: pon 22 lis, 2010 17:40
rok narození: 30 črc 1981
ID CNT statistics: 15029
Bydliště: Hřebeč
Kontaktovat uživatele:

Re: PG challenge

#3 Příspěvek od Doktor » ned 01 dub, 2012 07:33

Wolfe máš to naprosto správně.
Jen soubor cc_config můžeš mít na příslušném místě hned.

Hodnoty, které chceš mít (zatím) neaktivní, tak v příslušném řádku napíšeš místo 1 - 0 (nulu), a dáš načíst konfigurační soubor (nevím, co tam máš všechno za hodnoty naházené, ale třeba nulování dluhů funguje pouze po restartu aplikace, takže to můžeš klidně nechat aktivní i teď).
Počítadlo: Intel C2D 2.66 GHz, MSI P-35 Platinum,A-Data 2x(1+2)GB Ram (dual channel)5-5-5-15, Gigabyte ATI HD5870 840/900MHz Catalysty 11.12, Boinc 7.4.42, Windows 7 64-bit
Od 1.11.2015 do 27.2.2016 hrdý sponzor GOLEMa
Obrázek

Worf_VX
31.5789473684 %
31.5789473684 %
Příspěvky: 446
Registrován: čtv 16 úno, 2012 18:31
rok narození: 0- 0-1981
ID CNT statistics: 17768
Bydliště: Spytihněv
Kontaktovat uživatele:

Re: PG challenge

#4 Příspěvek od Worf_VX » ned 01 dub, 2012 08:02

Doktor píše:Wolfe máš to naprosto správně.
Jen soubor cc_config můžeš mít na příslušném místě hned.

Hodnoty, které chceš mít (zatím) neaktivní, tak v příslušném řádku napíšeš místo 1 - 0 (nulu), a dáš načíst konfigurační soubor (nevím, co tam máš všechno za hodnoty naházené, ale třeba nulování dluhů funguje pouze po restartu aplikace, takže to můžeš klidně nechat aktivní i teď).


ok, diky, cc_config mam presne jako v navodu
ObrázekObrázekObrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek ObrázekObrázekObrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6688
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: PG challenge

#5 Příspěvek od nenym » stř 13 srp, 2014 14:19

Upraven a doplněn základní příspěvek.
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 464x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6688
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: PG challenge

#6 Příspěvek od nenym » pon 22 pro, 2014 20:08

Základní příspěvek doplněn o fintu, jak jednoduše obejít rozpočítané jednotky nevhodného podprojektu v core rodiny 7+.

EDIT 2.1.2015
Honza píše:Drobnost - "Turnaje Prime Grid jsou 1 až 13 denní, počítá se vždy jeden podprojekt". - to už asi nebude příští rok platit.
Na strategii přípravy pro turnaj to asi nebude mít vliv...
Text základního příspěvku příslušně upraven.

EDIT 28.4.2016: finta na core 7+ přestala od řady 7.2.+ fungovat => byla vymazána. Šlo o fintu s počtem CPU, nutných k výpočtu jednotky nechtěného podprojektu.
Naposledy upravil(a) nenym dne pát 02 led, 2015 20:30, celkem upraveno 1 x.
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 464x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

Honza
57.8947368421 %
57.8947368421 %
Příspěvky: 2111
Registrován: pát 03 lis, 2006 10:46

Re: PG challenge

#7 Příspěvek od Honza » pon 22 pro, 2014 20:30

Drobnost - "Turnaje Prime Grid jsou 1 až 13 denní, počítá se vždy jeden podprojekt". - to už asi nebude příští rok platit.
Na strategii přípravy pro turnaj to asi nebude mít vliv...
Megaprime 207394 · 5^1612573 - 1 a další nálezy
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6688
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: PG challenge

#8 Příspěvek od nenym » čtv 28 dub, 2016 20:55

Doplněn základní příspěvek - červený text. Týká se LLR a GFN tasků a možností, jak spočítat více, než se jeví možným býti.
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 464x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

Odpovědět

Zpět na „Rady a návody“