D2Frank/Herwig 2.1TeilprojektD2 ZwischenberichtzumDFG-Sonderforschungsbereich393,TeilprojektD2 EzienteparalleleAlgorithmenfurdienumerischeSimulation3{dimensionaler, TUChemnitz,FakultatMB/VT,FGMehrphasenstromungen,Juni1998. starkphasengekoppelter,dispersermehrphasenstromungen 1 Dr.{Ing.ThomasFrank Prof.Dr.{Ing.HeinzHerwigTechnischeUniversitatChemnitz 2.1.1Antragsteller 2.1.2Projektbearbeiter Dipl.{Ing.ErikWassen FakultatfurMaschinenbauundVerfahrenstechnik Dr.{Ing.QiangYu 2.2Ausgangsfragestellung/Einleitung DieletztenzweiJahrzehntehabeneineenormeEntwicklungimBereichdernu- ForschungsgruppeMehrphasenstromungen ProfessurTechnischeThermodynamik merischenstromungsmechanikhervorgebracht.zumeinenhabensichrechenge- schwindigkeitundspeicherplatzangebotderrechnerummehreregroenordnun- generhoht.andererseitswurdedieseentwicklungbegleitetdurcheinebestandige warbegleitetvoneinersteigerungderanforderungenandieverwendetehardware. genbishinzurdirektennumerischensimulation(dns)turbulenterstromungen schenmethodenvonderberechnungvereinfachter,grenzschichtartigerstromun- komplexerphysikalischerwechselwirkungen.dieweiterentwicklungdernumeri- derenberechnungsgenauigkeit,ezienzundderzunehmendenberucksichtigung FortentwicklungdereingesetztennumerischenSimulationsverfahreninBezugauf HeutegehorenVerfahrenzurnumerischenSimulationvonphasengekoppelten,dispersenMehrphasenstromungenunterBerucksichtigungvonSto{,Impuls{und derhohenkosten,diemitdemeinsatzvonsupercomputernverbundensind,und ren.diesemultiprozessorsystememitverteiltemspeicher(mimd{architekturen) erreichendurchdenparalleleneinsatzsehrvieler,relativeinfacherprozessoreneine stenanforderungenandierechenleistungdercomputersystemestellen.wegen WarmeubertragungzwischendenPhasenmitzudenAnwendungen,diediehoch- skalierbarerechenleistungundspeicherkapazitat,diediemodernstersupercompu- letztenjahrenverstarktzurentwicklungvonmassivparallelenrechnerarchitektuterzuubertreenvermag.dienutzungdieserhohenrechenleistungfuraufgabenstellungendernumerischenstromungsmechanikistjedochnichtunproblematisch. denabsehbarengrenzenfurdieweiteresteigerungderenleistung,kamesinden UmdiepotentiellsehrhoheRechenleistungeinersolchenMultiprozessorarchitektur algorithmenimhinblickaufderenmoglicheparalleleabarbeitungnotwendig.eine inderpraxisbeiderberechnungstromungsmechanischerproblemstellungenauch wirklichzuerreichen,isteinekonzeptionelleuberarbeitungbestehenderlosungs-
2MethodederGebietszerlegungalseineeinfachzurealisierendeundezientan- wendbareparallelisierungsmethodeetablierenkonnen.hierbeiwirdzunachstfur wirdderenanzahlderanzahlderprozessorenangepat.diekopplungderzerleg- HardwarearchitekturausgerichteterParallelisierungskonzepteerreichtwerden. genaufblockweisestrukturiertengitternetzenhatsichindenletztenjahrendie FurFinite{Volumen{Methoden(FVM)zurBerechnungvonEinphasenstromun- hoheparalleleezienzkannjedochnurunteranwendungspeziellaufdieparallele D2Frank/Herwig Blocken.AndereParallelisierungsverfahren,wiez.B.dieMethodederZeitparallelisierungfurinstationareStromungenunddieKombinationsmethode/Methode DemgegenuberwarenfurdieBerechnungvondispersenMehrphasenstromungen dunnergitterwurdenfurdienumerischesimulationvoneinphasenstromungen aufparallelrechnernentwickelt. tengebietewirdgenausobehandeltwiediekopplungvongeometrischbedingten blockeneinoptimalesgitternetzerzeugt.durchweiterezerlegungdergitterblocke einevorgegebenestromungsgeometriemiteinerbestimmtenanzahlvongitter- aufmassivparallelenrechnerarchitekturenbisvorkurzerzeitnochkeineverrelagrange{verfahrenfehltenjedochbishergeeigneteansatzezuderenparallelisierung.auchheutesindnebendeneigenenveroentlichungen(siehekapitel darausresultierendenlosungsverfahrenubertragbar.furdasbeidispersenmehr- EinphasenstromungenentwickeltenParallelisierungsverfahrenunmittelbaraufdie sedaseuler{verfahren(zwei{fluid{modell)herangezogenwird,sosinddiefur fahrenentwickeltbzw.veroentlicht.soweitzurmodellierungderdispersenpha- phasenstromungenhaugangewandte,undausphysikalischersichtvorteilhafte- Tsuji96,Yone93]. FurdasForschungsvorhabeninD2warenfolgendeAufgabenvorgesehen: neteparallelisierungsansatzefurdaslagrange{verfahrendarstellen[tysinger97, 2.4.3)nurwenigeArbeitenausderinternationalenFachliteraturbekannt,diegeeig- 2.DieEntwicklungeinesLagrange{/PSI{Cell{VerfahrenszurBerechnungdi- 1.DieEntwicklunggeeigneterDatenstrukturenzurBeschreibungkomplexer, 3{dimensionalerStromungsfelderunterVerwendungvonblockstrukturierten 3.DieEntwicklungezienter,parallelerLosungsalgorithmenfurdiezeitlichgesperserMehrphasenstromungenaufderGrundlagederzurVerfugungste- GitternetzenaufMIMD{Rechnerarchitekturen. hendenfinite{volumen{verfahrenaufblockstrukturierten2{und3{dimen- sionalengitternetzen. mitteltennavier{stokes{undskalartransportgleichungensowiefurdiebe- DieseAufgabenhattenzumZiel,einezientesundexiblesBerechnungsverfahrenfurStromungeninkomplexenGeometrienzuerarbeiten,mitdemdierechenintensivenSimulationenphasengekoppelter,disperserMehrphasenstromungenauf 4.DieIntegrationvonVerfahrenzurautomatischenLastverteilunguberdie wechselwirkungen. ProzessoreneinesParallelrechnersystems. wegungsgleichungenderdispersenphaseunterberucksichtigungderphasen-
Loser Lagrange{ Verfahren parallelisiertes Verfahren Navier{Stokes Loser Lagrange{ Verfahren parallelisiertes Verfahren Navier{Stokes D2Frank/Herwig fektivdurchgefuhrtwerdenkonnen.derimberichtszeitraumerreichtebearbei- tungsstandistindernachfolgendentabelleubersichtsartigzusammengefat. UbersichtuberdenBearbeitungsstanddesForschungsvorhabensD23 furdenbearbeitungszeitraum1996{1998 einerbreitenpalettevonhigh{performance{computing(hpc){plattformenef- Preprozessing: 2{d 3{d Skript{orientiert SchnittstellezuCFXvonAEA Gittereigenschaften: blockstrukturiert multilevel Adaptivitat laminar turbulent {{{ 222 {{{{ instationar Gleichungsloser(lin.GLS): SIP{SolvernachStone CG+hierarch.DD{Vorkonditionierer {{ 222 {{{2{2 {{{222 Parallelisierungsverfahren: DomainDecomposition erweiterterdsmalgorithmus Multi{Threading+ParallelI/O Fluid!PartikelEinwegkopplung Fluid$PartikelWechselwirkung: Turbulenz Stoubertragung {{{{{2 Impulsubertragung {{{{ Warmeubertragung 222222 {{2{{2 ()BearbeitungsstandvorBeginndesSFB393 ({)nichtzutreend Partikel{WandSto Partikel{PartikelSto Postprozessing: SchnittstellezuTecplot SchnittstellezuEnsight {{22 {{ ()ErgebnissedesSFB{TeilprojektsD2 (2)beabsichtigteImplementationenundWeiterentwicklungen DiefolgendenKapitelzeigendieVorgehensweise,beschreibendieverschiedenen entwickeltenparallelisierungsverfahrenunddiefureinereihevonreprasentativen
4TestfallenaufverschiedenenParallelrechnerarchitekturenerzieltenErgebnisseim Detail.DesweiterenseiandieserStelleauchaufdiein2.4.3aufgefuhrtenVeroentlichungenverwiesen,indenendiewichtigstenErgebnisseausdemTeilprojektD2 niedergelegtsind. D2Frank/Herwig DieBewegungderkontinuierlichenPhase 2.3Forschungsaufgaben/Methoden Newton'schenFluid.DieFluidstromungistinkompressibel,turbulent,statistisch stationarundisotherm.diefluidturbulenzwirdmodelliertmithilfeeinesk{"{ DiekontinuierlichePhasebeidenhierbetrachtetenStromungenbestehtauseinem a)grundgleichungen 2.3.1DasEuler{Lagrange{Verfahren BeschreibungderFluidstromunginFormderfolgendenverallgemeinertenTransportgleichungdargestelltwerden: Modells.UnterdiesenAnnahmenkonnendiezeitlichgemitteltenGleichungenzur HierbeiistFdieDichtedesFluids,uF,vFundwFsinddieFluidgeschwindigkeiteninx-,y-bzw.z{Richtung,isteineallgemeineVariable,?einallgemeiner @x(fuf)+@@y(fvf)+@@z(fwf)= @ TransportkoezientundSeinallgemeinerQuellterm.DieGroeSPisteben- @?@ @x!+@@y?@ @y!+@@z?@ zwischendisperserunduiderphasebeschreibt. fallseinquellterm,derdiewechselwirkung(sto{,impuls{,warmeubertragung) @z!+s+sp (2.1) DerZusammenhangzwischen,S,SPund?sowiedieverwendetenKonstanten sindintabelle2.1angegeben.indiesertabelleistdielaminareundtdie turbulenteviskositat,pistderdruckundfx,fyundfzsinddiekartesischen DasStromungsgebietwirddurcheinblock{strukturiertes,nicht{orthogonales,randangepatesnumerischesGitterbeschrieben.DieTransportgleichungenwerdenmit undlinearisiertengleichungenwirddiesip-methodenach[stone68]verwendet. HilfeeinerFinite{Volumen{Methodediskretisiert.ZurLosungderdiskretisierten DieDruck{Geschwindigkeits{KopplungwirdrealisiertdurchdieAnwendungeines SIMPLE-Algorithmus[Patankar80,Peric92]. DasLosungsverfahrenfurdieuidePhaseistindenProgrammpaketenFAN-2D (furzweidimensionalestromungen)bzw.fan{3d(furdreidimensionalestromungen)implementiert,dievonpericundlilekentwickelt[peric92,peric93]undin D2parallelisiertsowiefurdieBerechnungdisperserMehrphasenstromungenmodib)NumerischeLosung KomponentenderproMasseneinheiteinwirkendenauerenKrafte. ziert[frank94,frank96b,frank97c]wurden.
D2Frank/Herwig 1 S 0 SP? 005 wf@ uf@@x?@uf vf@ @x?@uf @x+@@y?@vf @y+@@y?@vf @z+@@y?@vf @x+@@z?@wf @y+@@z?@wf @z+@@z?@wf @x?@p @y?@p @z?@p @x+ffxspufeff @y+ffyspvfeff Pk=t2@uF k" @x2+@vf "k(c"1pk?c"2f") Pk?F" @z+ffzspwfeff 0t k eff=+t;t=fck2 +@uf @y2+@wf @y+@vf @x2+@uf @z2@z+@wf @x2+@wf " @y+@vf @z2 " DieBewegungderdispersenPhase Tabelle2.1:QuelltermeundTransportkoezientenfurverschiedeneVariablen c=0:09;c"1=1:44;c"2=1:92;k=1:0;"=1:3 jedetrajektoriereprasentierteinenbestimmtenanteildesgesamtenpartikelmassenstroms_mp;ges. berechnetentrajektoriebewegensichprozeiteinheiteineanzahlpartikelnp,d.h. rechnet,wobeijedessimuliertepartikelwiederumeinegroeanzahlrealerpartikel verwendet.hierbeiwirddiebewegungeinergroenanzahldiskreterpartikelbe- reprasentiert,diedieselbenphysikalischeneigenschaftenbesitzen.entlangeinerso ZurModellierungderBewegungderdispersenPhasewirddieLagrange-Methode latorischenbewegungsgleichungenfureinpartikellautendamit: (Saman-Kraft),dieGravitationskraftundderhydrostatischeAuftrieb.Dietrans- DichtederuidenPhaseist(P=F1),sinddiewichtigstenaufeinPartikel Partikels(Magnus-Kraft),dieAuftriebskraftdurchScherantromungdesTeilchens UnterderAnnahme,dadieDichtederdispersenPhasewesentlichgroeralsdie wirkendenkraftediewiderstandskraft,dieauftriebskraftdurchdierotationdes ddt~vp=34f +vrel!relcm()h(~vf?~vp)(~!?~)i PdP vrelcd(rep)[~vf?~vp]
6mit~=rot~vF;ReP=dPvrel +21=2 j~j1=2cah(~vf?~vp)~i1a+p?f F P~g; D2Frank/Herwig F;Re!=14dP2!rel F;=12dP!rel vrel; (2.2) DieGleichungfurdieRotationsbewegungdesPartikelslautet: vrel=j~vf?~vpj;!rel=j~!?~j: Fluides.DieGroenderKoezientenCD,CM,CAundmkonnenderLiteratur diesichaufdaspartikelbeziehen,~!istdierotationsgeschwindigkeitdespartikels, IndiesenGleichungenbezeichnetderIndexFFluidgroen,derIndexPGroen, entnommenwerden[frank92]. ~dierotationdesfluidesampartikelortundfdiekinematischeviskositatdes ddt~!=?15 16F P!relm(Re!)h~!?~i: (2.3) tigt.zurmodellierungdeseinussesderfluidturbulenzaufdiepartikelbewegung abhangt.partikel{partikel{kollisionenwurdenindieserarbeitnichtberucksichmodellnach[sommerfeld92]verwendet.hierbeistotdaspartikelmiteineruchungvondenrauhigkeitsparameternderwandsowievompartikeldurchmesser einenwinkelangestelltenvirtuellenwand.derinklinationswinkelistdabei einegau{verteiltezufallsgroe,derenmittelwert0istundderenstandardabwei- ZurModellierungderPartikel{Wand{KollisionenwurdehiereinWandrauhigkeits- wurdehierdassogenanntelagrangian-stochastic-deterministic(lsd)tubulenzmodellverwendet[schonung87].dereinuderdispersenphaseaufdasfluid wurdedurchdieeinfuhrungvonquelltermenindiefluidtransportgleichungen 2.3.2DasParallelisierungsverfahrenfurdenNavier-Stokes- nachderparticle-source-in-cell(psi-cell)methode[crowe77]berucksichtigt. geteilt(sieheabb.2.1).diestromunginjedemdieserteilgebietewirdvoneinem DieParallelisierungderFluidberechnungbasiertaufderweitverbreitetenMethode derdomaindecomposition.dasnumerischegitterwirdhierzuinpartitionenauf- ProzessordesParallelrechnersberechnet.BeidemhierverwendetenRechenverfahrenfurdieuidePhasewirdfurjedeZelledesnumerischenGittersderselbe Loser Rechenaufwandbenotigt.AusdiesemGrundistderRechenaufwand,derineiner blenausdenphysikalischenrandbedingungen.andenpartitionsrandernjedochist erreichen,solltendaherdieteilgittergleichgrosein,d.h.diegleicheanzahlgitterzellenbesitzen. DieStromungsgroenimInnerenderPartitionenkonnenwieimseriellenFallberechnetwerden.AndenphysikalischenRandernergebensichdieWertederVariatition.UmeinegleichmaigeVerteilungderRechenlastunterdenProzessorenzu Gitterpartitionentsteht,proportionalzurAnzahlderGitterzellenindieserPar-
D2Frank/Herwig 7 Ausgangsgitter partitioniertes Gitter Abbildung2.1:PrinzipderGitterpartitionierung Partitionsrand genenzellenvondernachbarpartitionubertragenwerden,wosiezuvorberechnet wurden. DadurchkonnendieStromungsgroenfurdieumittelbaramPartitionsrandgelenierungsodurchgefuhrt,dasichdieTeilgitteruberlappen,wieinAbb.2.1gezeigt. zwischendenprozessorenerforderlichmachen.zudiesemzweckwirddiepartitio- dieeinendatenaustauschzwischendenpartitionenundsomiteinekommunikation eineunabhangigeberechnungnichtmoglich.hierentstehendatenabhangigkeiten, DurchdienotwendigeKommunikationzwischendenProzessorenentstehteinzusatzlicherZeitaufwand,derdieEzienzderParallelisierungreduziert.Umdiesen gleichgrosein,damitwartezeitenbeiderkommunikationvermiedenwerden. moglichstkleinsein,umdiemengederauszutauschendendatenzuminimieren. 2.3.3ParallelisierungdesLagrange{LosersmitDomainDe- Zusatzaufwandzuminimieren,mudieRechenlastfuralleProzessorenmoglichst physikalischer Rand AuerdemmussendiedurchdieGitteraufteilungentstehendenPartitionsrander DomainDecompositionVerfahrensauchaufdasLagrange{Berechnungsverfahren angewandt.wieinabb.2.2dargestellt,existierenzweiartenvonprozessen:ein schranktenspeichergroeverwendenzukonnen,wurdezunachstdasprinzipdes Host-ProzeundeineAnzahlvonNode-Prozessen.JederNode-Prozespeichert UmdasLagrange-VerfahrenauchaufmassivparallelenRechnernmitihrerbe- Gitters.DieTrajektorienberechnungwirdvondenNode-Prozessendurchgefuhrt, wobeieinnodealletrajektoriensegmenteberechnet,diedenihmzugeteiltengit- AnzahlderNode-ProzesseistdeshalbgleichderAnzahlderBlockedesnumerischen lokalundpermanentdiegittergeometrie-undfluiddateneinesgitterblocks.die
8terblockdurchqueren. D2Frank/Herwig Abbildung2.2:PrinzipdesDomainDecompositionVerfahrens Host DerHostverteiltzuBeginnderRechnungdiePartikelstartbedingungenentsprechenddenStartpositionenandieNode-Prozesse.DieStartbedingungenwerden PunktzunachstandenHost-Prozegesendet,derdenPartikelstatusdannanden deraustrittspunktaneinempartitionsrand,sowirdderpartikelstatusindiesem nuransolchenodesgesendet,diediedateneinesblockesgespeicherthaben,in betreendennode-prozeweiterleitet.dortwirddanndietrajektorienberechnung fortgesetzt.dieseverfahrensweisewirdwiederholt,bisalletrajektorieneineabbruchbedingungerreichthaben.gleichzeitigzurberechnungdertrajektorieerfolgensegmentvomeintrittspunktindenblock(einstromrandoderpartitionsrand) biszumaustrittspunktausdemblock(ausstromrandoderpartitionsrand).liegt dempartikelstartpositionenlokalisiertsind.einnodeberechneteintrajektori- Navier-Stokes-Loser.EinNachteildesDD-Verfahrensist,daeineungunstigeVerteilungderRechenlastauftretenkann.EineungleichmaigeLastverteilungkann dieberechnungderquelltermwerte. Gitter-undFluiddatenunterdenProzessorenverwendetwiederparallelisierte unterschiedlicheursachenhaben: 1.UnterschiedlicheRechenleistungderrechnendenProzessoren,z.B.beihete- 3.InhomogenePartikelverteilungimStromungsgebiet,z.B.beiFreistrahlstro- 2.UnterschiedlichgroeBlockedesnumerischenGitters,d.h.verschiedeneAnzahlenvonGitterzellenproProzessormungenhinterDusen,beirezirkulierendenoderstarksepariertenStromunrogenenWorkstation-Clustern. DasDD-Verfahrenisteinfachzuimplementieren,daesdieselbeVerteilungvon 5.StromungsgebietemitgroenGradientenderFluidgeschwindigkeitunddarausresultierendemkleinenturbulentenZeitma.DiesfuhrtausGrundeschrittverkleinertwird.AuerdemerzeugtdieDetektierungandBerechnung 4.Partikel-Wand-Kollisionen,dainderNahederWandderIntegrationszeit- deswandstoeseinenzusatzlichenrechenaufwand. gen. Node 1 Node 2 Gitterdaten Gitterdaten Block 1 Block 2 Fluiddaten Block 1 Fluiddaten Block 2 Node N Gitterdaten Block N Fluiddaten Block N
D2Frank/Herwig DieerstenbeidenPunktesindallenDomainDecompositionVerfahrengemeinsam undgeltenauchfurdenparallelisiertennavier-stokes-loser.diepunkte3.-5. schrittsindiesengebieten. derrechengenauigkeitebenfallszueinerverkleinerungdesintegrationszeit- 9 derparallelisierungreduziert. geltenspeziellfurdiedd-methodefurdaslagrange-verfahren.diedadurchver- statischenzuordnungdergitterblockezudenprozessorenkanneszueinerinhomogenenverteilungderrechenlastunterdenprozessorenkommen,wasdieeziengebietsindimallgemeinenzubeginnderrechnungnichtbekannt.alsfolgedeursachteninhomogenitateninderverteilungdesrechenaufwandsimstromungs- 2.3.4ParallelisierungdesLagrange{LosersmitdemDistributedSharedMemoryVerfahren DieinKapitel2.3.3beschriebenenProblemederRechenlastverteilungkonnenbehobenwerden,indemdieZuordnungvonGitterpartitionenzuNode-Prozessen nichtstatisch,sonderndynamischerfolgt.diesistdasprinzipdesdistributedsharedmemoryverfahrens(abb.2.3).imvergleichzudemobenbeschriebenenverfahrenwirdhiereinezusatzlicheklassevonprozesseneingefuhrt,diesogenannten Memory-Manager-Prozesse.DieseProzesseubernehmendieAufgabe,dieGitterundFluiddatenzuspeichern.JederMemory-Manager-Prozespeichertwahrenjektorienberechnungendurch.DieeigentlicheBerechnungwirdwiederuminden dergesamtenrechnungdiedateneinesgitterblocks,fuhrtaberselberkeinetra- Node-Prozessendurchgefuhrt.ImUnterschiedzumDD-VerfahrenkanneinNode- DerHostverteiltdiePartikelstartbedingungenandieNodes.DabeiisteineStartbedingungnichtnurderPartikelstatuszuBeginnderRechung,sondernauchder ImfolgendenseiendieAufgabendereinzelnenProzessenaherbeschrieben: Host: gestellt,derdiesegespeicherthat.wiebeimdd{verfahrenhatderhost-prozedie Aufgabe,diePartikelstartbedingungenzuverwaltenundandieNodeszuverteilen. aktuellbenotigtengitter-undfluiddatenwerdenvommemory-managerbereit- ProzePartikeltrajektorieninjederbeliebigenPartitionberechnen.Diejeweils PartikeleinePartitionsgrenzeerreicht,wirdderEndstatusalsneueStartbedingungvomHostandennachstenNodezurweiterenBerechnunggesendet.Dies StatusbeimEintritteinesPartikelsineinenanderenGitterblock.DieStartbedingungwirdaneinenNodegesendet,undnachderBerechnungdesTrajektoriensegmenteswirdderEndstatusdesPartikelsvondiesemzuruckgesendet.Hatdas wirdsolangewiederholt,bisalletrajektorienabbruchbedingungenerfullthaben diedatennichterstvommemory-managerubertragenwerdenundderkommu- PartitionaktuellvorliegendenStartbedingungen.AuerdemwirdeineStartbedingungbevorzugtaneinenNodegesendet,indessenSpeicherbereitsdieDatenfur diepartitionvorliegen,inderdiesestartbedingunglokalisiertist.somitmussen gungenandienode-prozesseistabhangigvonderanzahlderfureinebestimmte (z.b.erreicheneinesausstromrandes).dieoptimalezuteilungvonstartbedinnikationsaufwandwirdverringert.
10 D2Frank/Herwig Gitterdaten Block 1 Fluiddaten Block 1 Gitterdaten Block 2 Fluiddaten Block 2 Gitterdaten Block N Fluiddaten Block N Abbildung2.3:PrinzipdesDistributedSharedMemoryVerfahrens Manager 1 Manager 2 Manager N Host 1 2 N gepartikelortindemgitterblockliegt,dessengitter-undfluiddatenaktuellim zugehorigetrajektoriensegmentundsendetdenendstatusdespartikelszuruckan lokalenspeichervorliegen.istdiesderfall,sokannsofortmitdertrajektorienberechnungbegonnenwerden.imanderenfallmussendiesedatenzunachstvom Node: entsprechendenmemory-managerzumnodeubertragenwerden. denhost.nachdemempfangderstartbedingungwirdgepruft,obderzugehori- DerNodeempfangtjeweilseinePartikelstartbedingungvomHost,berechnetdas Gitterdaten Gitterdaten Gitterdaten aktueller Block aktueller Block aktueller Block Cache Cache Cache DieersteMoglichkeitist,dajeweilsnurdieDatenfurdieaktuelleGitterzelle EswerdenimmernurdieStromungsgroenfurdieGitterzellebenotigt,indersich ZurVerfolgungeinesPartikelsimStromungsgebietundzurDetektierungderAnnaherunganBlockgrenzenmussendemNodediekomplettenGeometriedatendes daspartikelgeradeaufhalt.dadurchergebensichbezuglichderubertragungder FluiddatenvomMemory-ManagerzumNodeverschiedenemoglicheStrategien. StromungsgroenfurdieseZellebeimMemory-Managerangefordert.Diezweite Moglichkeitist,daebensowiedieGittergeometrieauchdieFluiddatenfurden le. z.b.dieubertragungderfluiddatenfureinebestimmteumgebungdergitterzel- werden.zwischendiesenbeidenstrategiensindauchabstufungenmoglich,wie komplettenblockzubeginnderberechnungdestrajektoriensegmentsubertragen ubertragenwerden.sobalddaspartikelineineanderezelleeintritt,werdendie aktuellenblockeszurverfugungstehen.diesgiltjedochnichtfurdiefluiddaten. blockspermanentwahrenddergesamtentrajektorienberechnung.wenneinnode EinMemory-ManagerspeichertdieGittergeometrie-undFluiddateneinesGitter- diedatenfurdiesenblockanfordert,werdensiezumentsprechendennodegesen- Memory-Manager:
D2Frank/Herwig nichtnurpartikeldaten,sondernzusatzlichauchgitter-undfluiddatenausgetauschtwerdenmussen.diewahlderoptimalenstrategiefurdieubertragung vondergroedeszurverfugungstehendenspeichersundderschnelligkeitdes EinNachteildesDSM-Verfahrensist,daesnuraufsolchenRechnernezientein- KommunikationsnetzwerkesdesverwendetenRechners. gesetztwerdenkann,dieeserlauben,einenprozessordesrechnersmitmehreren Prozessenzubelegen.DurchdieEinfuhrungderzusatzlichenMemory-Manager- ProzessewerdenwesentlichmehrProzessebenotigtalsGitterblockevorhanden sind.imallgemeinenistdieanzahlderprozessegleich2n+1,wobeindieanzahl dergitterblockeist.wenndieseprozessealleaufgetrenntenprozessorenlaufen, reduziertdiesstarkdieezienzderparallelisierung.istesjedochmoglich,einen erreicht.derkommunikationsaufwandistgegenuberdemdd-verfahrenhoher,da det. DurchdiedynamischeZuweisungvonPartitionenzuProzessorenwirdmitdem DSM-VerfahreneinesehrguteVerteilungderRechenlastunterdenProzessoren 11 derfluidwerte(zellenweise,blockweiseodereinezwischenstufe)istu.a.abhangig Literaturzu2.3/(FremdliteraturundeigeneVorarbeiten) ProzevielSpeicherundwenigRechenleistungbeansprucht. benotigtwenigspeicherundvielrechenleistung,wogegendermemory-manager- ussung,dasieeinenkomplementarenressourcenbedarfhaben.dernode-proze belegen,sogibteszwischendiesenbeidenprozessennurweniggegenseitigebeein- ProzessormitjeweilseinemNode-ProzeundeinemMemory-Manager-Prozezu [Crowe77]CroweC.T.,SharmaM.P.,StockD.E. [ZitierteFremdliteratur] [Peric92]PericM. [Patankar80]PatankarS.V. Trans.ofASME,J.FluidsEng.,Vol.99,1977,pp.325{332. TheParticle{Source{InCell(PSI{Cell)ModelforGas{DropletFlows EinzumParallelrechnengeeignetesFinite{Volumen{Mehrgitterverfahrenzur McGraw{Hill,NewYork,1980. NumericalHeatTransferandFluidFlow [Peric93]PericM.,LilekZ. zumdfg{vorhabenpe350/3{1imdfg{habilitandenstipendiumprogramm, Verfeinerung Abschlubericht BerechnungkomplexerStromungenaufblockstrukturiertenGitternmitlokaler [Schonung87]SchonungB. StanfordUniversity,USA,1992. UsersManualfortheFAN{2DSoftwarefortheCalculationofIncompressible ComparisonofDierentDispersionModelsforParticlesinLagrangianandEulerianPredictionCodes Flows InstitutfurSchibauderUniversitatHamburg,1993.
12 [Sommerfeld92]SommerfeldM. Int.JournalofMultiphaseFlows,Vol.18,No.6,1992,pp.905{926. 1.-4.,1987,PekingUniversityPress,China. ProceedingsoftheInternationalConferenceonFluidMechanics,Peking,July Modellingofparticle{wallcollisionsinconnedgas{particleows D2Frank/Herwig [Tsuji96]Tsuji,Y. [Stone68]Stone,H.L. DiscreteElementModellingofClustersinGas{SolidFlows SIAMJ.Numer.Anal.,Vol.5,1968,pp.530-558. rentialequations Iterativesolutionofimplicitapproximationsofmultidimensionalpartialdie- [Tysinger97]TysingerT.L.,MissaghiM. Proc.2ndInt.SymposiumonNumericalMethodsforMultiphaseFlows,ASME FluidsEngineeringDivisionSummerMeeting,SanDiego,CA,USA,July7{11, 1996,FED{Vol.236,Vol.1,p.3. [Yone93]S.YonemuraS.,TanakaT.,TsujiY. ofcoupledlagrangiandispersedphaseandeuleriangasphasecombustion ACombinedShared{MemoryandDistributed{MemoryModelforComputation Proc.Int.Conf.onRecentDevelopmentsandAdvancesUsingParallelComputers,"ParallelCFD'97",Manchester,England,May19{21,1997. [Frank92]FrankTh. [VeroentlichungenzueigenenVorarbeiten] ClusterFormationinGas{SolidFlowPredictedbytheDSMCMethod Proc.Int.SymposiumonGas{SolidFlows,ASMEFluidsEngineeringConference,WashingtonD.C.,USA,1993,FED{Vol.166,pp.303{309. [Frank93]Frank,Th.,Schade,K.P.,Petrak,D. nalunterberucksichtigungvonwandrauhigkeiten NumerischeSimulationderfeststobeladenenGasstromungimhorizontalenKa- [Frank94]Frank,Th.,Schulze,I. PhaseFlowinaHorizontalChannel Int.J.MultiphaseFlow,Vol.19,No.1,1993,pp.187{198. NumericalSimulationandExperimentalInvestigationofaGas{SolidTwo{ Dissertation,Techn.UniversitatBergakademieFreiberg,1992. [Schade95]K.{P.Schade,Th.Frank,Th.Hadrich,D.Petrak 23,1994,FED{Vol.185,pp.93{107. FluidsEngineeringDivisionSummerMeeting,LakeTahoe,NV,USA,June19{ AnExperimentalandNumericalStudyoftheTwoPhaseFlowsinSprayswith berusinglagrangianmodelbasedonamultigridnavier{stokessolver Proc.Int.SymposiumonNumericalMethodsforMultiphaseFlows,ASME Numericalsimulationofgas{dropletowaroundanozzleinacylindricalcham- PARTEC'95 InternationalCongressforParticleTechnology,11thEuropean ConferenceofILASS{EuropeonAtomizationandSprays,21.{23.March1995, HollowConeNozzlesandFullConeNozzles Nurnberg,Germany.
D2Frank/Herwig 2.4Ergebnisse 2.4.1VergleichderPVM{undMPI{Implementierungen aufcray{t3dundparsytecgc{128 13 trieanordnungtrittz.b.inrohrbundelwarmeubertragernauf,wobeiinsbesondere SymmetrierandbedingungenamoberenundunterenGeometrierandundeineAusstromonunganderrechtenSeiteauf.FurdieTestswurdenVernetzungendespektiveProzessoren)einmodiziertesGittermitnurdreiRohrreihenverwendetterblockenvernetzenlat,wurdefurdieTestrechnungenmit4Gitterblocken(re- LeiderzeigendieErgebnisse,dadiesoermitteltenErgebnissenichtvollstandig Stromungsgeometriemit4bis64Gitterblockenverwendet.DasichausGrunden vergleichbarsindmitdenergebnissen,dieaufdemgesamtgittererzieltwurden. dergittergenerierungdieinabb.2.4gezeigtegeometriejedochnichtmitnur4gitsesind.diestromungsgeometrieweisteineeinstromonungaufderlinkenseite, zueinanderversetztangeordneterrohreausgewahlt(sieheabb.2.4).diesegeome- ErosionundAnhaftungserscheinungenandeneinzelnenRohrreihenvonInteres- AlsTestfallwurdedieStromungeinesGas{Feststo{GemischesdurcheineReihe BeschreibungdesTestfalls DichtevonP=2500kg=m3,furdieeineEintrittsgeschwindigkeitvonuP= setzterohrreihen;vernetzungmit8gitterblocken. EswurdeeineGaseinstromgeschwindigkeitvonuF=10m=sgewahlt.DieGasphase(LuftunterNormalbedingungen)transportierteFeststopartikelnmiteiner Abbildung2.4:NumerischesGitterfureineStromungdurchgegeneinandervertikeltrajektorienausgefuhrt.AufGrundvonCPU{Zeit{Beschrankungenaufdeschnittgleichverteilt. EswurdejeweilseinIterationszyklusbestehendausderBerechnungdesFluidstromungsfeldesmit3000auerenIterationenundderBerechnungvon20000Par- 9:::11m=sangenommenwurde.DiePartikelkonzentrationwarimEintrittsquer- FurdenTestfallverwendeteSoft{undHardware DieBerechnungdesTestfallswurdeunterVerwendungderbeidenindenAbschnit- denentsprechendenfaktordividiert. CrayT3DmutedieZahlderberechnetenPartikeltrajektorienfurdieseTestrechnungenauf1000reduziertwerden.UmdieTestrechnungenvergleichbarzu gestalten,wurdendieausfuhrungszeitenfurdenparsytecgc{128jeweilsdurch 0.30 0.25 0.20 0.15 0.10 0.05 0.00 0.0 0.3 0.6 0.9 1.2 1.5 1.8
14 DSM{VerfahrenwurdendabeizweiverschiedeneModikationenverwendet: ten2.3.3und2.3.4beschriebenenparallelisierungsverfahrendurchgefuhrt.furdas 1.WennbeiderBerechnungeinerPartikeltrajektorieeinbestimmtesCV(ControlVolume,nitesVolumenelement)durchquertwird,sowerdenzurFortsetzungderBerechnungdieStromungsdatendesbetreendenundderangrenzendenCV'sbenotigt(5CV'sim2{dFall,7CV'sim3{dFall).Die StromungsdatenfurdieseAnzahlvonCV'swerdengenaudannangeliefert, transferiert,sobalddemrechnendenknoteneinepartikelanfangsbedingung DatenbereitstellungwirdimfolgendenmitDSM{Point{Methodebezeichnet. SieistcharakterisiertdurcheinenhaugenAustauschkleinerDatenmengen. furdiesengitterblockzurberechnungzugeteiltwird.dieseartderdaten- wenneinepartikeltrajektoriedasbetreendecvdurchquert.dieseartder D2Frank/Herwig 2.DiegesamtenzumaktuellbearbeitetenGitterblockgehorendenStromungsdatenwerdenvomMemory{Manager{KnotenzudemrechnendenKnoten AlsTestplattformenwurdenderParsytecGC{128derTUChemnitzunddieCray T3DdesEdinburghParallelComputingCentre(EPCC)derEdinburghUniversity verwendet.aufbeidenparallelrechnersystemenkamenzupvm3.2undmpi1.1 kompatiblesoftwareumgebungenzumeinsatz. charakterisiertdurcheinenseltenenaustauschgroerdatenmengen. bereitstellungwirdimfolgendenalsdsm{block{methodebezeichnet.sieist ErgebnissederTestrechnungen Insgesamtwurden12verschiedeneTestseriendurchgefuhrt,indemdieTestrechnungenfurdieStromungsgeoemtrieausAbb.2.4aufnumerischenGitternetzenmit4rungsstandards(PVM,MPI)undfurdiedreiverschiedenenParallelisierungsver- 8,16,32und64GitterblockenfurjeweilszweiHardware{Plattformen(Parsytec TA,dieRechenzeitTR,dieKommunikationszeitTKunddiefurdieEin-/Ausgabe fahrenfurdenlagrange{loser(dd,dsm{point,dsm{block)ausgefuhrtwur- den.furdietestrechnungenwurdejeweilsdieabsoluteprogrammausfuhrungszeit benotigtezeitti=obestimmt.ausdensoermitteltenwertenwurdediedierenzzeittd=ta?tr?tk?ti=oermittelt.diesedierenzzeittdbestehtim GC{128,CrayT3D),furImplementierungenmitzweiverschiedenenParallelisie- dasdd{verfahrenfurdenhierbetrachtetentestfalleineschlechtelastverteilung 2.5{2.8angegebenenKommunikationszeitenTKfurdasDD{Verfahrenistnoch aufweist,streuendiekommunikationszeitenineinemweitenbereich.diekommunikationszeitenfurdieprozessorenmiteinergeringenrechenlastschlieendie KommunikationsoperationenundinglobalenBarrierenanfallt.ZudenindenAbb. zubemerken,daessichdabeiummittelwerteuberalleprozessorenhandelt.da wesentlichenausdenwartezeitenfurdieeinzelnenprozessoren,dieinsynchronen blemederpvm{implementierungaufdemparsytecgc{128schlieen.generell ImplementierungaufdemParsytecGC{128erzieltenMewerte(Abb.2.5)lassen einmitunterschwerzuinterpretierendesbild.insbesonderediemitderpvm{ imvergleichmitdenaufdercrayt3derzieltenergebnissen(abb.2.7)aufproverfahrenuntereinander.dabeizeigendieergebnissefurdenparsytecgc{128 DieAbb.2.5{2.8zeigendenVergleichderErgebnissefurdiedreiParallelisierungs- ZeitdesWartensaufdieProzessorenmiteinerhohenRechenlastmitein.
D2Frank/Herwig 15 1100 PVM, DSM-Point, T_A 900 PVM, DSM-Point, T_K PVM, DSM-Block, T_A PVM, DSM-Block, T_K 700 PVM, T_R GC{128. Abbildung2.5:AusfuhrungszeitenderPVM{ImplementierungenaufdemParsytec 500 300 100 0 8 16 24 32 40 48 56 64-100 Anzahl der Prozessoren Ausführungszeiten [s] PVM, Domain, T_A PVM, Domain, T_K 900 800 700 MPI, DSM-Block, T_A 600 MPI, DSM-Block, T_K 500 MPI, T_R Abbildung2.6:AusfuhrungszeitenderMPI{ImplementierungenaufdemParsytec 400 GC{128. 300 200 100 0 0 8 16 24 32 40 48 56 64 Anzahl der Prozessoren Ausführungszeiten [s] MPI, Domain, T_A MPI, Domain, T_K MPI, DSM-Point, T_A MPI, DSM-Point, T_K
16 D2Frank/Herwig 900 800 PVM, Domain, T_K PVM, DSM-Point, T_A 700 PVM, DSM-Point, T_K PVM, DSM-Block, T_A 600 PVM, DSM-Block, T_K Abbildung2.7:AusfuhrungszeitenderPVM{ImplementierungenaufderCray 500 PVM, T_R T3D. 400 300 200 100 0 0 8 16 24 32 40 48 56 64 Anzahl der Prozessoren Ausführungszeiten [s] PVM, Domain, T_A MPI, DSM-Point, T_K 600 MPI, DSM-Block, T_A MPI, DSM-Block, T_K 500 MPI, T_R Abbildung2.8:AusfuhrungszeitenderMPI{ImplementierungenaufderCrayT3D. 400 300 200 100 0 0 8 16 24 32 40 48 56 64 Anzahl der Prozessoren Ausführungszeiten [s] 800 MPI, Domain, T_A 700 MPI, Domain, T_K MPI, DSM-Point, T_A
einegroereanzahlvonverwendetenprozessorenzueinerfruherenstagnation D2Frank/Herwig indenprogrammausfuhrungszeitenfuhrt.unabhangigvomeingesetztenparallelisierungsverfahrensteigendieprogrammausfuhrungszeitenbeimubergangvon32 17 latsichfurdietestergebnisseaufdemparsytecgc{128feststellen,dadiegeringerekommunikationsleistungdiesermimd{architekturbeieinerskalierunguber an,wasaufdenkommunikationsengpazwischenden32{knoten{partitionendes ParsytecGC{128zuruckgefuhrtwerdenkann.FurdieTestrechnungenauf4bis auf64prozessoren(respektivegitterblockendesnumerischengitternetzes)wieder vorteilhaftesteverfahren,daesrelativselteneknoten{knoten{kommunikation mitgroerendatenmengenmitdemvorteilderdynamischenlastverteilungdes DSM{Block{Verfahren.LetzteresistfurdieArchitekturdesParsytecGC{128das sytecgc{128fuhrenzueinemklarenabstandzwischendemdsm{point{unddem verfahren.diegroensetup{zeitenfurdieknoten{kommunikationaufdempar- VerfahrengegenuberderDomainDecompositionfurdasLagrange'scheLosungs- 32GitterblockenzeigtAbb.2.6furdenParsytecGC{128einenVorteilderDSM{ DieTestergebnisseaufderCrayT3D(Abb.2.7und2.8)zeigeneineinheitlicheres DSM{Verfahrensverbindet. schendemdsm{point{unddemdsm{block{verfahrensindjedochaufgrund demdomaindecompositionverfahrenklardurchsetzen.dieunterschiedezwi- konnensichaufgrundderbesserenlastverteilungdiedsm{verfahrengegenuber schreitendereduktionderprogrammausfuhrungszeitenfestgestelltwerden.auch undbesserinterpretierbaresbild.uberdengesamtenskalierungsbereichvon4bis dercrayt3dnursehrgering.eindetailliertererblickaufdiegemesseneneinzelzeitenzeigtfurdietestrechnungenauf64gitterblocken,daderanteilder Testrechnungenauf32Gitterblockenweitergesenktwerdenkonnten.Dieszeigt, dadievorliegendentestergebnissefurdiecrayt3dmageblichdurchdiecpu{ Zeit{BeschrankungenamEPCCbeeinutwurden,dieeineReduzierungdesursprunglichvorgesehenenTestfallsaufdieBerechnungvon1000Partikeltrajektorien dersehrhohenkommunikationsleistung(groebandbreite,kurzesetup{zeiten) 64ProzessorenkannfuralledreieingesetztenParallelisierungsverfahreneinefort- Kommunikations{undI/O{Zeitenbei2/3derabsolutenProgrammausfuhrungszeitenliegt,wahrenddieRechenzeitenumeinenFaktorvon0.63gegenuberden NebenderEntwicklungundImplementierungeines3{dimensionalenEuler{Lagrange{VerfahrensfurdieBerechnungdisperserMehrphasenstromungenaufder 2.4.2Verikationdes3{dimensionalenBerechnungsverfah- notwendigmachten. BasisblockstrukturierterGitternetzeundderEntwicklungleistungsfahigerParallelisierungsverfahrenwarauchdieVerikationderimVerfahreneingesetzterensaneinerZyklonstromung physikalisch{mathematischenmodelleeinwesentlicherbestandteildesforschungs- EbenederGeschwindigkeitsfelder(oderandererdieStromungcharakterisierender vorhabens.leiderstandfureinenderartigenvergleichexperimentellerundnumeri- te3{dimensionalemehrphasenstromungzurverfugung,dasdenvergleichaufder scherergebnissekeinumfassendesexperimentellesdatenmaterialfureinegeeigne-
18 Feldgroen)mithoherraumlicherAuosungermoglichthatte.SoeldieWahlauf dienumerischesimulationderpartikelabscheidungineinerserievongeometrisch ahnlichenstandardzyklonen.diehauptgrundefurdieseauswahlwaren: 1.BeiderZyklonstromunghandeltessichumeineausgepragt3{dimensionale D2Frank/Herwig 3.DerWissenstanduberpartikelbeladeneGasstromungeninZyklonengestattet 2.DieZyklonstromungistinderVergangenheitdurcheineVielzahlvonAutorenuntersuchtworden,sodadetaillierteGrundkenntnisseuberdiesen StromungstypinderFachliteraturvorliegen. Stromung,dienichtaufeinebenesoderrotationssymmetrischesProblem einequalitativebewertungderberechnetengas{partikel{stromung. reduziertwerdenkann. 4.DasexperimentelleDatenmaterialausderDissertationvonKonig[Konig90] 0:::50m,P=2500kg=m3)ineinerSerievonimMastab1:2:4:8ahnlichen merischeberechnungenfurdiepartikelabscheidungvonquartzpartikeln(dp= InderFolgewurdenmitdemEuler{Lagrange{Verfahren(FAN{3D,PartFlow)nuverlustundPartikeltrenngradstimmtenKenngroenaufderEbeneintegralerParameterwieGesamtdruck- gestattetdaruberhinausdenquantitativenvergleichmitdennumerischbe- entsprachdenvonkonig[konig90]untersuchtenstandardzyklonen(abb.2.10). 2.11).DieGaseintrittsgeschwindigkeitenwurdeninAbhangigkeitvonderZyklongroezwischenuF=3:8m=sunduF=24:9m=svariiert. mit42gitterblockenundca.250.000nitenvolumenelementenvernetzt(abb. DasGeschwindigkeitsfeldderGasphasezeigtdenfurZyklonetypischenasymme- FurdienumerischeBerechnungwurdendieZyklonemiteinemnumerischenGitter Standardzyklonen(Z10,:::,Z80)durchgefuhrt[Frank97c,Frank98a].DieGeometrie entlangderauenwanddestauchrohres(abb.2.12).derdurchdastauchrohrentweichendegasstromweistkurzhinterdemeintrittindastauchrohrnocheinen oberenteildeszykloninnenraumesentlangdeszyklondeckelsundweiterabwarts erheblichendrallauf,dererstmitzunehmenderlauangeabgebautwird. trischenhauptwirbelsowiedieausderliteraturbekanntesekundarstromungim samtdruckverlust[frank98a]undderpartikeltrenngrad FurjedederdurchgefuhrtenStromungsberechnungenwurdedesweiterenderGe- T(dP)=1?_Nout(dP) digkeiteneinesehrguteubereinstimmung.dietendenzzuverbesserterpartikel- abscheidungbeierhohtergaseinrittsgeschwindigkeitwirdvondennumerischen berechnetenpartikeltrenngradefurallezyklongroenundgaseintrittsgeschwinrimentellenergebnissenzeigteinegutebissehrguteubereinstimmung.wirdder inabhangigkeitvompartikeldurchmesserdpermittelt.dervergleichmitdenexpe- berechnetegesamtdruckverlustgeringfugigunterbestimmt,sozeigtsichfurdie _Nin(dP) BerechnungenfuralleuntersuchtenZyklonerichtigwiedergegeben(Abb.2.9).
D2Frank/Herwig 19 erfolgtenwegenderpermanenthohenauslastungdesparsytecpower{gc128mit DieRechnungenzurnumerischenSimulationderPartikelabscheidunginZyklonen derseriellenprogrammversionaufdersgicrayorigin2000amurzdertu digkeitenuf=4:3m=sund10m=s. Abbildung2.9:VergleichderPartikeltrenngradefurZ20undGaseintrittsgeschwin- enthalten. derinsgesamt54verfugbarenprozessorenebenfallsnichtmoglich. WeiteredetaillierteErgebnissesindindenVeroentlichungen[Frank97c,Frank98a] Dresden.EineparalleleBerechnungwardortwegenderhohenNutzeranzahlund Partikeltrenngrad 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 d_p [µm] Exp. Z20, U_F,in=10.0 m/s Num. Z20, U_F,in=10.0 m/s Exp. Z20, U_F,in=4.3 m/s Num. Z20, U_F,in=4.3 m/s 0,1 1 10 100
D2 Frank/Herwig 20 40 31 18 10 4.5 195 V F ( m/s ) 1.3462E+01 1.1538E+01 9.6154E+00 7.6923E+00 5.7692E+00 3.8462E+00 1.9231E+00 0.0000E+00 Abbildung 2.12: Geschwindigkeitsverteilung der mittleren Gasgeschwindigkeiten im oberen Teil des Z10{Zyklons, uf = 10 m=s. 10 Abbildung 2.10: Schematische Darstellung des Standardzyklons Z10. Abbildung 2.13: Partikeltrajektorien in Abbildung 2.11: Gitterblockstruktur im Z10 f ur Gaseintrittsgeschwindigkeiten uf = 10 m=s, dp = 1; : : : ; 5 m. oberen Teil des Zyklons.
D2Frank/Herwig 2.4.3Parallele,numerischeSimulationeinerGas{Feststo{ Unter2.4.1sinddieaufderCrayT3DamEPCCinEdinburghundaufdemParsytecPower{GC128anderTUChemnitzdurchgefuhrtenUntersuchungender Stromungineinem3{dimensionalenKanal 21 genjedochausschlielichaufdas2{dimensionaleeuler{lagrange{verfahren.mit demfortgangderentwicklungsarbeitenergabsichimfruhjahr1998diemoglichkeit,dieentwickeltenparallelisierungsverfahren(domaindecomposition,dsm) Parallelisierungsverfahrenaus2.3.3und2.3.4ausfuhrlichdiskutiertworden.WegendesfruhenZeitpunktesderDurchfuhrungerstreckensichdieseUntersuchun- auchfurdieberechnungeinereinfachen3{dimensionalengas{feststo-stromung einzusetzen.alstestkongurationwurdeeinegas{feststo{stromungineinem gekrummtenkanalmitquadratischemquerschnittgewahlt. 20000 600 18000 500 16000 14000 400 12000 (DD) 10000 (DSM) 300 FAN-3D (DD) bei10m=s,derturbulenzgradwurdeimeintrittmit10%angenommen,die Abbildung2.14:VergleichderAusfuhrungszeitenvonFAN{3DundPartFlowfur 8000 FAN-3D, Anz. d. Iterat. 200 FeststophaseentsprachinihrenphysikalischenEigenschaftenQuartzsandmiteinemPartikeldurchmesserdP=210:::410m.DieTestfallrechnungenwurden einen3{dimensionalentestfall. DieAusgangskongurationdesnumerischenGitternetzesweist3Gitterblockemit insgesamt6700nitenvolumenelementenauf.diegaseintrittsgeschwindigkeitlag 6000 4000 100 2000 SGICrayOrigin2000amURZderTUDresdenausgefuhrt.DasDiagrammin mitdermitmpiparallelisiertenprogrammversion(fan{3d,partflow)aufder 0 0 Abb.2.14zeigtdieAusfuhrungszeitendesNavier{Stokes{LosersFAN{3Dunddes 1 3 6 12 Anzahl Prozessoren Distributed{Shared{Memory{Verfahren(DSM))imVergleichmitderaufnureiner Lagrange{LosersPartFlow(ParallelisierungmitDomainDecomposition(DD)bzw. ezienteparallelisierungdesnavier{stokes{loserszugeringeanzahlnitervolumenelementeproprozessor(ergebnisderbeschrankungenfurdiesentestfall)steigenderausfuhrungszeiten.hauptursachehierfuristvordergrundigdiefureine CPUausgefuhrtenseriellenProgrammversion. DiefurFAN{3DermitteltenAusfuhrungszeiten(rechteSkale)zeigenfurdiesen speziellentestfallschonfurdieabarbeitungauf12prozessoreneinerneutesan- Zeit [s]
22 ge'schenberechnungsanteil(linkeskale)sehrguteskalierungseigenschaften.auf genuberzeigendieergebnissefurdieparallelisierungsverfahrenfurdenlagran- klen(ebenfallsrechteskale)desgleichungslosersfurdassystemauslinearisierten Gleichungen(SIP{Solver)istfurdieseEntwicklungmitverantwortlich.Demge- AberauchderAnstiegderfureinekonvergenteLosungnotwendigenIterationszy- D2Frank/Herwig GrundderhomogenenKonzentrationsverteilungderdispersenPhaseimuntersuchtenStromungsbeispielsinddiezubeobachtendenUnterschiedezwischenDD{und [DFG{Forschungsberichte] [Frank97b]Th.Frank,E.Wassen Literaturzu2.4/(eigeneVeroentlichungenimBerichtszeitraum) DSM{Verfahrenjedochehergering. [BegutachteteKonferenzbeitrage,Proceedings] AbschluberichtzumDFG{ForschungsvorhabenimNormalverfahren,Projektnr.:Fr1069/3-1,TUChemnitz{Zwickau,FGMehrphasenstromungen, ParalleleAlgorithmenfurdienumerischeSimulationvonMehrphasenstromungeninkomplexen3{dimensionalenGeometrien Chemnitz,1.Juni1997. [Frank96a]Th.Frank [Frank96b]Th.Frank,E.Wassen UsingParallelComputers,Capri,Italy,May20{23,1996. tiphaseowsusingthelagrangianapproach Comparisonofthreeparallelizationmethodsforcalculationofdispersemul- Proc.3rdInt.Conference"ParallelCFD'96",ImplementationsandResults [Frank97c]Th.Frank,E.Wassen,Q.Yu ParallelSolutionAlgorithmsforLagrangianSimulationofDisperseMultiphaseFlows Proc.2ndInt.SymposiumonNumericalMethodsforMultiphaseFlows, ASMEFluidsEngineeringDivisionSummerMeeting,SanDiego,CA,USA, July7{11,1996,FED{Vol.236,Vol.1,pp.11{20. [Frank97d]Th.Frank,E.Wassen A3{dimensionalLagrangianSolverforDisperseMultiphaseFlowsonArbitrary,GeometricallyComplexFlowDomainsusingBlock{structuredNumericalGrids 7thInt.SymposiumonGas-ParticleFlows,ASMEFluidsEngineeringDivisionSummerMeeting,Vancouver,BC,Canada,June22{26,1997,CD{ROM Proceedings,FEDSM97{3590. [Frank98a]Th.Frank,E.Wassen,Q.Yu ComputingonMultiphaseFlow,Tokyo,Japan,July18{19,1997. JSMECentennialGrandCongress1997,ISAC'97ConferenceonAdvanced forthelagrangianpredictionofdispersemultiphaseflows ParallelEciencyofPVM{andMPI{ImplementationsoftwoAlgorithms LagrangianPredictionofDisperseGas{ParticleFlowinCyclonSeparators
[Schade95]K.{P.Schade,Th.Frank,Th.Hadrich,D.Petrak D2Frank/Herwig AnExperimentalandNumericalStudyoftheTwoPhaseFlowsinSprays withhollowconenozzlesandfullconenozzles ICMF'98{3rdInternationalConferenceonMultiphaseFlow1998,Lyon, France,June8.{12.,1998,CD{ROMProceedings,PaperNo.217,pp.1{8. 23 [Wassen97]E.Wassen,Th.Frank,Q.Yu PARTEC'95 InternationalCongressforParticleTechnology,11thEuropeanConferenceofILASS{EuropeonAtomizationandSprays,21.{23. March1995,Nurnberg,Germany. AComparisonofParallelAlgorithmsfortheNumericalSimulationofMultiphaseFlows [Frank97e]Th.Frank,E.Wassen,Q.Yu [KonferenzbeitrageinFachzeitschriften] Stromungeninkomplexen3{dimensionalenGeometrien EinblockstrukturiertesVerfahrenzurBerechnungdisperserGas{Feststo{ The1.Euro{ConferenceonParallelandDistributedComputingforComputationalMechanics.Lochinver,Scotland,April26{May1st,1997. VDI{GesellschaftVerfahrenstechnikundChemieingenieurwesen,GVC{ [Frank98c]Th.Frank,E.Wassen,Q.Yu NumerischeUntersuchungderStrahnenbildungundErosionin3{ dimensionalengas{feststo{stromungen 49.Berg{undHuttenmannischerTag,TUBergakademieFreiberg,Germany, 18./19.Juni1998,in:FreibergerForschungshefte. Jahrestagung1997,Proze{undUmwelttechnik,Dresden,24.{26.September 1997.InChemie{Ingenieur{Technik,Vol.69,Nr.9/97,pp.1270{1271. [WeiterezitierteLiteratur] 2.5OeneFragen/Ausblick [Konig90]C.Konig nen Dissertation,UniversitatKaiserslautern,Germany,1990. UntersuchungenzumAbscheideverhaltenvongeometrischahnlichenZyklo- dispersenmehrphasenstromungenaufmimd{undanderenhpc{rechnerplattformenerarbeitetworden.diedurchgefuhrtenuntersuchungenhabengezeigt,da Euler{Lagrange{VerfahreneektivaufMIMD{Architektureneinzusetzensind. DurchdieImplementationderz.Zt.gebrauchlichstenParallelisierungsstandards PVM3.2undMPI1.1isteineauerordentlichbreitePalettevonHPC{Rechnerarchitekturen(MIMD,SMP{SharedMemory,WS{Cluster{Computing)abgedeckt, aufdenendasnumerischeverfahrenohneumfassendeanderungeneingesetztwer- furdieparallelenumerischesimulationvonstationaren,2{und3{dimensionalen, ImBerichtszeitraumsindimTeilprojektD2eineReihesubstantiellerLosungen denkann.
24 tungbedurfen. sichfragestellungenergeben,diederweitergehendenuntersuchungundbearbei- TrotzdergutenFortschritteinderBearbeitungdesForschungsvorhabenshaben 1.DieentwickeltennumerischenVerfahrensindinderLage,2{und3{dimensionale,stationareMehrphasenstromungenmitPhasenwechselwirkungenzspielederartigerMehrphasenstromungensindvertikaleGas{Tropfen{oder RauchgasreinigungundbeimpneumatischenTransportinvertikalenRohrlei- Gas{Feststo{Stromungen,wiesiebeiSpruhtrocknungsprozessen,beider tungenauftreten.daswechselspielausschwerkraftundderaufdiepartikeln D2Frank/Herwig berechnen.insbesonderefur3{dimensionalestromungenistjedochdieannahmederstationaritatderstromunghaugnichtgegeben.typischebei- 2.MitderzunehmendenHinwendungzurSimulationinstationarerund/oder3{ gen. unterstreichtdiebedeutungderentwicklungeektiverberechnungsverfahrenfurdiesimulationinstationarer,phasengekoppeltermehrphasenstromunstromungzueinemausgepragteninstationarenstromungsbildfuhren.dies wirkendenstromungskraftekannbeigeringenschwankungeninderfluid- dimensionaler,dispersermehrphasenstromungengewinntdiestabilitatund onszyklen,langeniterationszeitenundgeringerkonvergenzgeschwindigkeit ren)zueinemanstiegderfureinekonvergentelosungbenotigteniterati- ElementenundzunehmendeGitterblockanzahlen(d.h.verwendeteProzessomus(SIP{SolvernachStone)fureinegroereAnzahlvonFinite{VolumenherindenNavier{Stokes{LosernvonM.PericverwendeteLosungsalgorith- daskonvergenzverhaltenderverwendetengleichungsloserfurgrodimen- fuhrt,wirddieimplementationverbessertergleichungsloseralsnotwendig sionierte,linearegleichungssystemezunehmendanbedeutung.daderbis- 3.FurdasentwickelteparalleleEuler{Lagrange{VerfahrenwurdederWegeines mitkommerziellenprogrammenexterndurchgefuhrtenpre{undpostprozessingsgewahlt.mitzunehmenderproblemgroe,anzahldernitenvolumen- betrachtet. Ein-/Ausgabezu.DiemomentanverwendeteserielleDaten{Ein/Ausgabe fuhrtmitsteigenderprozessorzahlzueinemzunehmendungunstigerenverhaltniszwischenderinsgesamtbenotigtenausfuhrungszeitundderreinerendesparallelrechnersystemsnimmtdiebedeutungeinerparallelendatenelementeimnumerischengitternetzundanzahlderverwendetenprozesso- SchwerpunktderArbeitenimTeilprojektD2imbevorstehendenBearbeitungszeitraumbilden. VerfahrenunterBerucksichtigungderhieraufgezeigtenFragestellungenwirdeinen DieWeiterentwicklungderparallelenLosungsalgorithmenfurEuler{Lagrange{ Rechenzeit.