Projekt: Business Development für FZ Jülich Implementierung zusätzlicher physikalischer Modelle in CFX-5

Transkript

1 AEA Technology GmbH Staudenfeldweg 12, Otterfing Proekt: Business Development für FZ Jülich Implementierung zusätzlicher physikalischer Modelle in CFX-5 Zwischenbericht März 2001 Version: FZJ-SEM2-Report-1.0 März 13, 2001 Technical Report AEAT

2 Inhalt 1 Übersicht 3 2 Implementierung des LES Modells Beschreibung der Theorie Benutzerschnittstelle Testfall: Vollausgebildete, turbulente Rohrströmung Massiv Paralleles Rechen Portierung der Software CFX-5 auf Rechner Cray-T3E Testfall: LES eines in einem ebenen Kanal montierten Würfels Massiv paralleles Rechnen 14 4 Literatur 16 2

3 1 Übersicht Der folgende Bericht dokumentiert die Implementierung des Large Eddy Simulations- Modells (LES, Grobstruktursimulation) in die Software CFX-5 sowie die Portierung der Software auf Computer vom Typ Cray T3E, die für das Forschungszentrum Jülich vorgenommen wurden. 2 Implementierung des LES Modells 2.1 Beschreibung der Theorie Die Grundlage der Grobstruktursimulation (Large Eddy Simulation, LES) sind die tiefpassgefilterten Kontinuitäts- und Navier-Stokes-Gleichungen: t ( ρ u ) + ( ρ u u ) i x i = x ρ = t x u i µ x ( ρ u ) u + x i 2 u k µ δ 3 xk i + ρ τ sgs i p xi Der Feinstrukturspannungstensor τ sgs (sgs = sub-grid stress) steht für die Wirkung der feinen, in der Rechnung nicht aufgelösten turbulenten Fluktuationen auf die groben, aufgelösten Schwankungen: τ sgs i = u u ρ u u i Als Maß für die Glättung durch den Filter wird diesem eine Filterweite h zugeordnet. Das Überstreichen einer Größe bedeutet die Tiefpassfilterung der Größe und kann anschaulich als integrale Mittelung der Größe über ein Kontrollvolumen interpretiert werden. Die Filterweite ist dann identisch mit einem typischen Längenmaß des Kontrollvolumens. Mit einer Tilde wird die dichtegewichtete Filterung, auch als Favre-Filterung bezeichnet, gekennzeichnet, ϕ = ρ ϕ. ρ Die gefilterten Impulsgleichungen sind bis auf den Feinstrukturspannungstensor formal identisch zu den Reynolds-gemittelten Navier-Stokes Gleichungen. Bei der Implementierung des LES-Modells ist daher gegenüber den Reynolds-gemittelten Turbulenzmodellen nur eine Sonderbehandlung zur Berechnung von τ sgs erforderlich. Die Erweiterung der Software CFX-5 um die Fähigkeit zur LES setzt sich daher aus folgenden drei Teilen zusammen: 1) Smagorinsky-Modell, das eigentliche (LES-) Turbulenzmodell 2) Berechnung Wandabstands (wird im LES-Modell benutzt) 3) Zeitdiskretisierung mit einer Genauigkeit von zweiter Ordnung i ρ 3

4 Die folgenden Unterabschnitte beschreiben eweils eines dieser Module Smagorinsky Modell mit Modifikation in Wandnähe Das LES-Modell von Smagorinsky gehört zur Klasse der Wirbelviskositätsmodelle. Der Feinstrukturspannungstensor τ sgs wird dabei mittels der sogenannten Wirbelviskosität, auch als turbulente Viskosität bezeichnet, modelliert. Die Berechnung des Geschwindigkeitsfelds erfolgt auf Basis der Navier-Stokes Gleichungen, wobei als Viskositätskoeffizient eine gegenüber der molekularen Viskosität µ um die Wirbelviskosität µ t erhöhte effektive Viskosität µ eff. eingesetzt wird: µ = µ + eff. µ t Für die Wirbelviskosität wird angenommen, dass sie proportional zum aufgelösten Scherspannungsgeschwindigkeitstensor. S i 1 u i = 2 x u + x ist. Beim Smagorinsky-Modell erfolgt die Berechnung gemäß der Formel 1 µ t = ρ ( min( CS h, lmix ) 2 Si Si. 2 Die Weite h des LES-Filters wird aus dem Volumen der eweiligen Gitterzelle gewonnen, 3 h = V. Die Mischungslänge l mix wird aus dem Wandabstand η und der von Karman schen Konstante κ berechnet. i l = κ η, κ = mix Der Koeffizient des Smagorinsky-Modells ist auf den Wert C S = 0. 1 voreingestellt. Bei Bedarf kann edoch vom Benutzer ein anderer Wert angegeben werden. Die Bildung des Minimums mit der Mischungslänge bewirkt eine erhebliche Verbesserung der Genauigkeit der Simulation in der Nähe von Wände. Mit dem reinen Smagorinsky- Modell ohne Berücksichtigung der Mischungslänge würden dort turbulente Fluktuationen zu stark gedämpft. Die Verbesserung beruht im Wesentlichen auf zwei Ursachen: a) Zum einen steht der Modellkoeffizient C S h für eine typische Wirbelgröße, diese kann edoch aus geometrischen Gründen nicht größer als der Abstand zur Wand sein. Eine entsprechende Limitierung ist daher notwendig. b) Zweitens kann das Smagorinsky-Modell nicht zwischen Gradienten des mittleren Geschwindigkeitsfelds und solchen die durch turbulente Fluktuationen entstehen entscheiden. Man will edoch eigentlich nur letztere zur Modellierung heranziehen, weil feine turbulente Strukturen modelliert werden. Die Dämpfung des Modellkoeffizienten wirkt daher den großen mittleren Gradienten des Strömungsfelds in Wandnähe entgegen. 4

5 2.1.2 Berechnung des Wandabstandes. Die Berechnung des Wandabstandes η in komplexen Geometrien und speziell bei unstrukturierten Gittern ist nicht trivial. Weil es sich bei dem Smagorinsky-Modell edoch um eine Näherung handelt, ist eine Approximation an den Wandabstand voll ausreichend. Diese Approximation des Wandabstandes wird aus der Poisson-Gleichung x L = 1 x gewonnen. Randbedingungen sind dabei L=0 an Wänden und homogene von Neumann Bedingungen (Gradient = 0) an allen anderen Rändern. Aus der Lösung dieser L Gleichung wird der eigentliche Wandabstand η gemäß L η = + 2L x 2 L x berechnet. Die Herleitung dieser Formel erfolgt im 1-dimensionalen, wobei η die wandnormale Koordinate ist. Die Poisson-Gleichung lautet dann L = 1. η η Durch Integration erhält man die Beziehungen L 1 = A η und L = B + Aη η 2. η 2 Aus der Randbedingung auf der Wand (L=0 bei η=0) folgt B=0. Durch Einsetzen der ersten integrierten Gleichung in die zweiten erhält man die quadratische Gleichung 2 L η + 2η 2L = 0. η Die einzige positive Lösung dazu lautet wie oben für den 3-dimensionalen Fall angegeben η = L η 2 + 2L L. η Die Wandabstandsgleichung beinhaltet keinen transienten Term, die Lösung der Gleichung bleibt daher zeitlich konstant. Um Rechenzeit zu sparen wird die Gleichung daher nur solange zusammen mit den anderen Gleichungen des Problems gelöst, bis sie konvergiert ist und anschließend abgeschaltet Zweiter Ordnung genaue Zeitdiskretisierung Für das Voranschreiten der Rechnung in der Zeit müssen die Transportgleichungen in der Zeit diskretisiert werden. Die allgemeine Form einer solchen instationären Gleichung lautet ϕ = RHS t ( ϕ). 5

6 In CFX-5 wird diese Gleichung vollimplizit gelöst, d. h. die rechte Seite der Gleichung wird eweils zum neuen Zeitpunkt t = t ausgewertet, n ϕ t t= tn = RHS n ( ϕ ) Die Ableitung nach der Zeit wird bei dem bisher implementierten Euler-rückwärts Verfahren erster Ordnung durch den einseitigen Differenzenquotienten ϕ t t= tn ϕ approximiert. Der numerische Fehler ist dabei im Grenzwert proportional zur Zeitschrittweite t = t n tn 1. Der Abbruchfehler beträgt E BE 1 = O( t). Für die LES wurde das wesentlich genauere implementierten Euler-rückwärts Verfahren zweier Ordnung implementiert: ϕ t 3ϕ t = t 2 n n n ϕ t. n 1 n 1 4ϕ + ϕ t Bei Verwendung dieses Verfahrens nimmt der numerische Fehler der Zeitdiskretisierung bei 2 = O. Verkleinerung der Zeitschrittweite mit dem Quadrat der Schrittweite ab, ( ) 2.2 Benutzerschnittstelle n 2 E BE 2 t Die Einstellungen für das LES Modell gliedern sich in vier Bereiche: a) Anwahl der LES als Turbulenzmodell b) Setzen von Randbedingungen c) Vorgabe von Anfangsbedingungen für die Simulation d) Diskretisierungschemata für konvektiven Terme (advection scheme) und Voranschreiten in der Zeit (transient scheme) e) Statistische Auswertung des Rechenlaufes (zeitliche Mittelwerte, RMS-Werte) Alle erforderlichen Einstellungen können mit der CFX Command Language CCL vorgenommen werden. Der überwiegende Teil der Problemdefinition erfolgt dabei wie sonst auch durch CFX5-Build. Die für die LES spezifischen Ergänzungen kann der CCL-Editor mit seiner graphischen Benutzeroberfläche (GUI) benutzt werden. Der CCL-Editor kann aus dem Solver-Monitor heraus gestartet werden Selektion der LES als Turbulenzmodell Die LES wird im CCL-Abschnitt bei den Fluidmodellen als Turbulenzmodell aktiviert: FLUID MODELS: TURBULENCE MODEL: Option = LES Smagorinsky Smagorinsky Model Constant = <Real> 6

7 Der Parameter Smagorinsky Model Constant definiert den Wert für den Modellkoeffizienten und ist optional. Fehlt der Parameter, so wird der Wert 0.1 verwendet Randbedingungen Als Randbedingungen stehen die gleichen Optionen zur Verfügung wie bei Verwendung eines Reynolds-gemittelten Turbulenzmodells. An Einströmrändern kann zusätzlich das vorgegebene mittlere Feld mit randomem Fluktuationen einer zu spezifizierenden Intensität überlagert werden. Beispiel: BOUNDARY: <BC Name> Boundary Type = INLET Coord Frame = Coord 0 BOUNDARY CONDITIONS: MASS AND MOMENTUM: Option = Cartesian Velocity Components U = <Velocity> V = <Velocity> W = <Velocity> Fluctuation Level = <Real> # MASS AND MOMENTUM Die Randbedingungen für die Wandabstandsgleichung werden automatisch gesetzt. Hierfür brauchen und können keine Werte angegeben werden Anfangsbedingungen Bei der Definition der Anfangsbedingungen kann für das Geschwindigkeitsfeld gegenüber den Reynolds-gemittelten Turbulenzmodellen zusätzlich eine Turbulenzintensität angegeben werden. Das spezifizierte mittlere Feld wird dabei mit randomem Rauschen der entsprechenden Intensität überlagert. Für den Skalar der Wandabstandsgleichung kann ebenfalls ein Startwert angegeben werden. 0m dürfte für die meisten Konfigurationen ein geeigneter Wert sein (Default). INITIALISATION: INITIAL CONDITIONS: CARTESIAN VELOCITY COMPONENTS: Option = <Option> U = <Velocity> V = <Velocity> W = <Velocity> Fluctuation Level = <Real> WALL SCALE 7

8 Option = <Option> Wall Scale = <Length> Wie für alle anderen Größen auch kann als Typ der Anfangswerte eine der Optionen Default, Automatic, Automatic with Value oder Value gewählt werden Diskretisierungsschemata Um eine gute Genauigkeit der LES zu erreichen, ist es unbedingt notwendig genau Diskretisierungsschemata mit geringer numerischer Diffusion zu verwenden. Es wird daher empfohlen, für die konvektiven Terme das zweiter Ordnung genaue Verfahren zentraler Differenzen und für das Voranschreiten in der Zeit das zweiter Ordnung genaue Eulerrückwärts Verfahren zu verwenden. Die Aktivierung dieser Diskretisierungsschemata erfolgt wie folgt. SOLVER CONTROL: CONVERGENCE CONTROL: Maximum Number of Coefficient Loops = 3 # CONVERGENCE CONTROL CONVERGENCE CRITERIA: Residual Type = RMS Residual Target = 1.E-4 # CONVERGENCE CRITERIA EQUATION CLASS: continuity ADVECTION SCHEME: Option = Specified Blend Factor Blend Factor = 1. # ADVECTION SCHEME # EQUATION CLASS continuity EQUATION CLASS: momentum ADVECTION SCHEME: Option = Specified Blend Factor Blend Factor = 1. # ADVECTION SCHEME # EQUATION CLASS momentum TRANSIENT SCHEME: Option = Second Order Backward Euler # TRANSIENT SCHEME Mit dem angegebenen CCL Ausschnitt wird ebenfalls die Anzahl von Iterationen pro Zeitschritt auf 3 beschränkt Statistische Auswertung Die statistische Auswertung einer LES-Rechnung wird über einen Expert Parameter aktiviert. EXPERT PARAMETER: 8

9 RUNNING AVERAGES SWITCH = T Die Voreinstellung für diesen Schalter ist F, d. h. keine statistische Auswertung. Bei aktivierter Auswertung werden zeitliche Mittel der Geschwindigkeit sowie alle Komponenten des Reynolds-Spannungstensors ausgewertet. 2.3 Testfall: Vollausgebildete, turbulente Rohrströmung Beschreibung der Konfiguration Das Rechengebiet war ein zylindrisches Rohr mit dem Radius R=0.1m und einer Länge L=16R (Abbildung 1). Das Diskretisierungsgitter bestand aus ungefähr Hexaedern, die soweit möglich isotrop und homogen angeordnet waren (Abbildung 2). Dabei lagen im Querschnitt der Rohrs eweils 528 Elemente, und in axialer Richtung 191 Elemente (äquidistant). Als Randbedingungen wurden and der Außenwand des Rohrs eine Haftbedingung und in Strömungsrichtung Periodizität vorgeben. Dies entspricht der Simulation eines in der Realität unendlich langen Rohrs. Angetrieben wird die Strömung in der Simulation durch eine Impulsquelle in axialer Richtung von der Stärke kg/(m 2 s 2 ). Das Fluid wurde mit der Dichte ρ=1 kg/m 3 und der Viskosität µ=10-5 kg/(ms) definiert. In der Rechnung stellt sich damit eine mittlere Durchflussgeschwindigkeit von circa U b =2 m/s. Die globale Reynolds-Zahl beträgt daher (D=2R) ρ UD Re = = µ b. 3 Als Zeitschrittweite wurde in der Simulation t = 2 10 Sekunden verwendet. Wenn man als maximale momentane Geschwindigkeit 3 m/s ansetzt entspricht dies einer Courant-Zahl t U max CFL = = xmin und liegt damit in dem für eine LES angemessenen Bereich. Als Startwerte für das Geschwindigkeitsfeld wurde ein über das gesamte Rohrquerschnitt konstanter Mittelwert von 1 m/s angegeben, der mit randomem Rauschen mit 10% Intensität überlagert wurde. Dann wurde zunächst eine Weile mit deaktiviertem Smagorinsky-Modell ( C S = 0) gerechnet und erst dann das Modell zugeschaltet. Dies war notwendig, weil das Smagorinsky-Modell sonst die anfänglichen turbulenten Fluktuationen so stark gedämpft hätte, dass sich in der Simulation eine laminare, zeitlich und räumlich konstante Lösung eingestellt hätte. Nach Zuschalten des Smagorinsky-Modells wurden eine weitere Simulationszeit abgewartet, bevor mit der Statistischen Auswertung begonnen wurde. In diese beiden Vorlaufphasen bestanden aus eweils wenigen tausend Zeitschritte. Anschließend wurde über weitere Zeitschritte die statistische Auswertung betrieben. 9

10 R L=8 R L = 16 R Abbildung 1: Rechengebiet bei der Rohrsimulation Abbildung 2: Diskretisierungsgitter bei der Rohrsimulation (Querschnitt) Ergebnisse Die aus der statistischen Auswertung der LES gewonnen Profile für Mittelwerte der Geschwindigkeit und RMS (root mean square) Werte der zugehörigen Fluktuationen wurden mit den experimentellen Daten von Laufer (Laufer, 1954) verglichen. Abbildung 3zeigt auf der linken Seite die zeitlich gemittelten radialen Profile der drei Geschwindigkeitskomponenten. Die Übereinstimmung der axialen Komponente mit dem Experiment ist gut. Die beiden anderen Komponenten müssen im Mittel wegen der Symmetrie des Problems verschwinden. Die berechneten Werte können daher als Maß für die Qualität der statistischen Mittelung dienen. Die Abbildung zeigt, dass die Werte sehr nahe bei Null liegen. Es kann daraus geschlossen werden, dass der Zeitraum über den gemittelt wurde lang genug war und dass der Statistik genügend Stichproben zugrundegelegt wurden. 10

11 Bei den Fluktuationen ist die Übereinstimmung von Experiment und Simulation nur für die beiden Geschwindigkeitskomponenten gut, die in Richtung des Rohrquerschnitts liegen (Abbildung 3 rechts). Bei der axialen Komponente wird zwar der Wert des Maximums gut wiedergegeben, er wird edoch zu weit im Rohrinneren angenommen. Eine mögliche Ursache dafür könnte sein, dass im Experiment die maximalen Fluktuationen in unmittelbarer Wandnähe beobachtet werden. Dieser Bereich wird in der Simulation edoch nicht aufgelöst. Abbildung 4 zeigt ein Beispiel für ein momentanes Geschwindigkeitsfeld im Querschnitt des Rohrs. Die Struktur der turbulenten Wirbel ist gut zu erkennen. Abbildung 3: Statistische Ergebnisse Rohrströmung: Mittleres Geschwindigkeitsprofil (links) und RMS Werte der turbulenten Fluktuationen(rechts) 11

12 Abbildung 4: Momentanes Geschwindigkeitsfeld im Querschnitt des Rohrs (Komponenten tangential zur Schnittebene) 3 Massiv Paralleles Rechen Dieser Arbeitspunkt setzt sich aus der Portierung der Software CFX-5 auf einen massiv parallelen Rechner des Typs Cray T3E und der anschließenden Verwendung zur Large Eddy Simulation eines Testfalls zusammen. 3.1 Portierung der Software CFX-5 auf Rechner Cray-T3E Großrechner vom Typ Cray T3E sind Number Cruncher. Solche Maschinen sind nicht für graphisches Arbeiten an der Console ausgelegt. Es wird daher nur der numerische Löser von CFX-5 auf die Cray T3E portiert. Pre- und Postprocessing müssen auf einem Arbeitsplatzrechner erfolgen. Die wesentlichen Punkte bei der Portierung sind die folgenden: 1) Anpassung von Skripten - zum Übersetzen der Software (Compiler Schalter, maschinenspezifische Definitionen, ) - zum Starten des Lösers 2) Anpassung des Quellcodes: - Bearbeitung von Kommandozeilenargumenten - Datei Ein-/Ausgabe - Systemabhängige Unterprogramme (Datum, Rechnername, CPU-Zeit, ) - Lizensierung 3.2 Testfall: LES eines in einem ebenen Kanal montierten Würfels Dieser Testfall wurde ausgewählt, weil einerseits diese Konfiguration mit den Problemstellungen am Forschungszentrum Jülich verwandt ist und andererseits Vergleichsrechnungen aus der Forschung dokumentiert sind (Rodi et al., 1997) Geometrie Die Geometrie des Testfalls ist in Abbildung 5 dargestellt. In einem ebenen Plattenkanal ist auf der einer Wand ein Würfel angebracht, der die halbe Höhe des Kanals versperrt. Die Längenverhältnisse der Abmessungen der Geometrie sind in der folgenden Tabelle zusammengefasst: x 1 /H x 2 /H h/h b/h Die Reynolds-Zahl der Strömung beträgt Als Einströmbedingung dient eine vollentwickelte, turbulente Kanalströmung. An den Seitenrändern des Rechengebiets ( lateral 12

13 boundaries ) wird Symmetrie oder eine free-slip Bedingung angenommen. An allen Wänden wird die Haftbedingung mit Wandfunktion gesetzt. Die Charakteristik des mittleren Strömungsfelds ist in den Abbildung 6 bis Abbildung 8 dargestellt. Abbildung 5: Geometrie für die Simulation eines in einem Kanal montierten Würfels Abbildung 6: Längenmaße für das Ablegen und das Wiederanlegen der Strömung 13

14 Abbildung 7: Stromlinien des mittleren Geschwindigkeitsfelds proiziert auf die Mittelebene Abbildung 8: Stromlinien des mittleren Geschwindigkeitsfelds proiziert auf die Bodenplatte 3.3 Massiv paralleles Rechnen Der Geschwindigkeitszuwachs der durch paralleles Rechnen erzielt wird hängt von mehreren Faktoren ab. Neben der Software sind dies vor Allem die Effizienz der Kommunikation zwischen den einzelnen Rechenknoten und die Größe des einem einzelnen Knoten zugeordneten Teilproblems. Je größer die Arbeitslast eines einzelnen Knotens ist, umso weniger fällt die Kommunikation ins Gewicht. Der Einfluß der beiden genannten Faktoren wird in Abbildung 9 dokumentiert. Für eine bestimmte Geometrie, den statischen Mischer aus den CFX-5 Beispielen, wurden Rechnungen mit unterschiedlich feinen Gitter und verschiedenen Kommunikationsprotokollen durchgeführt. Bei PVM handelt es sich um das standardmäßige Protokoll, MPICH ist ein neueres, verbessertes Protokoll. Bei diesen beiden Protokollen werden die Daten zwischen den Rechenknoten über ein gewöhnliches Ethernet-Netzwerk 14

15 ausgetauscht. Bei den in der Abbildung mit SCAMPI gekennzeichneten Rechnungen wurde zum Datenaustausch ein spezielles Hochgeschwindigkeitsnetzwerk eingesetzt. Wie in Abbildung 9 zu sehen ist, ist bei kleineren Rechengittern die Beschleunigung nur bei wenigen Rechenknoten gut. Bei Knoten flacht die Speedup-Kurve relativ früh ab. Bei dem größten Gitter mit etwa 1.5 Millionen Zellen dagegen ist die Beschleunigung auch bei der maximalen getesteten Prozessorzahl gut. Unabhängig von der Gitterauflösung zeigen sich Vorteile für das schnellere Netzwerk zum Datenaustausch. Bei sehr großen Problemen ist auch bei vielen CPUs die Last pro Rechner noch relativ groß. Abbildung 10 zeigt, dass bei einem solchen Fall die Geschwindigkeit der Software CFX-5 praktisch ideal mit der Anzahl der eingesetzten CPUs skaliert. Die Software CFX-5 eignet sich daher optimal für massiv paralleles Rechnen. Abbildung 9: Beschleunigung durch paralleles Rechnen in Abhängigkeit von Gittergröße und Effizienz des Kommunikationsprotokolls. Gitter (Knoten/Elemente): 50k ( / ), 100k ( / ), 200k ( / ), 300k ( / ) 15

16 Abbildung 10: Beschleunigung durch massiv-paralleles Rechnen (Testfall F22, Knoten, Elemente) 4 Literatur Laufer, J., 1954, The structure of turbulence in fully-developed pipe flow, NACA Report 1174 Rodi, W., Ferziger, J. H., Breuer, M., Porquié, M., 1997, Status of Large Eddy Simulation: Results of a Workshop, Journal of Fluids Engineering, 119, S