Agent natrénovaný v kanálu snížil simulovanému křídlu místní třecí odpor o 38 procent

Mezinárodní tým popsal 19. srpna v Nature platformu HydroGym, sadu jednašedesáti ověřených úloh, na kterých se dá učením posilováním trénovat aktivní řízení proudění. Tištěné číslo s tou prací vyšlo 10. září a redakce jí dala obálku.

Aktivní řízení proudění znamená, že do obtékání povrchu někdo průběžně zasahuje: malými klapkami, rotujícími prvky nebo tryskami, které vzduch u stěny přifukují a odsávají. Cílem bývá menší odpor, větší vztlak, tišší chod nebo odvod tepla. Autoři práce uvádějí, že aktivní snižování odporu by mohlo letecké dopravě ubrat až 15 procent spotřeby paliva a koordinované řízení větrných parků zvednout jejich výkon o 4 až 5 procent.

Proč se jednotlivé pokusy nedaly porovnat

Učení posilováním je postup, při kterém se program učí zásahům do prostředí podle odměny, kterou za ně dostane. Práce připomíná dva obory, kde s ním přišel velký posun – předpověď struktury bílkovin a řízení plazmatu ve fúzním reaktoru –, a společného jmenovatele vidí v tom, že v obou byly po ruce sdílené srovnávací úlohy. Dynamika tekutin nic takového neměla. Každý regulátor se ladil na jednu geometrii, jeden provozní bod a jedno numerické nastavení, takže se výsledky nedaly ani sčítat, ani poctivě srovnávat.

Jednašedesát prostředí a šest řešičů

HydroGym není vlastní simulátor, ale vrstva nad cizími. Úlohy sahají od dvourozměrných učebnicových případů po trojrozměrné turbulentní proudění s Reynoldsovým číslem až 400 000 a s různými Machovými čísly; největší simulace pracují s 1,6 miliardy buněk. Pod tím běží šest řešičů – od pomalé, zato dostupné konečněprvkové knihovny v Pythonu přes mřížkový Boltzmannův a konečněobjemový řešič na GPU až po plně diferencovatelné, které umí spočítat gradient přes celý průběh simulace.

Rozhraní odpovídá knihovně Gymnasium, takže prostředí přijmou běžné implementace algoritmů. Kód je na GitHubu pod licencí MIT. Referenční výsledky spočítal tým třemi zavedenými algoritmy – PPO, DDPG a TD3 – a jejich trénink dohromady spotřeboval přes 150 000 hodin strojového času na GPU.

Tam, kde je řešič diferencovatelný, jde gradient protáhnout i prostředím, ne jen politikou agenta. Na Kolmogorovově proudění to autoři zkusili: takto doplněné PPO potřebovalo podle práce nejméně o 65 procent méně tréninkových iterací než obyčejné a našlo přitom regulátor, který zasahuje mírněji.

Z kanálu rovnou na křídlo

Nejsilnější ukázka v článku se týká přenosu. Trénovat agenta přímo na trojrozměrném křídle při vysokém Reynoldsově čísle je výpočetně neúnosné, takže tým trénoval jinde: v turbulentním proudění mezi dvěma deskami, jejichž stěny mají otvory a agent jimi vzduch přifukuje a odsává tak, aby dovnitř i ven šlo stejné množství. Naučenou politiku pak bez jediného dalšího kroku učení pustil na sací stranu řezu křídlem NACA 0012 při Reynoldsově čísle 200 000.

Místní třecí odpor na křídle klesl zhruba o 38 procent a celkový odpor o 11 procent, tedy víc, než zvládne opoziční řízení, které se v oboru bere jako měřítko. Trénink v jednodušším prostředí proběhl podle tiskové zprávy Michiganské univerzity stokrát rychleji a vyšel desettisíckrát levněji než přímé ladění na křídle; text v Nature popisuje tentýž rozdíl jako čtyři řády.

Co práce nedokazuje

Přenos funguje proto, že obě úlohy sdílejí fyziku u stěny, a jak daleko taková podobnost sahá, nechává práce otevřené. Prostředí navíc pokrývají hlavně učebnicové případy a mezní vrstvy blízko rovnováhy. A všechno se odehrálo v počítači: v aerodynamickém tunelu ani na skutečném křídle HydroGym vyzkoušený není.

Práce sama ukazuje, kde je strop. Trénovat agenta rovnou na simulaci celého letadla by podle ní vyžadovalo přes 500 GPU a víc než 50 TB paměti na jediný běh. Náhradní prostředí je tedy odpověď na cenu, ne na to, že by kompletní simulace nebyla přesnější.

Kam s tím autoři míří

V závěru mluví o základovém modelu pro řízení proudění: jednom regulátoru předtrénovaném napříč všemi prostředími, který by se na novou úlohu doladil z pár pokusů, nebo vůbec. Přirovnávají to k jazykovým modelům, kde podle nich rozhodla dostupnost velkého a rozmanitého korpusu, ne jediný algoritmický objev.

Na platformě se podílely Washingtonova univerzita, Michiganská univerzita, RWTH Aachen a Technická univerzita v Mnichově. Vývoj platila hlavně americká National Science Foundation a Boeing.

Zdroje: The HydroGym reinforcement learning platform for fluid dynamics (Nature 657, s. 369–376, otevřený přístup), tisková zpráva Michiganské univerzity z 26. srpna 2026 a repozitář dynamicslab/hydrogym.