はじめに

現在は第3次人工知能ブームと言われており、これに伴い、ここ数年、世界中で機械学習技術を力学系に応用する試みが数多く行われている。筆者のグループでも科研費基盤A「機械学習による乱流ビッグデータの特徴抽出手法の構築」（2018～2020年度、課題番号18H03758）の補助を受け、流体力学の基本的な問題に対して機械学習を応用する試みに精力的に取り組んできた^（1）。本稿ではこのうち、乱流への応用に関する取り組みのいくつかについて紹介する。なお、本稿で紹介する研究で共通して用いられている機械学習モデルは、畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）^（2）を用いたオートエンコーダ（Auto-Encoder: AE）と類似の構造をもつモデルであるが、他の機械学習手法とその分類に関しては本特集の別記事^（3）を参照されたい。

畳み込みニューラルネットワークを用いたオートエンコーダ（CNN-AE）

本稿で紹介する研究で共通して用いられている機械学習モデルの基本構造は、CNNを用いたオートエンコーダ（CNN-AE）である。CNNはインターネット上の画像ビッグデータと相まってここ数年で画像認識の精度を飛躍的に向上させた立役者である。CNNの構造はもともと動物の視覚野をモデル化したものであり、局所の画像に複数枚のフィルタを畳み込むことでその特徴を抽出するものである。各フィルタを構成する重み係数は、あらかじめ定められた損失関数を最小化すべく数多くのデータを用いて「学習」を行うことによって最適化される。重み係数の更新にはいわゆる普通の深層ニューラルネットワークである全結合型の多層パーセプトロン（Multi-Layer Perceptrons: MLP）と同様、誤差関数の値をネットワーク内で逆伝播させる「バックプロパゲーション」によって行われるが、MLPと異なり、CNNでは結合が局所（フィルタ幅）に限定されていること、およびフィルタの重みがそれぞれの層内で共有されていることにより、同じ入力次元（データサイズ）のMLPと比べて非常に少ない計算量で学習が行えることが利点であり、高次元データが頻繁に表れる流体場データにも適したネットワーク構造である。また、上流側の層から下流側の層にかけて次元を削減していくことにより、入力データの特徴を抽象化でき、ノイズなどに対してもロバストになることもCNNを用いたネットワークの長所である。

図1に本稿で紹介する研究で共通して用いているCNN-AEの基本構造^（4）を示す。入力データqは流れ場のデータ（速度場、圧力場、渦度場など）であり、筆者らの扱っている問題では10万～1000万程度の次元を持つベクトルである。入力データqはCNN-AEのうち入力側の半分であるエンコーダ部によって次元圧縮され、中間部のMLP（目的によって設置）を通り、CNNデコーダ部で次元拡大され、出力ベクトルが得られる。オートエンコーダではこの出力ベクトルが入力ベクトルと一致するよう重み係数の最適化、すなわち学習が行われるが、学習済のネットワークではその一番圧縮された部分（ボトルネック部）の潜在変数ベクトルrが入力ベクトルの情報を抽象化した形で十分に含んでいることになる。なお、この潜在変数ベクトルrの次元は扱う問題に大きく依存するが、例えば最も簡単なベンチマーク問題である低レイノルズ数（Re = 100）の円柱周り二次元流れでは、従来型のCNN-AEを用いた場合には2個の潜在変数（すなわちrの次元は2）で^（5）、さらに階層型CNN-AEと呼ばれるネットワーク構造を用いた場合には1個の潜在変数で^（6）、それぞれ十分に元の流れを再現できることが確認できている。またCNN-AEの作用は主成分分析（Principal Component Analysis: PCA、流体力学分野では固有直交分解（Proper Orthogonal Decomposition: POD）と呼ぶ）を用いたモード分解と基本的には同じであるが、CNN各層からの出力に用いられる非線形活性化関数の作用によって、モード間の非線形な関係もある程度埋め込まれることにより、PCAよりも高い圧縮を可能としている^（5）。

図1　畳み込みニューラルネットワークを用いたオートエンコーダ（CNN-AE）の概念図〔Fukami et al., arXiv:2011.10277 (2020)〕

機械学習を用いた入口乱流生成器

上述のCNN-AEと同様の構造を用いて筆者らが最初に取り組んだ研究が、流入・流出境界を持つチャネル乱流の直接数値シミュレーション（Direct Numerical Simulation: DNS、乱流モデルなどを用いず、流体の支配方程式であるNavier-Stokes方程式をそのまま離散化して計算するシミュレーション）に用いることのできる入口乱流生成器（Machine-Learned Turbulence Generator: MLTG）の提案^（7）である。ここでは平行平板間の乱流（チャネル乱流）のDNSで得られた、ある1断面における二次元断面速度場データqⁿ_DNSを入力とし、次の離散時刻における断面速度場qⁿ⁺¹が得られるよう、ネットワークを学習させている（図2a）。なお、この場合の入力ベクトルの次元は約10万、潜在変数ベクトルの次元は約3000であるが、これよりも潜在変数ベクトルの次元を圧縮した場合には、この種の乱流での運動量輸送に大きな役割を果たす壁面近傍の細かな渦構造が捉えられなくなってしまうことも、数値実験により明らかになっている。

図2　CNN-AEと同様の構造のネットワークを用いた入口乱流生成器（MLTG）
〔K. Fukami, Y. Nabae, K. Kawai, and K. Fukagata, Phys. Rev. Fluids 4, 064603 (2019).Copyright © 2019 by the American Physical Society. With Permission.〕

学習済みのMLTGに対しては、まずMLTG単体で乱流構造の時間発展が定性的・定量的に再現できるかを調査した。この場合、初期値q₀にはDNSデータを用いる必要があるが、その後はMLTGから出力qⁿ⁺¹_MLを次の時刻における入力qⁿとして再帰的に用いることにより、さまざまな空間スケールの構造をもった断面乱流場の時間発展が再現できる。また、MLTGを用いて計算された乱流統計量を用いた定量的な評価によってもDNSの乱流統計量（すなわち、正解）と良い一致が得られることが確認できた。

なお、MLTGの学習プロセスではDNSデータの時系列を学習させている訳ではなく、二つの連続する離散時刻間の断面速度場の関係を学習させている。すなわち、学習済みのMLTGは、離散化したNavier-Stokes方程式の低次元代理モデルとなっている。このことから、周期境界条件を持つDNSで得られた時間二点相関関数に見られる人工的な相関のピーク（周期境界条件を介して上流に戻ってくる流れに起因するピーク）がMLTGでは見られず、生成する乱流の性質としても従来の流入・流出境界DNSで良く用いられるドライバDNS（入口上流に設けられた周期境界条件のDNS）よりも優れていることが分かった。

さらに、学習済みのMLTGを実際に流入・流出境界DNSの流入境界条件として計算を行ったところ（図2b）、下流の“Main Simulation”の領域での乱流統計量はドライバDNSを用いた場合と見分けがつかない程度に一致し、また時間発展する流入速度場の計算に要する時間も、筆者らの計算環境ではドライバDNSを用いる場合の約580分の1であった。なお、この計算時間にはMLTGの学習に要する計算時間は含んでいない。すなわち、このMLTGが効果的に用いることができるのは、流入する乱流の統計量は同じであるが下流での条件が異なる（例えば、何かしら物体が設置されている、何かしらの制御が加えられているなど）計算を複数ケース行う場合であると言える。

乱流の時空間超解像

CNN-AEと同様のネットワーク構造は、低解像度の流れ場データから高解像度の流れ場データを推定する超解像^（8）にも利用でき、さらに時間方向に離散的にデータがある場合のフレーム補間（Inbetweeningという）と組み合わせることによって時空間超解像も行うことができる^（9）。図3はその時空間超解像を二次元減衰乱流に適用する場合の概念図であるが、この場合、まず低解像度（図では8×8格子）の流れ場データから高解像度（128×128）データを再構築するよう、空間超解像用のCNNを学習させる。次に離散的な時刻において空間超解像された流れ場データから、その間の数時刻における高解像度流れ場を再構築すべく、フレーム補間用のCNNを学習させる。この二つを組み合わせることにより、高解像度でかつ時間方向にも密な時間発展流れ場データが再構築できる。

図3　乱流の時空間超解像^（9）（図は流体工学部門ニューズレター^（10）より転載）

本研究では二次元減衰乱流に限らず、円柱や翼周りの二次元流れや三次元速度場を持つチャネル乱流に対してもこの空間超解像および時空間超解像を適用し、再構築された場の統計量を用いた検証を行った。その結果、パラメータを適切に選定することにより、従来手法に比べより高精度な空間超解像および時空間超解像が行えることが示された。特に、従来の超解像手法である双3次補間では全く流れ場を再構築できない非常に粗い解像度の入力データからでも、このCNNベースの超解像では流れ場の特徴的な構造が再構築できたことは驚きに値する。このような機械学習ベースの超解像技術は、データサイズの圧縮のみならず、元となるデータの時空間解像度が限られている場合でも何かしらの判断に必要な高解像度場が良い精度で再構築できるということ自体もメリットであり、例えばOnishi et al.^（11）は都市街区における微気象予測へ超解像解析の応用を報告している。

乱流の3次元速度場に対する機械学習代理モデル（ML-ROM）

実は、筆者らのグループにおいて研究開始当初からの機械学習の乱流への応用の一つの大きな目的は、乱流の3次元速度場に対する低次元代理モデル（Machine-Learned Reduced-Order Model: ML-ROM）の構築であった。もともと最低でも100万次元のオーダーを持つ速度場データの時間発展を例えば10～100次元のオーダーにまで低次元化できれば、乱流ダイナミクスのより本質的・抽象的な理解を深められ、さらにそれに制御理論や最適化理論を組み合わせることにより、より効果的な乱流制御や最適化が可能となることが期待できる。一方、乱流の3次元速度場に対する機械学習の適用は、現在の最新のGPU計算機環境を用いても難しい巨大サイズの問題である。ここではその第一歩として実施したミニマルチャネル乱流（乱流ダイナミクスを維持するために必要最小減の計算領域内のチャネル乱流）に対するML-ROMの構築に関する研究成果^（12）を紹介する。

図4にML-ROMの概念図を示す。まずDNSデータを用いて3次元CNN-AEの学習を行い、得られた潜在変数ベクトルの時間発展に対して、Long Short-Term Memory（LSTM）と呼ばれる再帰型ニューラルネットワークを用いてその時間発展挙動を学習させる。学習済みの3次元CNN-AEとLSTMを用いることにより、図4（a）のように3次元速度場の時間発展を再現した。再現された場の統計量はDNSの統計量と比較し、定量的に良好な一致を得た。また、ダイナミクスの観点からも図4（b）のようにDNSと定性的には良好な一致を確認している。ただし、ダイナミクスの詳細に関しては改善の余地が大きく残されており、今後の課題である。

図4　乱流の3次元速度場に対する機械学習代理モデル（ML-ROM）
(a) ML-ROMの概念図，(b) ML-ROMを用いて再現した乱流場の生成Pと散逸Dの位相空間における時間発展の軌跡．
〔T. Nakamura, K. Fukami, K. Hasegawa, Y. Nabae, and K. Fukagata, Phys. Fluids 33, 025116 (2021).Copyright © 2021 by American Institute of Physics. With permission.〕

おわりに

本稿では筆者らのグループで行ってきた機械学習の流体力学への応用^（1）のうち、乱流に関するいくつかの研究例を紹介した。ここで紹介した例はいずれも基本的には高次元流れ場の低次元空間へのフィッティングであるが、これを利用することにより流れの制御を発展させられるなど大きな可能性を秘めている。今後のさらなる研究の発展に期待して頂きたい。

本稿で紹介した一連の研究は科研費基盤A「機械学習による乱流ビッグデータの特徴抽出手法の構築」（2018～2020年度、課題番号18H03758）の補助を受けたものである。研究分担者の先生方、共同研究者である深見開君（現・UCLA博士課程）をはじめとする研究室学生・卒業生、および研究協力者の平邦彦先生（UCLA）に深く感謝します。

---

参考文献

(1) 機械学習のページ，慶應義塾大学理工学部・深潟研究室, https://kflab.jp (参照日2021年4月16日)

(2) Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition, Proc. IEEE, Vol. 86 (1998) , 2278.

(3) 平 邦彦, 機械学習による流体解析, 日本機械学会誌, Vol. 124, No. 1232 (2021), pp. 6-9.

(4) K. Fukami, K. Hasegawa, T. Nakamura, M. Morimoto, and K. Fukagata, Model order reduction with neural networks: Application to laminar and turbulent flows, arXiv preprint, arXiv:2011.10277 (2021).

(5) T. Murata, K. Fukami, and K. Fukagata, Nonlinear mode decomposition with convolutional neural networks for fluid dynamics, J. Fluid Mech., Vol. 882 (2020), A13.

(6) K. Fukami, T. Nakamura, and K. Fukagata, Convolutional neural network based hierarchical autoencoder for nonlinear mode decomposition of fluid field data, Phys. Fluids, Vol. 32 (2020), 095110.

(7) K. Fukami, Y. Nabae, K. Kawai, and K. Fukagata, Synthetic turbulent inflow generator using machine learning, Phys. Rev. Fluids, Vol. 4 (2019), 064603.

(8) K. Fukami, K. Fukagata, and K. Taira, Super-resolution reconstruction of turbulent flows with machine learning, J. Fluid Mech., Vol. 870 (2019), pp. 106-120.

(9) K. Fukami, K. Fukagata, and K. Taira, Machine-learning-based spatio-temporal super resolution reconstruction of turbulent flows, J. Fluid Mech., Vol. 909 (2021), A9.

(10) 深見 開，深潟 康二，平 邦彦，チャネル乱流における機械学習3次元超解像解析，日本機械学会流体工学部門ニューズレター「流れ」，2020年2月号, Art. 4 (2020)．

(11) R. Onishi, D. Sugiyama, and K. Matsuda, Super-resolution simulation for real-time prediction of urban micrometeorology, SOLA, Vol. 15 (2019), pp. 178-182.

(12) T. Nakamura, K. Fukami, K. Hasegawa, Y. Nabae, and K. Fukagata, Convolutional neural network and long short-term memory based reduced order surrogate for minimal turbulent channel flow, Phys. Fluids, Vol. 33 (2021), 025116.

---

＜正員＞

深潟 康二

◎慶應義塾大学 理工学部機械工学科 教授

◎専門：流体力学、流れの制御、乱流、機械学習