数理解析研究室(指導教授：竹川高志 教授)は、シミュレーションと機械学習を組み合わせることで、現代画家が描く海の絵がそのまま動いているような動画を作成する技術を開発、3月31日から開発した技術を利用した共同制作作品を個展で展示しています。

同研究室では、信号処理・統計解析などを駆使して隠れている情報を引き出し、背後にある原理を見つけ出す技術を開発しています。たとえば物理現象と社会における人の動きなど、一見無関係な現象も数理モデルを使って記述すると、驚くような共通点が発見できることがあります。

研究の一環として、2022年より、アーティストの尾潟 糧天 氏が描く海の絵画を、シミュレーションやAI技術を利用して動画として拡張する技術に取り組んでいます。初期の研究成果を元に学生が作成した、キネティックウォールと連動し音環境に対応して変化する作品「アートと技術の海」は、壁フェス Kinetic Wall Festival 2022で最優秀賞を受賞しています。

3月末から公開される作品は、壁フェスの時点から生成される動画の品質を大きく向上させ、各フレームにおいて尾潟氏の絵画の特徴をより忠実に再現しつつ、海のリアルな動きを高い解像度で実現しています。複雑な海面の形状と動きを複数の単純な波の組み合わせで表現し3DCG技術によりリアルな動画を生成する一方、泡の部分の動きについてはあえて直接的な物理モデルを想定せず、尾潟氏と対話を繰り返すことで尾潟氏の持つイメージをモデル化しシミュレーションにより再現しました。さらに、機械学習(CNNを用いたGANによる学習)を用いて実際の絵画のデータを取り込んで再現することであたかも尾潟氏が1枚1枚描いたかのような動画となっています。多くの方に見ていただくことで、情報学に対する専門知識の有無にかかわらず、人間の認知と数理モデルの関係性や応用可能性を感じていただけることを期待しています。