電通社内で行われた、史上初ともいわれる「人とAIのJAZZセッション」。今回のLIVEセッションで活用したAIは、「Google Magenta」。人間の演奏をニューラルネットワークで分析して、続きのメロディを自動生成するソフトウェアで、言い換えれば、”人間の演奏の続きを考えてくれるAI”です。今回は人間のピアニストとのセッションを行いました。
課題とされたのは、「AIが弾いていることをいかに伝えるか＝AIの存在の可視化」。BIRDMANは、その課題を解決するべく、モーショングラフィックのデザインと実装を行いました。人の演奏（IINPUT）の音の長さ・音階・強弱・テンポをそれぞれビジュアライズした後、AIの演奏（OUTPUT）をビジュアライズ。INPUTとOUTPUTのメリハリをつけることで”掛け合い”を表現し、しかも見た目にも楽しめるモーショングラフィックに仕上げました。
通常、画像解析や言語処理などで活用される際は、その存在自体は見えないことが多いAI。今回はそんなAIの活動を可視化することで、エンターテインメントに昇華させるというチャレンジでした。BIRDMANではAIと人の掛け合いを可視化したモーションデザインを担当しました。
Experimental Jazz Session between Human & AI.
A live music session held at Dentsu Hall, Tokyo.
Project based on Google Magenta and the predictive power of its recurrent neural networks to generate additional music following the melody inputs. The AI generates the continuation of the melody (OUTPUT) based on Length, Scale, Velocity and Tempo found in the human INPUT data.
As we all know, AI is mostly used in image analysis, language processing, but its existence in those fields goes unnoticed most of the times. Therefore, it was a challenge for us to visualize the existence of the AI system and turn it into a means of entertainment at the same time. The obvious answer was motion graphics, used to visualize both the INPUT & OUTPUT Data. BIRDMAN was in charge of data visualization.
在T站说说你的看法～