音楽とAIの未来を考える理化学研究所が提案するメロディスロットマシンHDは、スロットマシンを楽しみながら、音楽構造を使ったメロディ生成の可能性を体感いただくiPadアプリケーションです。複数のバリエーションのメロディから選ばれるメロディが、スロットマシンに現れるシンボルによって変化し、新しい組み合わせのメロディを生成します。メロディのバリエーションの作曲では、GTTMという音楽理論を使ってメロディの構造を分析しているため、メロディを途中で別のバリエーションに切り替えても構造が破綻しません。理化学研究所が研究する音楽構造の不思議な世界をどうぞお楽しみください。
【スロット画面】
スロット画面で、シャッフルボタンを押すかiPadを揺らすと、リールに並んだシンボルが回転しランダムシャフルした並びで停止します。シンボルはメロディのバリエーションの変化と対応づけられていてます。たとえば音符のシンボルの場合では、同じバリエーションのメロディが連続することを意味しています。一方、チェリーのシンボルの場合では、バリエーションが次々と変化します。
【グリッドタイル画面】
画面の左右にあるモード切替ボタンを押すと、グリッドタイル画面が表示され、曲全体のバリエーションを確認・変更することができます。グリッドによりバリエーションの組み合わせに変更を加えると、スロット画面でのシンボルも連動して変化します。
【パフォーマー画面】
画面の左右にあるモード切替ボタンを押すか、iPadを縦に持つとパフォーマー画面があらわれます。パフォーマー画面では、スロットあるいはグリッドによって決まった新しい組み合わせのメロディを奏者が演奏する様子を見ることができます。AIによって生成した短時間の演奏映像を実際に撮影した映像にはさみこむことで、滑らかな奏者の動きを実現しています。
【開発経緯】
理化学研究所 革新知能統合研究センター 音楽情報知能チームでは、AIを使った音楽の新しい創り方、聴き方の可能性を探求しています。メロディスロットマシンHDは、AIがメロディの構造を自動分析し、得られた構造を用いて新たなメロディを再合成する次世代の音楽制作・消費のありかたの一例を示したものです。映画やゲームなど、シーンごとにたくさんのバリエーションが必要とされる場合において作曲家の支援を目指しています。
このような音楽の創り方が、多くの方に受け入れられるかの調査を兼ねてアプリの公開をしています。アプリをしばらく使ってアンケートのお願いが出ましたらどうぞご協力ください。今後、曲の追加を予定しています。アプリおよび技術に興味のあるかたは、サポートURLよりご連絡ください。