スマートフォン向け音楽自動生成&動画作成アプリ「mupic」は、画像の色を解析して、その配色や明るさなどから出来たオリジナルの楽曲が付いた動画を保存できるプロダクト。このアプリケーションの開発を手がけたのは「Lifetime Respect」で爆発的なヒットをした三木道三ことDOZAN11氏とXamarin開発の国内第一人者でもある青柳臣一氏が代表取締役を務める「株式会社ディーバ」。
mupicの開発秘話から垣間見えた、アーティストと開発者、ユーザーとの「協創」の精神。それを実現するための「コミュニケーションのヒント」についてお話をお伺いした。
■プロフィール（写真左から）
- DOZAN11：96年、「三木道三」名義でジャマイカ拠点のレーベルからデビュー。2001年に発売したシングル「Lifetime Respect」が、日本のレゲエ史上初のオリコン週間シングルチャート1位を記録。2002年に一度引退して、2014年から『DOZAN11』の名義でリリースとライブ活動再開。DJ、ソングライター、プロデューサー、アプリ開発者と幅広く活動するミュージシャン。
- 青柳臣一：大阪で28年続くシステム開発会社「株式会社ディーバ」代表取締役。オリジナルソフトウエア（給排水設備CADなど）の開発とあわせて、ビジネスアプリケーションの受託開発、iOS、Androidなどスマートフォンアプリ開発を手がける。C#、Xamarinでの開発を得意とする。 マイクロソフトMVP制度が始まったときの第1号受賞者のうちの1人。Xamarinネイティブによるモバイルアプリ開発の著書やCodeZineでの連載をもつ。
目次
DOZAN11が制作に参加している「mupic（ミューピック）」とは
ーーDOZAN11さんはヌーラボの2019年度の社員総会にスペシャルゲストとして招致されましたね。社員も喜んで大盛り上がりでした。
DOZAN11：ヌーラボさんは、社員さんの外国人率の高さも、ITサービスを開発する会社なのに、ちゃんとしたクラブを貸り切って社員総会するノリも、日本の地方都市の会社らしからぬ感じでおもしろかったです。
2019年度のヌーラボの社員総会にスペシャルゲストとして招致されたDOZAN11さんに会場は大盛り上がり。
ーーさて、今回はDOZAN11さんが監修を務めている、mupicのプロダクト開発について根掘り葉掘りお伺いさせていただきます。まずはじめに、mupicについて教えてもらえますか？
DOZAN11：mupic（ミューピック）は画像の特徴から音楽を自動生成するスマートフォンアプリです。画像は2オクターブ4小節の楽譜にされて音楽が再生されます。フィーリング（感情）や色選択の方法などで自分好みにアレンジを加えることができます。musicとpictureが融合した新しいコンテンツとシェアの形。それがmupicです。
ーーmupicを作ることになった経緯を教えてもらえますか？
DOZAN11：mupicの前にPhotoMusicというPC用ソフトウェアを弟と他の会社と組んで開発しました。弟が、以前勤めていた会社で、画像の色を解析して色の分布を立体的に3Dで表示するソフトを作った経験があり、今度は色を音楽にしたいと相談してきたので、僕が音楽のアルゴリズム考案をしてPhotoMusicを開発していきました。
こちらも画像から音を生成するソフトなのですが、操作や画面上のデザインが初心者にとって難しかったし、デスクトップソフト自体がスマホアプリよりもハードルが高い。なので間口が広いスマホアプリを作りたい、ということで汎用性が高く高品質な開発ができそうな青柳さんに相談したんです。
青柳：mupicの構想を最初に話し合ったのは2018年5月くらいです。それから1年かけて、2019年5月1日にアプリを提供開始しました。アプリ自体は、XamarinとMonoGameで開発しています。プロトタイプはXamarin.Formsを使っていましたが、最終的にはXamarinネイティブにしました。
ーーmupicはXamarinで作られているのですね。アプリの仕組みはどうなっているのでしょうか？
DOZAN11：mupicに画像をアップロードすると、画像がDTMソフトのピアノロール画面のようになります。そして色がMIDIノートになって配色を読んで演奏されます。構造としては、色彩情報をもとに画像をモザイク状に解析してから7色抽出します。各色に割り当てた7つ楽器がそれぞれの色の位置で鳴るという仕組みになっています。
ーーmupicを実際に試して面白い！と思ったのが、アップロードする画像の表情をしっかりと読み取って、「Happiness」「Angry」などのメロディを自動で生成してくれる点です。
DOZAN11：顔の表情認識機能を装備予定で、現在はまず色から5つの「フィーリング」の音楽アレンジに自動的に選択される機能にしました。
「フィーリング」ごとにどんな演奏、どんな音色が良いかは僕が「こんな感じかな〜」とビートを考えて制作しています。それをMIDIファイルで青柳さんに渡して、楽器編成は色彩研究家の弟が「赤=刺激が強いから管楽器」という感じで考えながら「フィーリング」ごとに当てはめて、デフォルトの演奏方法を作っていきました。元々、このアプリは音に色を感じる「共感覚」を増幅させることを意識しています。
ーーMIDIデータに変換した音楽ファイルをモバイルアプリに取り込んでいくという取り組みはあまり前例が少なさそうです。
青柳：そうですね。MIDIファイルの読み込みと再生に対応したモバイルアプリの開発は前例があまり無かったので工夫が必要でした。さらにそれを組み込んだ動画の書き出しでも苦戦する場面もありましたが、なんとか色々調べつつアプリ開発を進めました。
専門分野をまたぐことでオリジナリティーを生み出す
ーーどういうプロセスと意識で、mupicの開発を進めたのですか？
DOZAN11：僕はアプリ開発は素人だけど、それでもアプリ開発の現場で仕様書の作成から現役のポップスやレゲエのアーティストが中心になってる例は世界でもほとんど聞きません。
弟はソフト開発を経験しているうえに、色彩について専門知識が有ります。僕が音楽を勉強する時に作った音楽理論の表や、こうなった時こうなって欲しい、という楽譜の動きの表に説明を加えたものを作成し、弟は機能のフローチャート図を作成して、それらを「仕様書」「要望書」として青柳さんにお渡しました。
しかし、僕も弟もデスクトップ版の複雑なソフトを、スマホアプリでどこまで出来て、どういうユーザーインターフェースにするべきかは、描き切れなかったので、やりたいことの実現化は青柳さんの技術とセンスにかなり頼りました。
ーーお互いのスペシャリティーを活かしあう開発体制ですね。
DOZAN11：そうですね、ずばり僕たちがmupicを作る上で意識したのは「各々の専門領域をまたぐ」ことでした。
僕が音楽の理論的な部分を構築して、弟が色彩の数値や、使用色のパターンを設定して、意見交換をしながら整合性をつけていく。そしてまとまったアイデアを青柳さんをはじめとしたディーバのエンジニアさんたちがユーザーインターフェースに落とし込んで、アプリ上で具現化していく。
バックグラウンドや予備知識が違うと、伝え合うのが難しいこともありますが、それを乗り越えて生まれた作品のオリジナリティはとても高く、なかなか競合も生まれにくい。グーグルなど他の大企業も自動作曲のサービスを開始していますが、ああいう大手が持つ資金力や膨大なデータ無しに僕らが持ってるものを持ち寄ってできることを考えました。
共に挑戦するための、相手を尊重したコミュニケーション
ーー伝え合うのが難しい、とはどういうところでしたか？
青柳：DOZAN11さん達とのやりとりは主に私が窓口となっていますが、開発はディーバのメンバーみんなでおこなっています。そうした背景のなかで、DOZAN11さんたちからもらった仕様書を、私たちディーバでどう実現するか、スマホの制約にどう対処するか、DOZAN11さんの表や説明の理解など、あらゆることを消化するために、自分でも一から音楽理論の勉強もしましたし、どうしても難しいところはDOZAN11さんと弟さんにヒアリングしながら、試行錯誤は重ねました。
DOZAN11：音楽は1つの用語に3つくらい意味がある時があるんですよ。そして、色を読んでの自動作曲のアルゴリズムなんて、どこにも前例がないし、その動きをことごとく表や文字にすると情報量も膨らむので、プログラミングの難易度やスマホの制約も聞きながらディスカッションしたい。それであたりをつけるための仕様書第一弾を投げたものの、なかなか反応がなく、弟と「難しいのかな、悩んでるのかな、仕様書をもっと細かくするべきか？」など、待ちながら協議していました。
ーーそこからどう対処したのですか？
DOZAN11：「彼らは必要な時間をかけていて、分からなかったら聞いてくるはず」と信頼して、説明やアクションを細かくし過ぎない方向にしました。「なんで時間がかかったのか」というのは、ある程度かたちができたときに原因がわかるものだと思うんです。悩んでいたのか、とか、技術的に難しかったから、とか。待っている間はやきもきしますけど、やはりそこは相手を信頼して待つことが重要だなと。
青柳：もうちょっと状況を見通しよくできればよかったんですが、いわゆる「ハマる」状況になると、とにかく試行錯誤を繰り返して解決するしかないですからね。私もそうですが、エンジニアって自力で本を読むなりして勉強しながら開発するスタンスの方が多いと思うんです。だからこそ、あまり細かくオーダーされないで、じっくり腰を据えて取り組める環境があるとかなり「捗（はかど）り」ますね。
チャットコミュニケーションの魅力はメールにはない「気軽さ」
ーー相手の特性にあったコミュニケーションは重要ですね。ちなみにコミュニケーションはどのように進めていたのですか？
DOZAN11：基本的にリモートなので、ビジネスチャットとメールなどのコミュニケーションツールは活用しています。僕が思うビジネスチャットの良さって、メールと比較して独り言やアイデアの発言がしやすい点だと思うんです。ある意味みんなのアイデア帳や備忘録代わりというか。
ーーアイデアが言いやすい、と言うと。
DOZAN11：メールは相手に一言だけ伝えたいときでも、数行になるじゃないですか。たとえば「お世話になります」から始めるとか。ビジネスチャットはそういうの無しで相手にメッセージだけ送れるので、コミュニケーションにスピード感が出ますね。だからパッと浮かんだアイデアも言いやすい。
ーーメールと比較するとチャットツールならではのメリットも多いですね。
青柳：私は用事があったら連絡をしたいタイプの人間なので、チャットは良い意味で「既読スルー」ができるので、気持ちが楽ですね。あと会話の履歴が残って、あとからさかのぼることができるのも大きなメリットです。メールだとすぐに埋もれていくので。
ーー逆にビジネスチャットの良くないところってありますか？
青柳：チャットツールでも未読発言がスレッドツリーの中に埋もれやすいのものは、使いづらいなぁと感じます。会話が基本オープンになっていてさっと内容が確認できるチャットツールの方が何が起きているのかわかりやすいですね。誰に対する返信か即座にわかるように設計されているチャットは使いやすいし見やすいです。
DOZAN11：僕はチャットはタスク管理には向いていないと思っています。会話みたいに流れて良い「フロー型の情報」はチャットを使ってますけど、アプリの機能開発の依頼とか議事録的なものは「ストック型の情報」として別のツールを使っています。コミュニケーションでツールを使うときは使い分けが自分にとっては重要です。
ーータスク管理をする上でのこだわり、とか気をつけていることってありますか？
DOZAN11：コード進行は、1つのキーに対してコードは1から7までの基本コードがあるので、それらに7色を割り振っています。そんな感じで、以前から共感覚的に色を使っています。色を活用するとパっと直感的に情報が入ってくるんです。
なので、文字を書くツールでも作曲ツールでもよく色付け機能を使うので、それがmupicの機能にも反映されています。僕にとってチャットツールの良くないところは、文字にもスレッドにも色を付けられないところですね（笑）。
AIがパートナーになる時代に向けた自分なりの実践例
ーー引き続きmupicの機能開発をするうえで、DOZAN11さんと青柳さんが意識していることってありますか？
DOZAN11：人が直感的に音楽を作成と演奏が出来て、ぼくが習得に苦労した音楽知識の基礎が理解できるアプリを目指しています。弟としては色と音の相関性にかなりこだわっています。
青柳：そうした考え方は実際にmupicの機能にも活かされています。えば、mupicには、C#やb♭みたいなコード名が表示されています。実装の段階で、私としては、ユーザーはこれは見てもわからないし不要なのでは？と思ったのですが、「これがあるからこの音がこのコードで成り立っているとわかるのが重要」とDOZAN11さんから言われてなるほどな、と。
ーーmupicを通じて自分が苦労した「作曲」をある意味“民主化”したいんですね。
DOZAN11：そういう風にも言えますね。mupicで遊びながら、自然に音楽を習得してほしい。「教育無償化」という言葉がありますが、アプリやゲームの中に教育の要素を散りばめるのも一つの手だと思うんです。YouTubeとかでもそうですよね。遊びにお金と時間を使ってるのに、ついでに学習出来たら良いじゃないですか。
みんながそうやって楽しくて身になる創作物を作りあったら良いと思ってるんです。僕は音楽をやってきたから音楽でそれに参加したいなと。
ーーまさに生活の様々な要素をゲームの形で学べる「ゲーミフィケーション」の考え方ですね。
DOZAN11：やればやるほど、生きるのに役立つ知識や知恵が身につくなら、ゲーム三昧でも良いんじゃないですか？教科書の代わりのゲームがいっぱい導入されれば良いのに、と思います。mupicもそんな風になったら良いなぁ、と。
これからどんどんAIが仕事や生活のパートナーになる度合いが加速していきそうですよね？先日『新しい未来』っていう新曲を出したんですけど、この曲はそういうテクノロジーやサイエンスの進化を期待して、楽しもうよ！っていう歌なんです。もちろん僕自身もそういう考え方で、その流れに少しでも身近でいる為に、またその実践例を自分なりに形にしてみるために、アプリ開発をやっているところもあります。
7月17日に発売されたDOZAN11氏の新曲「新しい未来」。トラックは名門海外レーベルからリリースするIimori Masayoshi。ミックスはグラミーR&B部門受賞のMiki Tsutsumi。
mupicもいずれ、データを吸収して、自動マッチングの精度を高めたいとは思っていますが、勝手に音楽が出来るだけじゃなく、作曲やその上達を楽しんでもらえるような設計を保ちたいですね。
自分たちのやりたいこととユーザーの声で行く先を決める
ーー具体的には、mupicを今後どのように改良していく予定ですか？
DOZAN11：今まだiOSアプリしかないので、今後はAndroidにも対応できればと考えています。また音楽の種類も感情に合わせたアレンジしか作っていないので、ロック、レゲエみたいな音楽ジャンルを追加していきたいです。
課金の要素としては、音楽のアレンジや色設定の自由度を上げたり、映像エフェクトやミュージシャンとのコラボレーションも考えています。ミュージシャンが作った音色や演奏と自動生成の演奏をユーザーが組み合わせたり、アレンジできたりしたら、僕たちのmupic、アーティスト、ユーザーの三者のコラボレーションになるという、どこにもなかった音楽の提供の仕方ができるかもしれません。
青柳：複数の写真を動画再生できるスライドショー機能というのもリリースする予定です。いまのmupicは写真にあわせて音楽を再生するのが主な機能ですけど、「やっぱり演奏したいよね」という意見をSNS上でたくさんもらったり、InstagramやYoutubeなどでの拡散を期待しているユーザーが多いので。
DOZAN11：自分が作る曲とちがって、mupicはユーザーが創作や演奏を楽しんでもらうためのものですから、ユーザーの声を大いに反映して、行き先を決めていけば良いと思ってます。
ーーヌーラボのプロダクト開発でもユーザーの声や反響はとても重視しています。一方的に作って提供するのではなく、「協創する」という双方向の姿勢は現代の作り手にとって重要な価値観なのかもしれませんね。
DOZAN11：そうですね。たとえば、アメリカなんかだと「動画を検索できるサイトがないね」でYouTubeができたり「大学生がつながれるツールが欲しいね」でFacebookができたり。誰かの何気ない「こうしたい」で爆発的に人気になるプロダクトが生まれています。
僕らも外部から投資を受けてmupicを開発したわけではなく「こんなの作ってみたい」というところからスタートしています。そこから、ユーザーの「こんな風にしてほしい」という声も聞きながら開発していければ、更に喜んでもらえるし、広めてもくれるかな、と思ってます。「mupicの技術を使ってこんなサービスを開発したい」というのも大歓迎です。おもしろいと思ってくれる人たちと機能を育てていけたら、と思ってます。
■ チームコラボレーションやコミュニケーションに関連する記事はこちら
