2010/01/02

こんなビデオを作りました MSAFluid + Glob Dectation

Please note that I plan to publish my source code of this computer vision in right future - either on demand or to network computer programmers on computer vision. To say hello to or poke me, please 'tweet' to @suzukimilanpaak. will takes days for me to refactor the source code and read through BSD license at this moment.

明けましておめでとうございます。今年もどうぞよろしくお願い致します。

こんなビデオを作りました。このビデオは映像をリアルタイムに録画しつつ、コンピュータプログラミングで加工したものです。人の動きに合わせて映像が作られます。

MSAFluid + Glob Dectation with my song

一つ目は私の曲をmonomeで演奏しているところの映像をコンピュータで加工しています。音質にこだわっているわけじゃないんですが、ノートPCでは聞き取れない低音が出ているんで是非良いスピーカーかヘッドフォンで聞いてください。曲は途中から始まります。


きらきらした粒子が動かないですね。。。理由はこの粒子の位置が少し遅れて僕についてきてくるようにプログラムされていて意思があるように見せかけているからで、僕が動かないと動きません。それになんだかしょうがないんだけど曲も暗くなっちゃいましたね。

MSAFluid + Glob Dectation with The Reeling/ Passion Pit

というわけで、曲をPassion Pit の The Reelingに変えて再チャレンジ。踊ります!

これ、クラブで観客に当ててみたいですね。仮想ミラーボールみたいな感じで。人が多すぎるんでサーモグラフィ使っても無理かしら。前にラウンジにwiiとプロジェクタが置いてあってボーリングゲームがプレイできるクラブがあったんだけど、そういう感じでクラブの一角だけ明るくして、コンピュータビジョンで目立ちたい人に踊ってもらうというのも良いかも知れない。

ソースコードはまだ公開できないです。元のサンプルはこのページの下の方にあります。

コンピュータビジョンでいつかやってみたいこと

技術的に可能/不可能は置いておいて夢を語ります

・音に色を付けたい
 コード進行 > 映像の色を操作
 コード進行から受ける感情を集計、共通化する。色の組み合わせから受ける感情を集計、共通化する。それらを結びつける
・WebをDJしたい
 Web上のテキストをディスクに例えてDJしたい。言葉から受ける印象を色やコード進行に影響させる。
・音と映像で新しい概念や新しい感情、新しい空間・立体を表現していろんな人に媒介したい
・空気でmonome-> airmonome、ARでmonome->ARmonome

最初の二つは以前書いた選択という行為の理論に基づいています。ただロジックが私にとっては難しいので人を介して実現する方法を考えていました。選択について物凄く素晴らしいセンスを持っていて担当をできそうな人見つけたのですが、おじゃんになったのでまた別の方法を探すつもりです。

影響を受けた作品

アメリカンポップのモーションキャプチャという手法に影響を受けました。
Simon Stokes & The Nighthawks - Big City Blues[American Pop]
Janis Joplin "Summertime" from film "American Pop"
手作業でやっていたところをコンピュータが置き換えてくれるようになって、それに伴って別の表現が出てきたということですね。

やろうぜ!コンピュータビジュアル系バンド

こんな人を探しています。
・メンバーにコンピュータプログラマとキーボーディスト、ベイシスト、ダンサーがいて、それをバンドと呼べる人
・ダンサー
・踊るコンピュータプログラマ
・3Dモーションデザイナ
・参加場所は世界中のどこでもいい
・音楽業界のビジネスモデル・お金の分配方式に疑問を感じてる人
要するにバンドで総合芸術みたいなことがやりたいです。80年代にMTVが登場して以来、本来はバンド自身がやるべきプロモーションやマーケティング、ブランディングを別の人がやってると思うことがちょいちょいあって、全部自分達で完結できる独立系ベンチャーが作れたらいいなと思

クリエイティビティ階層構造の変化

ちょっと持論についてお話します。
下の図はクリエイティビティが生成→評価されるまでの階層構造が変化しているといういうことを表しています。
Evaluators
Mavens
Creators

Evaluators/Mavens/Expressionist
Creators

Creatorsというのは専門性を持っていて新しいものを作れる人。Mavensというのは専門性のあるコミュニティに所属しているけれど他のコミュニティとの橋渡し役をする人。Evaluatorsというのは評価者。

例えば僕の作品の場合、Creatorは論文を書いている人でその上にプログラミングコードに落とし込んでいる人がいる。さらにポリゴンに色を付けた人がいる。縦の繋がりで価値を創造している。

それで僕はMavensで専門性に乏しい人。その代わりに表現者として他の人が作ったものを組み合わせる視点に集中しようとしている。

で、図は専門性を持っている人意外フラットになったっていう話。新しい話じゃない。

ベースにあるのは選択の爆発、チープ革命による全員表現時代の訪れといったキーワードによって人々が逆に無力感を感じるときが来るんだろうという考えです。例えばDJ Mixを作ろうと思えばソフトをダウンロードしなくてもDAWがオンライン上にあるし、リズムシークエンサーだってオンライン上にある。画像編集だってオンライン上でそれなりのことならできる。これは既にプロとノンプロの金銭的、技術的格差を取り払って、表現の競争が始まっている。それで、Mavensというのはそういった混沌に対して方向性を作りたがる人たちなんだと思う。浪費されるクリエイティビティや極度に洗練された選択という行為が商品となり高い価値となりうる時代、逆に既存の商品といわれているもののいくつかが無料になる時代がすぐそこまで来ているんだという気がしています。

オマケ

オマケのAR(拡張現実感)です。


作った感想

・表現したいと思ったものをタイミングよくそのとおり作るのは難しい
 最初、顔認証かARで顔の位置を取って、その上に球体の黒い空間を作って粒子を流し込むようなものを作ったんだけど、顔認証の動作が遅すぎるのと、実際作ってみたらクールじゃなかったのでやめた。
・MAXはどうも自分には合わない
 Jitterで映像組もうと思ってたんだけど、文法がどうも性に合わなかったのと、まだJitterのライブラリーが充実していなかったので結局Processingを選ぶことにした。でも今後もMAXは続けたい。Midi、OSCの制御までをMAX、映像をProcessingというやり方を追求したい
・結局自分はとんがらないといけない
 一生自分の性質と付き合っていかないといけないや。こういうことをやる代わりにある一つのこと諦めようと思う
View Comments »