第4回:変換の連鎖と再構築
今回は、表現や仕組みを構成要素に分解し、自分の意図に合わせて組み直すものの見方を扱います。データに対する基本的な操作を整理してこれまでの作例を読み解きながら、ブロックのように部品をつなぎ合わせて実験できるTouchDesignerのツールキットを紹介します。
1. 要素分解と再構築
身の回りにある標識や広告、CM、映画、音楽、建築などを観察してみると、人に向けて作られたものには、必ずといっていいほど作り手の意図やメッセージを見てとることができます。また、自然界の谷や山が地殻変動や浸食の積み重ねでできているように、私たちが目にする形や結果には、必ずそこに至る過程や理由があります。
たとえば映画などの映像作品を見るとき、私たちはかっこいい、きれい、かわいいと感じたり、ときには緊張感がある、不気味だといった印象を受け取ります。こうした受け取る印象は、漠然とした雰囲気だけでなく、細かな要素の意図的な組み合わせによって組み立てられています。
表現を要素に分ける
映画や映像では、画面に映る構図、照明、配色といった要素が演出の役割を担っています。
| 要素 | 具体的な手法の例 | そこから生まれる効果や印象 |
|---|---|---|
| 構図 | 被写体を中央に堂々と置く/端に寄せて見上げる | 安定感やかっこよさ/孤立感や威圧感 |
| 照明 | 明るく柔らかい光を当てる/強い逆光で輪郭を際立たせる | 親しみやすさや温かさ/神秘性や不気味さ |
| 配色 | 明るく鮮やかなトーン/彩度を落として青や緑を強調する | 活気やかわいらしさ/孤独や緊張感 |
構図の定石や色彩心理、照明の効果など、表現の世界にはさまざまなセオリーや手法があります。これらはすべて、意図や印象を伝えるために使える強力な要素です。
制作するときには、定番の手法も素材の性質も、使える要素は何でも総動員して組み立てていきます。なんとなくそう感じるで終わらせず、何がその印象を支えているのかを要素に分解して観察できるようになることは、自分が制作するときに使える引き出しを増やすことにつながります。
仕組みを要素に分ける
目や耳にした情報から背景にある意図や過程を読み解く視点は、プログラムを使った作品制作でも同じです。
これまでの授業で作ってきた、画像を音にする、音量で画像を送るといった仕組みも、一見すると複雑な処理に見えるかもしれませんが、中身はいくつかの基本的な操作がつながったものにすぎません。
- どこから何を取り出しているか:入力と抽出
- 数値をどのように変化させているか:対応づけや変換
- それをどの軸に並べたり重ねたりしているか:配置や出力
よくわからないからといってブラックボックスとして片づけず、要素とつながりに分けて追えるようになることが、自分で新しいものを作るための最初のステップです。
「ものを知るには、分解して組み立て直すのが一番。本質が分かる」
可能な限りシンプルにする
ここでいうシンプルにするとは、見た目を簡素やミニマルにするという意味ではありません。構成する要素とそのつながりの中で、わからない部分をできるだけなくすことを意味しています。
一見複雑に見える現象も、分解していけばシンプルな要素の連なりになります。逆に言えば、働きを理解できているシンプルな要素をつなぎ合わせることで、豊かで複雑な表現を組み立てることができるはずです。
何が起きているか理解できている状態をコンパクトにつくることが、上達への一番の近道です。
自分の意図に合わせて組み直す
仕組みをシンプルな要素に分解できるようになると、用意された作例をそのまま真似る段階から、自分で組み替える段階へ進むことができます。
- 素材を変える:画像ではなく、音や文字を入力にしてみたらどうなるか
- 対応づけを変える:明るさを音量ではなく、音の高さや再生速度に割り当てたらどうなるか
- 順序や構造を変える:処理の順番を逆にしたり、途中に別の操作を挟んだらどうなるか
要素を把握していれば、自分の興味や伝えたいコンセプトに合わせて、仕組みを自由に組み直すことができるようになります。
2. 基本的な操作を分類する
プログラミングで音や映像を扱うとき、私たちはデータに対してどのような操作を行っているのでしょうか。
複雑に見える処理も、データに対して行っている働きに注目すると、いくつかの基本的な操作に整理できます。
基本操作の関係図
データに対する操作は、大きく分けると、入力から出力へ向かう流れと、その間で働く単純な操作や複雑な操作、そして出力を再び入力として循環させる働きに整理できます。
- 入力:画像、音、文字、数値を読み込んだり、波形や合図から新しく作る。
- 単純な操作:1つのデータに対して、必要な一部を取り出したり、値の範囲や尺度を対応づけて変える。
- 複雑な操作:複数のデータを混ぜて重ね合わせたり、並べて積む。過去の値をためて残したり、変化を繰り返す。
- 出力:画面に映す、音を鳴らす、ファイルやほかの機器へ書き出す。
- 出力をまた入力として使う:データの種類を変換して別のメディアとして解釈したり、前の結果を入力へ返して変化を重ねる。
これらは単独で使うだけでなく、互いにつなぎ合わせることでさまざまな表現を作ることができます。
画像を音にする作例を分解してみる
第2回で作った、画像を音にする仕組みをこの関係図にあてはめて分解してみます。
- データの種類を変換する:画像の一列を数値列に変換する
- 取り出す:使いたいチャンネルを1つ選ぶ
- 対応づける・変える:数値の範囲を音の振幅に対応づける
- 繰り返す:取り出した波形を一定の速度で繰り返し再生する
一見すると難しそうに見えた仕組みも、4つのシンプルな操作が一列につながったものにすぎないことが分かります。このように一連のつながりとして捉えられると、どこに手を加えれば結果が変わるかも見えやすくなります。
次の章では、これらの操作を実際に組み合わせて試せるツールキットを紹介します。
3. ツールキットの紹介

/project1/TOOLKIT
ここまでに整理した基本操作を、TouchDesigner上で手軽に試せるようにコンポーネント化しました。
大量にあるオペレーターを探して、覚えて、設定してネットワークを作るのではなく、働きがはっきりしている部品をブロックのようにつなぎ合わせることで、直感的に仕組みの実験が行えるようにしたものです。
9つのカテゴリー
ツールキットの部品は、関係図で整理した9つのカテゴリーごとに色分けされ、配置されています。
- 作る:時間の経過や周期的な変化など、出発点になる値を作ります。
- 取り出す:画像や数値列から、使いたい部分を取り出します。
- 対応づける・変える:値や配置を変えたり、別の性質に対応づけたりします。
- 混ぜる・重ね合わせる:複数の素材を、決まった規則で一つに合わせます。
- 並べる・積む:要素を、別の位置や順序、層に並べ直します。
- ためる・残す:値や画像の過去の状態を、履歴としてためておきます。
- 繰り返す:同じ素材や操作を繰り返します。
- データの種類を変換する:画像や数値列など、データを別の種類に変換します。
- 結果を入力へ返す:前の結果を次の入力として使い、変化を積み重ねます。
それぞれの部品には、要点となるパラメーターがまとめられています。内部の複雑なネットワークを開かなくても、パラメーターの値を変更しながら結果の変化を観察できます。
ツールキットを使った作例
/project1/EXAMPLE_image_to_audio

/project1 の階層にツールキットを使った作例をいくつか作成しました。たとえば、画像を音にする作例を分解してみる で紹介した内容をツールキットを使って構築したものはこうなります。
ほかにも、授業中で紹介した作例をいくつかツールキットを使って再構築したサンプルを用意しました。
これからの制作の進め方
ここからは、このツールキットの部品や作例を足がかりにしながら、各自の関心やアイデアに合わせた制作として進めていきたいと思っています。
まずは気になる部品をつないでみたり、パラメーターを動かしてどんな変化が起きるかを試してみてください。