第2回:TouchDesignerの導入とメディアの変換

本日のプロジェクトファイル

今回は、Derivativeのアカウント取得からTouchDesignerの起動、基本操作までを確認し、ボタンや声、マウスの動きを使った簡単なプログラムを作ります。さらに、画像を音にする方法や、音を通して画像を伝送する仕組みを試し、音と画像のメディアの変換の実験をしていきます。

1. TouchDesignerを使い始める

alt text

TouchDesignerでプログラムを作る準備として、起動から画面の見方、オペレーターの作成と接続まで、基本的な操作を確認します。

アカウント登録

TouchDesignerを使い始めるには、開発元のDerivativeのアカウントが必要です。アカウント登録ページを開き、ユーザー名、メールアドレス、パスワード、氏名を入力します。すでにアカウントを持っている人は、新しく登録する必要はありません。

Derivativeのアカウント登録画面。入力欄と登録ボタンに日本語の説明を付けた図

初回の起動時に必要なこと

登録が済んだらTouchDesignerを起動します。ライセンスが設定されていない場合は、初回起動時に「Key Manager」が開きます。「Create」タブで、登録したユーザー名とパスワードを入力し、「Sign In」を押します。

Key Managerのサインイン画面。ユーザー名、パスワード、サインインに赤文字の日本語訳を添えた図

サインイン後、ライセンスの一覧から「Non-Commercial」を選び、「Create Key」を押します。学習や非商用の制作に無料で使えるライセンスです。

Key Managerのライセンス選択画面。Non-Commercialの選択とキー作成ボタンに赤文字の説明を添えた図

Non-Commercial版では、画像の解像度は原則として1280×1280ピクセルまでに制限され、一部の商用・Pro向けオペレーターや機能は使えません。詳細はこちら。

画面の見方とネットワークの操作

TouchDesignerの画面構成

TouchDesignerの画面構成。パレット、ネットワークエディター、オペレーター、パラメーターウィンドウ、タイムライン、現在の階層を示すパス表示に注釈を付けた図

  • パレット:あらかじめ用意された部品やサンプルが登録されています。ドラッグ&ドロップでネットワークへ追加できます。
  • ネットワークエディター:オペレーターを配置、接続してプログラムを作る場所です。
  • オペレーター:画像や音を作る、データを加工するなど、処理を担当する部品です。ネットワーク上ではノードとして表示されます。
  • パラメーターウィンドウ:選択したオペレーターの設定を確認・変更する場所です。
  • タイムライン:現在のフレームや時間を表示し、再生・停止などを操作します。
  • 現在の階層(パス):ネットワークエディター上部に、今開いているネットワーク階層の名前(パス)を表示します。

ネットワーク内の移動・拡大縮小・選択

ネットワークエディターでは、次の操作で表示位置や大きさを変え、操作するオペレーターを選べます。

  • 移動:何もない場所を左ドラッグすると、ネットワークの表示位置が移動します。
  • 拡大・縮小:マウスホイールをスクロールすると、表示を拡大・縮小できます。
  • 選択:オペレーターをクリックすると選択状態になり、枠の表示が変わります。別のオペレーターをクリックすると、選択する対象が切り替わります。

オペレーターのパラメーターとページ

選択したMovie File In TOPと対応するパラメーターウィンドウ。ページとパラメーターに注釈を付けた図

オペレーターを選択すると、パラメーターウィンドウにそのオペレーターの設定が表示されます。上の画像では、選択中のMovie File In TOPと右側のパラメーターウィンドウが対応しています。

ウィンドウ内に並ぶ設定項目をパラメーターと呼びます。数値の入力欄、オン・オフのボタン、選択メニュー、ファイル指定など、設定内容によって種類が異なります。

上部でタブのように並ぶPlayやImageなどは、ページと呼びます。ページを切り替えると、表示するパラメーターのまとまりが変わります。

ビューアーアクティブ

オペレーター右下の「+」ボタンをクリックすると、ビューアーアクティブ(Viewer Active)状態になります。通常はクリックやドラッグでノードを選択・移動しますが、この状態ではノード内の表示を直接操作できます。

操作できる内容はオペレーターの種類(オペレーターファミリー)によって異なります。画像の拡大・縮小、CHOPのグラフ表示の操作、3Dの表示方向の変更、パネル内のボタン操作などができます。

オペレーターを右クリックし、メニューからViewを選ぶと、別ウィンドウでビューアーを開けます。そこでもビューアーアクティブと同様に、表示内容を操作できます。

ノードの作成と接続

OP Create Dialogとノードの作成

新しいオペレーターは、OP Create Dialogで種類を選び、ネットワーク上に配置します。

  1. ネットワークエディターでTabを押すか、何もない場所をダブルクリックして、OP Create Dialogを開きます。
  2. 上部のCOMP、TOP、CHOPなどから、オペレーターファミリーを選びます。ダイアログを開いた状態でTabを続けて押しても、ファミリーを切り替えられます。
  3. 作りたいオペレーターの名前を入力すると、候補が絞られ、該当する名前がハイライトされます。
  4. 名前をクリックして選びます。候補を十分に絞り込んだ場合は、Enterで確定することもできます。
  5. ネットワークエディターの配置したい場所をクリックすると、ノードが作成されます。

ダイアログを閉じるにはEscを押します。作成したオペレーターを削除するには、ノードを選択してDeleteを押します。

ノードの接続と接続の削除

オペレーターの左右にある接続口を、コネクター(Connector)と呼びます。左側が入力、右側が出力です。同じオペレーターファミリーのノードをつなぐと、前のオペレーターの出力を、次のオペレーターの入力として使えます。

  • 接続する:出力コネクターから、別のオペレーターの入力コネクターへドラッグします。接続を表す線を、ワイヤー(Wire)と呼びます。
  • 接続を解除する:ワイヤーを右クリックし、メニューからDisconnectを選びます。ノードは残り、接続だけが解除されます。

ネットワークの階層

コンポーネントの内部に別のネットワークを置くことで、処理をまとまりごとに整理できます。コンポーネントの中へ入ると、その内部のオペレーターが表示されます。ネットワークエディター上部のパスで、現在どの階層を開いているかを確認できます。

コンポーネントの中へ入る

  • コンポーネントにズームイン:コンポーネントにマウスを合わせ、ズームインする方向へスクロールを続けると、内部のネットワークへ入ります。
  • ダブルクリック:コンポーネントをダブルクリックすると、中へ入ります。
  • IまたはEnter:コンポーネントを選択してからキーを押すと、中へ入ります。

上の階層へ戻る

  • ズームアウト:ズームアウトする方向へスクロールを続けると、上の階層へ戻ります。
  • U:キーを押すと、上の階層へ戻ります。

階層を移動すると、ネットワークエディター上部のパス表示も変わります。たとえば、/project1にあるbase1の中へ入ると、パスは/project1/base1になります。上の階層へ戻ると、再び/project1になります。パスを見ることで、今どのコンポーネントの内部を開いているかを確認できます。

2. TouchDesignerのプログラムを作ってみる

ここからは、オペレーターを組み合わせて簡単なプログラムを作ってみましょう。ボタンで音を鳴らす、ボタンで色を変える、声の音量で色を変えるという3つの例を通して、入力と反応をつなぐ仕組みを試します。

ボタンで音声サンプルを再生する

/project1/BUTTON_TO_AUDIO

BUTTON_TO_AUDIOのネットワーク:Button COMP → Null CHOP → Audio Play CHOP

ボタンを押すと、短い音声サンプルが鳴るプログラムを作ります。

使うオペレーターは次の3つです。

  • Button COMP:入力に使うボタンを作ります。
  • Null CHOP:Button COMPから出力される値をそのまま受け取ります。
  • Audio Play CHOP:音声ファイルを再生します。

Button COMPのCHOP出力にNull CHOPを接続し、さらにAudio Play CHOPの最初の入力(Input 0: Triggers)へ接続します。Sound Fileで音声ファイルを指定し、ModeをTriggerにすると、ボタンからの値が1になったときに音が再生されます。

Null CHOPを置く理由

Null CHOPは、入力された値を加工せず、そのまま出力するオペレーターです。この作例はButton COMPからAudio Play CHOPへ直接つないでも動きますが、間にNull CHOPを置くと、ボタンから出ている値を確認しやすくなります。

また、後から入力を別のものに替えたいときも、Null CHOPの手前をつなぎ替えれば、その先の接続を保てます。値を使う側の接続先や参照先をNull CHOPにまとめておくと、ネットワークを変更しやすくなります。

ボタンで色を変える

/project1/BUTTON_TO_COLOR

BUTTON_TO_COLORのネットワーク:Button COMP → Null CHOP、Constant TOPの色をCHOPリファレンスで設定

ボタンを押すと色が変わるプログラムを作ります。前の作例と同じボタンの入力を、今度は画像の色に使います。

単色の画像を作るConstant TOPを使います。Null CHOPの値を、CHOPリファレンスでConstant TOPの色のパラメーターに使います。

CHOPリファレンス(CHOP Reference)

CHOPのチャンネルの値をパラメーターから参照することを、CHOPリファレンスと呼びます。参照先の値が変わるとパラメーターも変わるので、この作例ではボタンの操作に応じて色が変わります。

ノードの入力へ線をつなぐ方法とは異なり、CHOPの値を色や位置などの設定に使えます。

  1. 値を使いたいCHOPの右下にある「+」ボタンを押し、Viewer Activeをオンにします。

    CHOPの右下にあるViewer Activeの+ボタン

  2. ビューアー内の、参照したいチャンネル名の上にマウスを移動します。カーソルが上向きの矢印のような形に変わります。

    チャンネル名にマウスを合わせたときの上向きのカーソル

  3. そのチャンネルから、値を使いたいパラメーターへドラッグします。ドラッグ中はカーソルが右向きの矢印のような形に変わります。

    チャンネルをパラメーターへドラッグしているときの右向きのカーソル

  4. 適用先のパラメーター名、または数値入力欄(ナンバーボックス)の上でマウスを離し、表示されたメニューからCHOP Referenceを選びます。

    ドロップ後のメニューでCHOP Referenceを選択

  5. CHOPの値が変わると、パラメーターの数値も連動して変わることを確認します。

パラメーターの名前部分にドロップすると、複数の値に同じチャンネルの参照が入ります。個別の数値入力欄(ナンバーボックス)にドロップすると、その値だけにCHOPリファレンスを貼れます。

声の音量で色を変える

/project1/VOICE_TO_COLOR

VOICE_TO_COLORのネットワーク:Audio Device In CHOP → Analyze CHOP → Math CHOP → Null CHOP、Constant TOPの色をCHOPリファレンスで設定

マイクに向かって声を出すと、声の大きさに応じて画像の明るさが変わります。前の作例で使ったボタンの値を、今度はマイクから取り出した音量に置き換えます。

Audio Device In CHOPは、マイクなどの入力機器から音声を取り込むオペレーターです。Deviceで使いたい入力機器を選び、声を出したときにビューアーの波形が変わることを確認します。

入力された波形から音量を取り出すために、Analyze CHOPをつなぎます。FunctionをRMS Powerにすると、波形から音の大きさを表す値を取り出せます。

その後にMath CHOPをつなぎ、明るさの変化が見えやすいように値を調整します。

調整した値をNull CHOPへつなぎ、前の作例と同じCHOPリファレンスでConstant TOPの色に使います。

Math CHOPで値を増幅する

Math CHOPのMult-Addページ:Multiplyで倍率を指定する

Math CHOPのMult-AddページにあるMultiplyで、入力の値を何倍にするかを設定できます。マイクから取り出した音量が小さく、画像がほとんど明るくならない場合は、この値を大きくします。

下の図は、入力を10倍にする例です。0.05は0.5、0.1は1になります。変化の形はそのままで、値が変わる幅が大きくなります。

小さな入力の値をMultiplyで10倍にした、変換前後の波形

3. マウスの動きを使う

マウスの動きも、プログラムへの入力として使えます。横位置と縦位置を数値として取り出し、画像の位置や音の高さに使ってみます。

マウスの動きで画像を動かす

/project1/MOUSE_TO_IMAGE

マウスの位置から丸の位置を変えるネットワーク

マウスを動かすと、画像の中の丸が上下左右に動きます。前の章では色に使ったCHOPリファレンスを、今度は図形の位置に使います。

Mouse In CHOPでマウスの位置を取り出します。マウスを動かすと、横位置のtxと縦位置のtyの値が変わります。

その後にMath CHOPをつなぎ、マウスの位置の値を、画像の中で丸を動かす範囲に合わせます。

丸い画像はCircle TOPで作り、見やすい大きさに調整します。Null CHOPのtxをCenterのXへ、tyをYへ、それぞれCHOPリファレンスで割り当てます。マウスの横位置と縦位置が、丸の横位置と縦位置に対応します。

Math CHOPで値の範囲を変える

Math CHOPのRangeページ:From Rangeは入力範囲、To Rangeは出力範囲

入力から取り出した値の範囲と、その値を使いたいパラメーターの範囲が合わないときは、Math CHOPのRangeページを使います。From Rangeに入力の範囲、To Rangeに変換後の範囲を指定すると、それぞれの端の値が対応するように数値が変換されます。

この作例では、−1〜1を−0.5〜0.5へ変換しています。入力の−1が出力の−0.5、入力の0が出力の0、入力の1が出力の0.5に対応します。下の図では、変換前後の波形を左右に並べています。

入力の−1〜1を出力の−0.5〜0.5へ範囲変換した、変換前後の波形

To Rangeを広げたり狭めたりすると、同じマウスの動きでも丸が動く幅が変わります。

この変換はMultiplyを0.5にしてもできますが、入力と出力の範囲が分かっている場合は、Rangeで直接指定するほうが対応をつかみやすくなります。色、位置、音の高さなど、値を使う対象に合わせて範囲を変えられます。

マウスの動きで音を変える

/project1/MOUSE_TO_AUDIO

マウスの横位置から音の高さを変えるネットワーク

マウスを左右に動かすと、音の高さが変わります。同じマウスの位置を、今度は画像ではなく音に使います。

前の作例と同じMouse In CHOPからMath CHOP、Null CHOPへつなぎます。今回はMath CHOPのRangeで、マウスの位置の値を、音の高さに使う範囲に合わせます。

音を作るのはAudio Oscillator CHOPです。Null CHOPの横位置のチャンネルtxを、音の高さを決めるBase FrequencyへCHOPリファレンスで割り当てます。マウスを左へ動かすと低い音、右へ動かすと高い音になります。

作った音をAudio Device Out CHOPへ接続し、スピーカーやヘッドホンに出力します。

4. ノーマン・マクラレン——音を描く作家

ノーマン・マクラレン(1914–1987)は、スコットランド出身で、カナダを拠点に活動したアニメーション作家です。フィルムに直接絵を描くなど、カメラで撮影する方法にとらわれないアニメーションを制作しました。その実験は映像だけでなく、音にも及んでいます。

作品『Dots』では、映像と音の両方をペンとインクでフィルムに直接描いています。

この映像と音は、どのように作られたのでしょうか。『Pen Point Percussion』(1951年)では、マクラレンがフィルムに音を描く手法を紹介しています。

今ではなかなか目にすることはありませんが、映画のフィルムには、映像を記録する部分とは別に、音を記録する「光学サウンドトラック」があります。そこに記録された模様を光で読み取ることで、音を映像と同期して再生する仕組みです。マクラレンは、この部分に点や線などを直接描き、楽器や声を録音するのではなく、描いた形から音を作りました。

絵を描くことが音を作ることにもなるという実践は、この授業で扱うメディアの変換を、表現に結びつけた例として見ることができます。次の章では、TouchDesignerで画像の明るさを数値列として取り出し、音の波形として再生してみます。マクラレンの手法とは読み取り方が異なりますが、目で見る形を、耳で聞く音として扱う点は共通しています。

5. 画像を音にする

マクラレンの「描いた形から音を作る」という実践を手がかりに、TouchDesignerでも画像から音を作ってみます。ここでは、画像から取り出したピクセルの値を、音の波形として使います。静止画像から始め、カメラの映像とマウス操作を加えて、カメラとマウスで演奏できる楽器へ発展させます。

画像を波形として読む

/project1/IMAGE_TO_AUDIO

IMAGE_TO_AUDIOのネットワーク:画像から取り出した数値列を音の波形として再生する

画像の横一列に並んだピクセルの値を使って、音を鳴らすプログラムを作ります。

Movie File In TOPで画像ファイルを読み込み、Monochrome TOPで白黒の画像にします。

画像からピクセルの値を取り出すために、TOP to CHOPを使います。読み取る範囲を横一列にすると、その列のピクセルの値を、左から右の順に並んだCHOPのチャンネルとして取り出せます。

取り出した0〜1の値を、Math CHOPで−0.5〜0.5の範囲に合わせます。Math CHOPの出力をNull CHOPへつなぎます。

Null CHOPの出力をAudio Oscillator CHOPの3番目の入力(Playback Source)につなぐと、画像から取り出した数値列を、音の波形として繰り返し再生できます。Audio Oscillator CHOPの出力をAudio Device Out CHOPへ接続し、スピーカーやヘッドホンに出力します。

やってみよう

画像の加工やカメラ入力、マウス操作を加えて、楽器へ発展させてみましょう。こちらで作ってみた例が/project1/EX_IMAGE_TO_AUDIOにあります。これを参考に、使うフィルタやマウスで操作するパラメーターを変えながら、演奏しやすい組み合わせを試してみましょう。

Select CHOPでチャンネルを選ぶ

Select CHOPは、CHOPに含まれる複数のチャンネルから、必要なチャンネルを選んで取り出すオペレーターです。入力にCHOPを接続し、Channel Namesに取り出したいチャンネル名を指定します。

/project1/EX_IMAGE_TO_AUDIOでは、Mouse In CHOPの出力から、横位置のtxと縦位置のtyをそれぞれ別のSelect CHOPで取り出しています。

左はMouse In CHOPからtxとtyを取り出すSelect CHOPへの接続、右はSelect CHOPのパラメーターウィンドウ。Channel Namesの行を赤枠で示している

6. 画像を音で伝送する

前の章では、画像の一部分を音の波形として使う例を紹介しました。この章では、画像の情報を音に載せて送り、受信した音から画像を復元する方法を紹介します。同じ画像と音の組み合わせでも、情報の載せ方によって、送る音や受け取り方が変わります。

今回は複雑な仕組みを使うため、1からネットワークを作るのではなく、用意した2種類のサンプルを操作して実験します。

音量で画像を送る

/project1/AMPLITUDE_TRANSMISSION

AMPLITUDE_TRANSMISSIONのネットワーク:画素の明るさを音量に変えて送り、受信した音から画像を復元する

画像からは、画素ごとの明るさを数値として取り出すことができます。このサンプルでは、その明るさを音量に変えて送り、受け取った音から画像を復元します。明るい画素は大きな音、暗い画素は小さな音として送ります。

画素の明るさを音量に変えて順番に送り、受信した音量から画素を復元する模式図

音量だけでは、画像のどの位置の画素を送っているかは分かりません。そこで、画素を1列に並べ、1フレームに1画素ずつ、決まった順番で送ります。受信側では音の大きさを読み取り、受け取った順番に画素を並べ直します。画像の中の位置を、送る時間の順番に置き換える方法です。

ただし、同じ音量を受け取っても、並べ方が違えば元の画像には戻りません。画像を復元するには、画素を送る順番、画像の幅、読み始める位置、読み進める速さなどの規則を、送信側と受信側で共有する必要があります。開始位置や速さがずれると、受信した値が別の位置に並んでしまい、画像がずれたり崩れたりします。

この仕組みは、PC内部の接続だけでなく、スピーカーから出した音をマイクで受け取る経路でも試せます。画像の情報が空気の振動を通して届く一方、音量の変化や周囲の雑音、送受信のタイミングのずれによって、復元される画像も変化します。

スペクトルで画像を送る

/project1/SPECTRUM_TRANSMISSION

SPECTRUM_TRANSMISSIONのネットワーク:画像の横1行を周波数成分に割り当てて送り、受信した音から画像を復元する

前のサンプルでは、画素の明るさを音量に変え、1画素ずつ順番に送っていました。今度は、画像の横1行をまとめて送る方法を扱います。

音には、異なる周波数の成分を同時に含めることができます。どの周波数の成分が、どれくらいの大きさで含まれているかという分布を、スペクトルと呼びます。

このサンプルでは、横1行の画素をそれぞれ別の周波数に割り当て、画素の明るさを、その周波数成分の大きさで表します。それらを合成した音を送り、受信側で周波数ごとの成分を取り出すと、1行分の画素を復元できます。音量だけでなく周波数の違いも使うことで、複数の画素の情報を同時に送る仕組みです。

画像の横1行を周波数ごとの振幅に割り当て、合成した音から受信側で1行を復元する模式図

周波数ごとの成分から音の波形を作る処理を、IFFT(逆高速フーリエ変換)と呼びます。受信側では、逆にFFT(高速フーリエ変換)で波形を周波数ごとの成分に分けます。音量方式では時間の順番で表していた画素の横位置を、今回は周波数の違いで表しています。次の行へ移りながら送ることで、画像全体を復元します。

音に画像を埋め込む——Aphex Twin

音のスペクトルの時間変化を画像として表示したものを、スペクトログラムと呼びます。通常は音の分析に使われますが、逆に、そこに画像が現れるような音を作ることもできます。

Aphex Twinの『Windowlicker』EPに収録された「[Equation]」には、スペクトログラムで見ると顔の画像が現れる部分があります。今回のサンプルとは画像の並べ方が異なりますが、周波数成分の分布に画像を載せる発想は共通しています。音として聴く作品の中に、画像として読むものを含める表現の例です。

7. まとめ

前回の授業では、あるメディアから別のメディアへ変換するとき、その方法は一つではない、というお話をしました。今回は、TouchDesignerを使ってその具体例を試してきました。同じ画像を音にする場合でも、変換の方法を変えると、聞こえる音や、情報の届き方が変わります。プログラムを書いたり使ったりできるようになることだけが目的ではありません。TouchDesignerのような道具を使って、どんな表現ができるのか、その可能性を探っていくのが大事です。

そのためには、技術やメディアの仕組みを知ることも大切です。知っている方法が増えると、自分の考えを形にする選択肢が増えますし、仕組みを試す中で、新しく面白いものが見つかることもあります。

「A」を「B」に変換できただけで、作品として成立するわけではありません。そのプロセスのどこに面白さを感じるのか、自分の関心とどうつながるのか、見る人や聴く人にどんな体験をしてもらいたいのか。そこを考えることで、技術が自分の表現につながっていきます。

今回紹介した方法は一例であり、これが唯一の正解というわけではありませんが、こういうこともできる、という引き出しを増やしながら、自分なら何に使いたいかを考えてもらえればと思います。