第1回:メディアとは何か/デジタルメディアと再解釈
1. 導入——メディアってなんだっけ?
「メディア」という言葉について考える
メディア(media)とは、情報を記録・保存・伝達するための媒体、あるいはその間を取り持つ仕組みを指す言葉です。英語の media は medium の複数形で、もともと「間にあるもの」「媒介するもの」という意味を持ちます。
日常では、新聞・テレビ・ラジオなどのマスメディア、インターネットやSNSなどのデジタルメディア、USBメモリやディスクなどの記録媒体を指して使われます。ただし、これらは同じ基準で分けられた分類ではありません。多くの人に伝える仕組みを指すこともあれば、情報を保存する物を指すこともあります。
今回の授業では、そうした違いを具体例から確かめながら、メディアという言葉の定義、範囲を考えていきたいと思っています。
メディアにはどういう種類がある?
先ほど挙げた新聞やテレビ、USBメモリのほかにも、紙、レコード、フィルム、光やそれを伝える光ファイバー、音やそれを伝える空気などが考えられます。それぞれが何を伝え、何を残すのか、メディアっぽいものをひとつの表に並べてみます。
| 例 | 何を運ぶ・伝える? | 何を記録・保存する? |
|---|---|---|
| 空気 | 振動として伝わる音 | 残らない |
| 音 | 振動として伝わる声や音楽 | 音そのものは残らない。録音には別の媒体が必要 |
| 光 | 明るさや色の変化、信号にした情報 | 光そのものは残らない。記録には別の媒体が必要 |
| 光ファイバー | 光の変化として表した信号 | 残らない |
| 紙 | 書かれた文字や描かれた図像 | インクや鉛筆などの痕跡が残る |
| フィルム | 映写時に見える連続した像 | コマごとの像がフィルムに残る |
| レコード | 再生時に音として聞こえる変化 | 音の変化に対応する溝が残る |
| USBメモリ | 持ち運ぶファイルのデータ | データをメモリ内の電気的な状態として保持する |
| レコーダー | 映像・音声信号を受け取り、再生時に送り出す | 内蔵・接続した記録媒体に映像や音声のデータを残す |
| インターネット | 動画、文章、音声などのデータを、さまざまな端末やサービスの間でやり取りする | ネットワーク自体は保存を目的としない。保存は接続先の装置やサービスで行う |
| ラジオ | 電波で届く音声や音楽 | 残らない。録音には別の記録媒体/装置が必要 |
| テレビ | 放送される映像や音声 | テレビで見るだけなら残らない。録画にはレコーダーなどが必要 |
| 新聞 | 印刷された文字や写真 | 文字や写真が紙面に残る |
| YouTube | 投稿動画やライブ映像・音声をネット経由で届ける | 投稿動画のデータはサービス側の記録媒体に保存される。ライブ配信と保存は別の働き |
表にすると、新聞は紙に印刷されたものである一方、テレビは放送を受けて映像と音を出す装置であり、USBメモリはデータを保存する物だとわかります。
同じ表に並べられていても、物、記録の方法、伝える仕組みが混ざっています。YouTubeでは投稿動画を保存し、インターネットを通じて視聴者へ届けています。音と空気、光と光ファイバーのように、あるものを伝える現象と、それが通るものも同じ表に並んでいます。どこに注目すると、それをメディアと呼べるのか。 その境界を考えてみましょう。
メディアは情報の支持体である
絵画において絵の具を載せるキャンバスや紙を「支持体」と呼ぶように、情報にもそれを載せて運んだり残したりする土台があります。
上の表には、空気や紙、レコーダー、インターネット、YouTubeまで並べました。一見すると空気とYouTubeには関連がなさそうに見えますが、「情報を支え、伝えるための媒体」という切り口で捉え直すと、すべてメディアと言うことができます。たとえば空気は音の振動を伝える媒体であり、YouTubeは動画コンテンツを視聴者に届ける仕組みです。
ここで、音を例に三つの見方を重ねてみます。
| 見方 | 声や歌の場合 |
|---|---|
| 1. 物理的な働き | 空気が振動し、その変化が耳まで届く |
| 2. 情報とパターン | 音の強弱やリズム、言葉の規則によって、声や歌として聞こえる |
| 3. 人と人の関係 | 誰かが話しかけ、歌い、別の誰かが(インターネット越しも含めて)聴く |
空気の振動だけを見れば物理現象ですが、そこにあるパターンを言葉や音楽として受け取るとき、情報や表現の話になります。そして、話しかける人と聞く人がいれば、そこにはコミュニケーションがあります。三つの見方は、別々の出来事ではなく、同じ声や歌に重なっています。
声はその場で相手に届くこともあれば、レコードの溝に記録して後から再生することもできます(記録)。ラジオなら電波に載せて離れた人に届けられますし、YouTubeなら保存や配信もできます(伝達)。そうした仕組みの中にも物理的な変化があり、声や音楽としてのパターンがあり、それを聞く人がいます。空気、レコード、ラジオ、YouTubeは、異なるものを媒介しているからこそ、それぞれが「メディア」と呼べるのです。
歌声が視聴者に届くまで
誰かが歌を収録してYouTubeに投稿し、別の人が聴く場合を考えてみます。下の表は、途中で起こる主な変換や複製を順に並べたものです。
| 段階 | 何が起きる? | 情報を担う形 |
|---|---|---|
| 歌う | 声帯などの動きが空気を振動させ、歌声が周囲に広がる | 空気の圧力の変化 |
| マイクで収音 | 空気の振動をマイクが受け、対応する電気信号に変える | アナログの電気信号 |
| デジタル化 | 音声信号を一定の間隔で読み取り、数値として扱えるようにする | 音声のサンプルデータ |
| ファイル化・保存 | 音声を符号化・圧縮し、投稿するファイルとして端末の記録媒体に保存する | ファイルのデータ、記録媒体の状態 |
| アップロード | 端末がデータを送り出す。手元の通信には電気信号や電波などを使う | ネットワーク上のデータと信号 |
| 光ファイバーの区間 | その区間では電気信号から光信号へ、また光信号から電気信号へ変える | 光の変化として運ばれるデータ |
| YouTube側で受信・保存 | 届いたデータを受け取り、サービス側の記録媒体に保存する。視聴向けに別の形式へ変換する場合もある | 投稿されたデータと、配信用のデータ |
| 視聴者への配信 | ブラウザーやアプリからの要求に応じて、サービス側が配信用データを読み出して送る | 保存されたデータをもとに送られる新たなデータ |
| 視聴者までの通信 | 光ファイバーを通る区間では電気信号から光信号へ変え、届いた先でまた電気信号に戻す。端末の手前では電波を使う場合もある | 光・電気・電波などで表されるデータ |
| 端末で復号 | 受け取ったデータから音声を取り出す | 再生に使う音声データ |
| スピーカーで再生 | 音声データをD/A変換してアナログの電気信号に戻し、スピーカーを動かして空気を振動させる | 再び空気を伝わる音 |
| 聴く | 視聴者が歌声を聴き、そこから何かを感じ取る | 人が受け取る体験 |
ここでは同じ歌を届けていますが、空気の振動がそのままYouTubeのサーバーまで移動したわけではありません。音の変化はマイクの電気信号、数値データ、通信中の信号、記録媒体の状態へと次々に写し取られ、視聴者の前で再び音になります。アップロードや配信の際にはデータの複製も起こります。何を保ち、何が変わるのかを見ていくと、ひと続きに見える視聴体験の中にも、いくつものメディア変換があるとわかります。
この授業での「メディア」という言葉の扱い
空気や紙のように、音を伝えたり文字を残したりする物があります。その上には、音を数値として記録し、読み出して再生するための形式や規則があります。さらに、誰かが作ったものを別の誰かが受け取り、何かを感じたり応答したりする関係があります。ここまで見てきた「メディア」は、物だけでなく、情報の記録・伝達の仕方や、人と人との間でそれが働く仕組みにも及びます。
この授業では、それらを全部同じ種類のものとして一括りにはしません。空気が振動を運ぶことと、YouTubeが投稿を届けることは違います。それでも両方を視野に入れながら、作り手と受け手の間で、何がどんな形で伝わり、どう受け取られるのかを考えます。作品についても、最初から明確なメッセージがあると決めつけず、使う媒体や伝え方によって体験がどう変わるかを試していきます。
歌声の例以外にも、媒体や伝達の場から表現まで、さまざまな組み合わせを考えられます。いくつか並べてみましょう。
| 媒体・伝達の場の例 | 記録・解釈の形式の例 | そこで成立し得る表現の例 |
|---|---|---|
| 紙とインク | 文字、図像、印刷 | 小説、詩、絵画、漫画 |
| レコードの溝、スピーカーと空気 | 音の記録・再生 | 録音された音楽、音響作品 |
| フィルム、磁気テープ、画面 | 連続画像や映像・音声信号 | 映画、映像作品 |
| ストレージ、ディスプレイ、スピーカー | 数値列、ファイル形式、表示・再生の規則 | デジタル画像、動画、音楽、インタラクティブ作品 |
| 身体と共有する空間 | 身振り、動作、時間的な進行 | ダンス、ライブ・パフォーマンス |
この表は一行ずつの対応を決めるためのものではありません。同じ音楽でも、その場で演奏して聴くことも、レコードに記録して聴くこともできます。一つの媒体から異なる表現が生まれることもあります。ライブのように、記録が先にない表現もここに含まれます。
この章のまとめ
「メディア」と呼べるものは、空気や紙のような物質的な媒体から、記録や通信の仕組み、表現を届けるサービスまで広がっています。歌声の例では、物理的な振動が何度も別の形に写し取られながら、最後には人が聴く体験につながりました。どの段階を見ているのかを確かめ、その間で何が変わり、何が残るのかを見ることが、この授業でメディアを考える出発点です。
これらの表も、この授業を通じて試しながら更新していくための見取り図です。次の章では、媒体や表現の組み合わせによって、何が伝わりやすく、何が伝わりにくくなるのかを考えます。
2. メディアごとの性質——何を伝えやすく、何を伝えにくいか
書く場所と見る場所
第1章の表をもう一度見ると、メディアには情報が入ってくる方向と、人へ向けて出ていく方向がありそうです。たとえば紙にはペンで文字や絵を書けますし、その紙を見て内容を読むこともできます。書く場所と見る場所は重なっています。
画面のないペンタブレットは手の動きをコンピューターに取り込み、通常のモニターはコンピューターから送られた像を映します。手元でペンを動かしても、その面に線は残らず、少し離れた画面に現れます。こちらは入力と出力が別の機器に分かれており、書く場所と見る場所も離れています。
記録してから見せる
入ってきたものが、すぐに誰かへ届くとは限りません。後から読み出せるように、どこかへ残す場合があります。ここで記録媒体の働きが加わります。
写真を撮る場合、カメラは外からの光を受けます。その像をフィルムやデータとして記録し、印画紙に焼いたり、画面に表示したりして見ることができます。カメラと写真を単純な入力・出力の対にするより、取り込み・記録・提示という働きに分けた方が、途中で何が起きているかが見えてきます。紙のように、一つのものが書き込み・保存・提示を兼ねる場合もあります。
メディアの手触り
いくつかの組み合わせを、書き込み・保持・読み出しという観点で比べてみます。
| 例 | 取り込み(書き込み) | 記録(保持) | 提示(読み出し) |
|---|---|---|---|
| 紙とペン | 紙に直接、文字や線の痕跡をつける | 痕跡が紙に残る | 同じ紙を見て読む |
| ペンタブレットとモニター | 手の動きを取り込み、コンピューターで描く | 保存するならファイルなどに残す | 別の画面に像を表示する |
| カメラと写真 | 光を取り込み、フィルムやデータに記録する | フィルムや記録媒体に残る | 印画紙や画面を通して見る |
| タッチディスプレイ | 触れた位置を検出し、表示内容を変える | 状態が端末内に残る | 操作した面に結果を表示する |
紙の線には、書いた場所にそのまま痕跡が残ります。どこに変化が起き、何が残るかによって、作る側と受け取る側の経験が変わります。
iPadやiPhoneのようなタッチディスプレイ付きのデバイスでは、触れた位置を取り込む面と、結果を表示する面が重なっています。書いた場所に線が見える点では紙に似ていますが、表面に痕跡が残るわけではありません。線を残すにはデータとして保存し、画面の像はすぐに書き換えられます。紙の「書く場所と見る場所の重なり」を別の仕組みで作り出し、紙の体験を模倣しているとも言えます。
また、時間の扱いも、メディアの手触りの一つです。絵画では、見る人が順序や時間を選び、一枚の中の細部を行き来できます。映像や音楽では、作り手が変化の順序や「間」を組み立てられます。ライブでは演じる人と見る人が、その場の時間を共有します。
たとえば、時間の経過とともに変化するプロセスや、次に何が起こるかという期待感をつくることは、映像や音楽の得意なところです。反面、鑑賞者が自由なペースで細部に立ち止まることは苦手です。一方、絵画や写真は時間的な変化をそのまま伝えるのは難しいですが、見る人が自分のペースで細部を眺め、全体を俯瞰することができます。このように、時間の進み方を誰が決めるかによって、何を伝えやすく、何を伝えにくいかが変わり、受け取る体験も大きく変化します。
3. デジタルメディア——何が共通になり、何が変わるか
デジタルにするとは
この授業では、さまざまなメディアのうち、デジタル化された表現を主に扱います。音なら、空気の振動から記録したい変化を測り、数値の並びにできます。画像や文字も、コンピューターの中では数値として扱えます。異なる表現を同じように計算できる一方、物理的な音や光そのものが数値に変わるわけではありません。何を測り、どう表すかを決めて、記録できる形にしています。
デジタルの利点って何だっけ?
音や光のように連続して変わる信号には、伝わる途中で小さなノイズが加わることがあります。アナログの信号では、元からあった細かな変化と、後から加わったノイズを区別するのが困難です。
デジタルでは、数値を0と1のように区別できる記号として扱います。信号が少し揺れても、判定の境界を越えなければ、同じ値として読み取れます。
図の右側では、揺れた信号から再び同じ0と1を読み取れます。ただし、どんなノイズにも耐えられるわけではありません。境界を越えるほど乱れたり、信号が欠けたりすれば、読み間違いも起こります。
なぜコピーや編集がしやすいのか
アナログの信号を複写すると、元の細かな変化に加えて、複写の過程で生じたノイズも次へ持ち越しやすくなります。デジタルデータなら、読み取った0と1を同じ値として書き直すことができます。正しく読めている限り、複製のたびに信号の小さな揺れを積み重ねず、同じデータを増やせます。
コピーはバックアップだけでなく、制作にも使えます。たとえば短い音を何度も並べたり、画像の一部を複製して配置を変えたりできます。数値に対して計算できることも、編集や異なる表現の組み合わせを容易にします。ただし、圧縮や形式の変換によって内容が変わる場合まで、すべて無損失とは言えません。
何を残し、何を残さない?
では、デジタルにすればよいことばかりでしょうか。音の変化を数値として記録するには、いつ測るかと、値をどれだけ細かく分けるかを決めます。音声でいえば、横方向の測る間隔がサンプルレート、縦方向の値の細かさがビット深度に関わります。
図のオレンジの点が記録する値です。点の間で起きた変化や、隣り合う段階の間の細かな違いを、そのまま一つずつ残すわけではありません。ただしアナログの記録にもノイズや媒体の限界があります。「アナログなら元の体験を無限の精度で残せる」という意味ではありません。
デジタルデータの決まり事
数値が並んでいるだけでは、画像・音・文字の区別や再生方法は決まりません。たとえば 1, 2, 3, 4 は、並べ方次第で小さな画像の画素にも、時間順に並んだ音の値にもなります。画像の幅や高さ、音のサンプルレートやチャンネル数、文字なら文字コードなど、データを読むための約束が必要です。
こうした読み方の情報と数値列を、ファイルの中にどう収めるかを定めるのがファイル形式です。コーデックは、画像や音のデータを保存用に変換し、再生時に読み解く方法です。容量を減らすための圧縮にも使われます。同じ約束に従えば、保存した数値列を別の環境でも画像や音として読み直せます。次はTouchDesignerで、数値の並びとその読み方の関係を見てみます。
4. TouchDesignerで、データの扱われ方を見てみる
数値を並べて、画像として見る
/project1/BASIC_CONVERSIONS
数値の列をグラフにし、また数値に戻したり、画像にしたりする変換を試してみます。

音声ファイルから画像を作る
/project1/AUDIO_TO_IMAGE
音声の値を画像として並べ、そこから再び音へ戻してみます。並べ方や読む速さを変えて、見え方・聞こえ方を比べます。

画像から音を作る
/project1/IMAGE_TO_AUDIO
画像の横一行を波形として繰り返し鳴らしてみます。画像や取り出す行を変えて、音の違いを聴きます。

文字を数値として編集する
/project1/TEXT_AS_NUMBERS
文字を番号の列にして、足し算や引き算で別の文字へ変えてみます。

5. メディア変換マトリクス
数値の読み方を変えてみると
TouchDesignerでの実例で見たように、数値を表に並べたり、時間とともに変わる信号として扱ったり、画素に対応づけたりできます。値だけを見ても、それがどんな形で現れるかは決まりません。どう扱い、どう見せるかによって、同じデータから違うものが見えてきます。
メディアを画材として見る
絵の具の色や乾き方、紙の表面の違いは、描くものに影響します。メディアも、情報を載せるだけの透明な入れ物ではありません。 どのように記録し、伝え、受け取られるかという性質が、表現の一部になります。
メディアアートには、新しい技術で何かを見せるだけでなく、メディアの仕組みそのものを探り、表現の可能性を見つけてきた流れがあります。たとえばナムジュン・パイクの《Zen for TV》では、テレビの回路に手を加え、画面に一本の光の線を映し出しました。テレビは映像を流すための道具であると同時に、作品の画材にもなっています。
この授業でも、メディアを使う前に、あるいは使いながら、その特徴や仕組みに目を向けてみます。
変換を思考実験にする
この授業の制作ではデジタルメディアを主に使いますが、発想するときはコンピューターで扱いやすいものだけに限りません。紙の線や身体の動き、音や光も含めて、別のメディアへ移したらどうなるかを考えてみます。
たとえば「画像を音にする」としても、画素を順番に音の波形として読む方法と、画像の明るさを音の高さに対応づける方法があります。同じ画像と音の組み合わせでも、間に置く規則で、残るものや聞こえ方は変わります。実際に変換できるかを調べることと、その変換で何を感じたり考えたりできるかは、別の問いです。
メディア変換マトリクス
変換の出発点を探すために、変換元を縦に、変換先を横に並べてみました。各マスには、二つの間をつなぐ方法の候補を置きます。たとえば「画像→音」の一マスにも、異なる方法が入ります。
| 変換元\変換先 | 文字・記号 | 数値・表 | 音 | 画像・映像 | 線・パス | 立体・空間 | 動き・行為 |
|---|---|---|---|---|---|---|---|
| 文字・記号 | 翻訳、暗号、置換、切り貼り、並べ替え | 文字コード、頻度、長さ、位置、構文木 | 読み上げ、音素、モールス信号、文字コードの発音 | 字形、組版、文字コードの画素化、文字密度 | 字形の輪郭、筆順、命令列による描画 | 押し出し、空間配置、立体文字、文字値による形状生成 | 楽譜、指示書、台本、入力の時間間隔、実行手順 |
| 数値・表 | 数値表記、Unicode、階級ごとの記号割当 | 正規化、集約、並べ替え、座標変換 | 波形、音高、振幅、リズム、倍音 | 画素、色、濃度場、図表 | 座標列、関数曲線、等高線 | 頂点、ボクセル、距離場、属性 | キーフレーム、制御信号、確率的な振る舞い |
| 音 | 音声認識、音素、採譜、モールス信号の復号 | 波形、振幅、周波数、位相、発音時刻 | フィルター、変調、畳み込み、時間伸縮、再標本化 | 波形表示、スペクトログラム、サンプルの画素化 | 波形曲線、包絡線、周波数輪郭 | 波形の回転体、周波数の地形、音源の空間配置 | 音量や拍による動作、発音をきっかけにした行為 |
| 画像・映像 | OCR、画素値の文字化、画像説明、記号化 | 画素、ヒストグラム、特徴量、フレーム差分 | 画素走査、明るさの可聴化、周波数への割当、通信信号化 | フィルター、圧縮、残像、フィードバック、スリットスキャン、長時間露光、時間積分 | 閾値と輪郭、エッジ、骨格、ベクター化 | 高さマップ、奥行き推定、輪郭の回転体、点群化 | オプティカルフロー、軌跡、動きの抽出、時間の再配置 |
| 線・パス | 手書き認識、記譜、方向列の文字化 | 制御点、長さ、曲率、接線、交差数 | Xを時間・Yを振幅として読む、曲率の可聴化、楽譜化 | ラスタライズ、塗りつぶし、距離場、走査 | 平滑化、簡略化、分割、並べ替え、反復 | 押し出し、回転体、掃引、断面 | 軌跡、カメラ経路、描画動作、振付 |
| 立体・空間 | 名称、注釈、記述、位相的な記号化 | 頂点、法線、距離、面積、体積、接続関係 | 断面を波形として読む、固有振動の可聴化、距離の音響化 | 投影、レンダリング、深度、法線、影、断面画像 | 輪郭、断面、稜線、投影線 | 変形、切断、再分割、ブーリアン演算 | 骨格、変形、物理運動、視点移動、組立手順 |
| 動き・行為 | 身振り認識、動作記譜、操作履歴、物語化 | 位置、速度、加速度、時刻、反復回数 | 動作の可聴化、速度と音高、接触と発音 | 軌跡、残像、フレーム差分、時間断面 | 移動軌跡、筆跡、ジェスチャーの線 | 掃引体積、モーションキャプチャ骨格、変形 | 反転、反復、時間伸縮、平滑化、規則化 |
各マスは一つの正解ではありません。同じ組み合わせにも、異なる変換方法を考えられます。この表はTouchDesignerの機能一覧ではなく、まだ試していない経路を見つけるための地図です。
6. まとめ
ここまで、メディアによって記録や伝わり方が変わること、デジタルデータも読み方によって違う姿を見せることを考えてきました。最後に、上のマトリクスを眺めて、気になる変換の道筋を探してみてください。表にない変換元や変換先を思いついてもかまいません。
- 何から何へ変えてみたいですか?
- どんな規則で変えると、何が伝わりやすくなり、何が失われそうですか?
- その変化のどこが面白そうでしょうか?
実際に作る方法は、まだ決めなくても大丈夫です。授業では基本的な変換から試しますが、ここではもっと自由に想像してみてください。気になる道筋をいくつか見つけることが、自分の興味を知る手がかりになります。