第1回:メディアとは何か/デジタルメディアと再解釈

1. 導入——メディアってなんだっけ?

「メディア」という言葉について考える

メディア(media)とは、情報を記録・保存・伝達するための媒体、あるいはその間を取り持つ仕組みを指す言葉です。英語の media は medium の複数形で、もともと「間にあるもの」「媒介するもの」という意味を持ちます。

日常では、新聞・テレビ・ラジオなどのマスメディア、インターネットやSNSなどのデジタルメディア、USBメモリやディスクなどの記録媒体を指して使われます。ただし、これらは同じ基準で分けられた分類ではありません。多くの人に伝える仕組みを指すこともあれば、情報を保存する物を指すこともあります。

今回の授業では、そうした違いを具体例から確かめながら、メディアという言葉の定義、範囲を考えていきたいと思っています。

メディアにはどういう種類がある?

先ほど挙げた新聞やテレビ、USBメモリのほかにも、紙、レコード、フィルム、光やそれを伝える光ファイバー、音やそれを伝える空気などが考えられます。それぞれが何を伝え、何を残すのか、メディアっぽいものをひとつの表に並べてみます。

例何を運ぶ・伝える?何を記録・保存する?
空気振動として伝わる音残らない
音振動として伝わる声や音楽音そのものは残らない。録音には別の媒体が必要
光明るさや色の変化、信号にした情報光そのものは残らない。記録には別の媒体が必要
光ファイバー光の変化として表した信号残らない
紙書かれた文字や描かれた図像インクや鉛筆などの痕跡が残る
フィルム映写時に見える連続した像コマごとの像がフィルムに残る
レコード再生時に音として聞こえる変化音の変化に対応する溝が残る
USBメモリ持ち運ぶファイルのデータデータをメモリ内の電気的な状態として保持する
レコーダー映像・音声信号を受け取り、再生時に送り出す内蔵・接続した記録媒体に映像や音声のデータを残す
インターネット動画、文章、音声などのデータを、さまざまな端末やサービスの間でやり取りするネットワーク自体は保存を目的としない。保存は接続先の装置やサービスで行う
ラジオ電波で届く音声や音楽残らない。録音には別の記録媒体/装置が必要
テレビ放送される映像や音声テレビで見るだけなら残らない。録画にはレコーダーなどが必要
新聞印刷された文字や写真文字や写真が紙面に残る
YouTube投稿動画やライブ映像・音声をネット経由で届ける投稿動画のデータはサービス側の記録媒体に保存される。ライブ配信と保存は別の働き

表にすると、新聞は紙に印刷されたものである一方、テレビは放送を受けて映像と音を出す装置であり、USBメモリはデータを保存する物だとわかります。

同じ表に並べられていても、物、記録の方法、伝える仕組みが混ざっています。YouTubeでは投稿動画を保存し、インターネットを通じて視聴者へ届けています。音と空気、光と光ファイバーのように、あるものを伝える現象と、それが通るものも同じ表に並んでいます。どこに注目すると、それをメディアと呼べるのか。 その境界を考えてみましょう。

メディアは情報の支持体である

絵画において絵の具を載せるキャンバスや紙を「支持体」と呼ぶように、情報にもそれを載せて運んだり残したりする土台があります。

上の表には、空気や紙、レコーダー、インターネット、YouTubeまで並べました。一見すると空気とYouTubeには関連がなさそうに見えますが、「情報を支え、伝えるための媒体」という切り口で捉え直すと、すべてメディアと言うことができます。たとえば空気は音の振動を伝える媒体であり、YouTubeは動画コンテンツを視聴者に届ける仕組みです。

ここで、音を例に三つの見方を重ねてみます。

見方声や歌の場合
1. 物理的な働き空気が振動し、その変化が耳まで届く
2. 情報とパターン音の強弱やリズム、言葉の規則によって、声や歌として聞こえる
3. 人と人の関係誰かが話しかけ、歌い、別の誰かが(インターネット越しも含めて)聴く

空気の振動だけを見れば物理現象ですが、そこにあるパターンを言葉や音楽として受け取るとき、情報や表現の話になります。そして、話しかける人と聞く人がいれば、そこにはコミュニケーションがあります。三つの見方は、別々の出来事ではなく、同じ声や歌に重なっています。

声はその場で相手に届くこともあれば、レコードの溝に記録して後から再生することもできます(記録)。ラジオなら電波に載せて離れた人に届けられますし、YouTubeなら保存や配信もできます(伝達)。そうした仕組みの中にも物理的な変化があり、声や音楽としてのパターンがあり、それを聞く人がいます。空気、レコード、ラジオ、YouTubeは、異なるものを媒介しているからこそ、それぞれが「メディア」と呼べるのです。

歌声が視聴者に届くまで

誰かが歌を収録してYouTubeに投稿し、別の人が聴く場合を考えてみます。下の表は、途中で起こる主な変換や複製を順に並べたものです。

段階何が起きる?情報を担う形
歌う声帯などの動きが空気を振動させ、歌声が周囲に広がる空気の圧力の変化
マイクで収音空気の振動をマイクが受け、対応する電気信号に変えるアナログの電気信号
デジタル化音声信号を一定の間隔で読み取り、数値として扱えるようにする音声のサンプルデータ
ファイル化・保存音声を符号化・圧縮し、投稿するファイルとして端末の記録媒体に保存するファイルのデータ、記録媒体の状態
アップロード端末がデータを送り出す。手元の通信には電気信号や電波などを使うネットワーク上のデータと信号
光ファイバーの区間その区間では電気信号から光信号へ、また光信号から電気信号へ変える光の変化として運ばれるデータ
YouTube側で受信・保存届いたデータを受け取り、サービス側の記録媒体に保存する。視聴向けに別の形式へ変換する場合もある投稿されたデータと、配信用のデータ
視聴者への配信ブラウザーやアプリからの要求に応じて、サービス側が配信用データを読み出して送る保存されたデータをもとに送られる新たなデータ
視聴者までの通信光ファイバーを通る区間では電気信号から光信号へ変え、届いた先でまた電気信号に戻す。端末の手前では電波を使う場合もある光・電気・電波などで表されるデータ
端末で復号受け取ったデータから音声を取り出す再生に使う音声データ
スピーカーで再生音声データをD/A変換してアナログの電気信号に戻し、スピーカーを動かして空気を振動させる再び空気を伝わる音
聴く視聴者が歌声を聴き、そこから何かを感じ取る人が受け取る体験

ここでは同じ歌を届けていますが、空気の振動がそのままYouTubeのサーバーまで移動したわけではありません。音の変化はマイクの電気信号、数値データ、通信中の信号、記録媒体の状態へと次々に写し取られ、視聴者の前で再び音になります。アップロードや配信の際にはデータの複製も起こります。何を保ち、何が変わるのかを見ていくと、ひと続きに見える視聴体験の中にも、いくつものメディア変換があるとわかります。

この授業での「メディア」という言葉の扱い

空気や紙のように、音を伝えたり文字を残したりする物があります。その上には、音を数値として記録し、読み出して再生するための形式や規則があります。さらに、誰かが作ったものを別の誰かが受け取り、何かを感じたり応答したりする関係があります。ここまで見てきた「メディア」は、物だけでなく、情報の記録・伝達の仕方や、人と人との間でそれが働く仕組みにも及びます。

この授業では、それらを全部同じ種類のものとして一括りにはしません。空気が振動を運ぶことと、YouTubeが投稿を届けることは違います。それでも両方を視野に入れながら、作り手と受け手の間で、何がどんな形で伝わり、どう受け取られるのかを考えます。作品についても、最初から明確なメッセージがあると決めつけず、使う媒体や伝え方によって体験がどう変わるかを試していきます。

歌声の例以外にも、媒体や伝達の場から表現まで、さまざまな組み合わせを考えられます。いくつか並べてみましょう。

媒体・伝達の場の例記録・解釈の形式の例そこで成立し得る表現の例
紙とインク文字、図像、印刷小説、詩、絵画、漫画
レコードの溝、スピーカーと空気音の記録・再生録音された音楽、音響作品
フィルム、磁気テープ、画面連続画像や映像・音声信号映画、映像作品
ストレージ、ディスプレイ、スピーカー数値列、ファイル形式、表示・再生の規則デジタル画像、動画、音楽、インタラクティブ作品
身体と共有する空間身振り、動作、時間的な進行ダンス、ライブ・パフォーマンス

この表は一行ずつの対応を決めるためのものではありません。同じ音楽でも、その場で演奏して聴くことも、レコードに記録して聴くこともできます。一つの媒体から異なる表現が生まれることもあります。ライブのように、記録が先にない表現もここに含まれます。

この章のまとめ

「メディア」と呼べるものは、空気や紙のような物質的な媒体から、記録や通信の仕組み、表現を届けるサービスまで広がっています。歌声の例では、物理的な振動が何度も別の形に写し取られながら、最後には人が聴く体験につながりました。どの段階を見ているのかを確かめ、その間で何が変わり、何が残るのかを見ることが、この授業でメディアを考える出発点です。

これらの表も、この授業を通じて試しながら更新していくための見取り図です。次の章では、媒体や表現の組み合わせによって、何が伝わりやすく、何が伝わりにくくなるのかを考えます。

2. メディアごとの性質——何を伝えやすく、何を伝えにくいか

書く場所と見る場所

第1章の表をもう一度見ると、メディアには情報が入ってくる方向と、人へ向けて出ていく方向がありそうです。たとえば紙にはペンで文字や絵を書けますし、その紙を見て内容を読むこともできます。書く場所と見る場所は重なっています。

画面のないペンタブレットは手の動きをコンピューターに取り込み、通常のモニターはコンピューターから送られた像を映します。手元でペンを動かしても、その面に線は残らず、少し離れた画面に現れます。こちらは入力と出力が別の機器に分かれており、書く場所と見る場所も離れています。

記録してから見せる

入ってきたものが、すぐに誰かへ届くとは限りません。後から読み出せるように、どこかへ残す場合があります。ここで記録媒体の働きが加わります。

写真を撮る場合、カメラは外からの光を受けます。その像をフィルムやデータとして記録し、印画紙に焼いたり、画面に表示したりして見ることができます。カメラと写真を単純な入力・出力の対にするより、取り込み・記録・提示という働きに分けた方が、途中で何が起きているかが見えてきます。紙のように、一つのものが書き込み・保存・提示を兼ねる場合もあります。

メディアの手触り

いくつかの組み合わせを、書き込み・保持・読み出しという観点で比べてみます。

例取り込み(書き込み)記録(保持)提示(読み出し)
紙とペン紙に直接、文字や線の痕跡をつける痕跡が紙に残る同じ紙を見て読む
ペンタブレットとモニター手の動きを取り込み、コンピューターで描く保存するならファイルなどに残す別の画面に像を表示する
カメラと写真光を取り込み、フィルムやデータに記録するフィルムや記録媒体に残る印画紙や画面を通して見る
タッチディスプレイ触れた位置を検出し、表示内容を変える状態が端末内に残る操作した面に結果を表示する

紙の線には、書いた場所にそのまま痕跡が残ります。どこに変化が起き、何が残るかによって、作る側と受け取る側の経験が変わります。

iPadやiPhoneのようなタッチディスプレイ付きのデバイスでは、触れた位置を取り込む面と、結果を表示する面が重なっています。書いた場所に線が見える点では紙に似ていますが、表面に痕跡が残るわけではありません。線を残すにはデータとして保存し、画面の像はすぐに書き換えられます。紙の「書く場所と見る場所の重なり」を別の仕組みで作り出し、紙の体験を模倣しているとも言えます。

また、時間の扱いも、メディアの手触りの一つです。絵画では、見る人が順序や時間を選び、一枚の中の細部を行き来できます。映像や音楽では、作り手が変化の順序や「間」を組み立てられます。ライブでは演じる人と見る人が、その場の時間を共有します。

たとえば、時間の経過とともに変化するプロセスや、次に何が起こるかという期待感をつくることは、映像や音楽の得意なところです。反面、鑑賞者が自由なペースで細部に立ち止まることは苦手です。一方、絵画や写真は時間的な変化をそのまま伝えるのは難しいですが、見る人が自分のペースで細部を眺め、全体を俯瞰することができます。このように、時間の進み方を誰が決めるかによって、何を伝えやすく、何を伝えにくいかが変わり、受け取る体験も大きく変化します。

3. デジタルメディア——何が共通になり、何が変わるか

デジタルにするとは

この授業では、さまざまなメディアのうち、デジタル化された表現を主に扱います。音なら、空気の振動から記録したい変化を測り、数値の並びにできます。画像や文字も、コンピューターの中では数値として扱えます。異なる表現を同じように計算できる一方、物理的な音や光そのものが数値に変わるわけではありません。何を測り、どう表すかを決めて、記録できる形にしています。

デジタルの利点って何だっけ?

音や光のように連続して変わる信号には、伝わる途中で小さなノイズが加わることがあります。アナログの信号では、元からあった細かな変化と、後から加わったノイズを区別するのが困難です。

デジタルでは、数値を0と1のように区別できる記号として扱います。信号が少し揺れても、判定の境界を越えなければ、同じ値として読み取れます。

アナログとデジタルの信号に小さなノイズを加えた比較

図の右側では、揺れた信号から再び同じ0と1を読み取れます。ただし、どんなノイズにも耐えられるわけではありません。境界を越えるほど乱れたり、信号が欠けたりすれば、読み間違いも起こります。

大きなノイズでしきい値を越え、0が1と読み取られるデジタル信号

なぜコピーや編集がしやすいのか

アナログの信号を複写すると、元の細かな変化に加えて、複写の過程で生じたノイズも次へ持ち越しやすくなります。デジタルデータなら、読み取った0と1を同じ値として書き直すことができます。正しく読めている限り、複製のたびに信号の小さな揺れを積み重ねず、同じデータを増やせます。

コピーはバックアップだけでなく、制作にも使えます。たとえば短い音を何度も並べたり、画像の一部を複製して配置を変えたりできます。数値に対して計算できることも、編集や異なる表現の組み合わせを容易にします。ただし、圧縮や形式の変換によって内容が変わる場合まで、すべて無損失とは言えません。

何を残し、何を残さない?

では、デジタルにすればよいことばかりでしょうか。音の変化を数値として記録するには、いつ測るかと、値をどれだけ細かく分けるかを決めます。音声でいえば、横方向の測る間隔がサンプルレート、縦方向の値の細かさがビット深度に関わります。

連続的な波形から時刻と値の段階を選んで記録する図

図のオレンジの点が記録する値です。点の間で起きた変化や、隣り合う段階の間の細かな違いを、そのまま一つずつ残すわけではありません。ただしアナログの記録にもノイズや媒体の限界があります。「アナログなら元の体験を無限の精度で残せる」という意味ではありません。

デジタルデータの決まり事

数値が並んでいるだけでは、画像・音・文字の区別や再生方法は決まりません。たとえば 1, 2, 3, 4 は、並べ方次第で小さな画像の画素にも、時間順に並んだ音の値にもなります。画像の幅や高さ、音のサンプルレートやチャンネル数、文字なら文字コードなど、データを読むための約束が必要です。

数値列1 2 3 4から、画像・音・文字のそれぞれの疑問符へ矢印が伸びる図

こうした読み方の情報と数値列を、ファイルの中にどう収めるかを定めるのがファイル形式です。コーデックは、画像や音のデータを保存用に変換し、再生時に読み解く方法です。容量を減らすための圧縮にも使われます。同じ約束に従えば、保存した数値列を別の環境でも画像や音として読み直せます。次はTouchDesignerで、数値の並びとその読み方の関係を見てみます。

4. TouchDesignerで、データの扱われ方を見てみる

プロジェクトファイル

数値を並べて、画像として見る

/project1/BASIC_CONVERSIONS

数値の列をグラフにし、また数値に戻したり、画像にしたりする変換を試してみます。

数値を画像として表示するTouchDesignerのネットワーク画面

音声ファイルから画像を作る

/project1/AUDIO_TO_IMAGE

音声の値を画像として並べ、そこから再び音へ戻してみます。並べ方や読む速さを変えて、見え方・聞こえ方を比べます。

音声データを画像に変換するネットワーク画面

画像から音を作る

/project1/IMAGE_TO_AUDIO

画像の横一行を波形として繰り返し鳴らしてみます。画像や取り出す行を変えて、音の違いを聴きます。

画像のピクセルから音を生成するネットワーク画面

文字を数値として編集する

/project1/TEXT_AS_NUMBERS

文字を番号の列にして、足し算や引き算で別の文字へ変えてみます。

文字コードを数値として演算するネットワーク画面

5. メディア変換マトリクス

数値の読み方を変えてみると

TouchDesignerでの実例で見たように、数値を表に並べたり、時間とともに変わる信号として扱ったり、画素に対応づけたりできます。値だけを見ても、それがどんな形で現れるかは決まりません。どう扱い、どう見せるかによって、同じデータから違うものが見えてきます。

メディアを画材として見る

絵の具の色や乾き方、紙の表面の違いは、描くものに影響します。メディアも、情報を載せるだけの透明な入れ物ではありません。 どのように記録し、伝え、受け取られるかという性質が、表現の一部になります。

メディアアートには、新しい技術で何かを見せるだけでなく、メディアの仕組みそのものを探り、表現の可能性を見つけてきた流れがあります。たとえばナムジュン・パイクの《Zen for TV》では、テレビの回路に手を加え、画面に一本の光の線を映し出しました。テレビは映像を流すための道具であると同時に、作品の画材にもなっています。

この授業でも、メディアを使う前に、あるいは使いながら、その特徴や仕組みに目を向けてみます。

変換を思考実験にする

この授業の制作ではデジタルメディアを主に使いますが、発想するときはコンピューターで扱いやすいものだけに限りません。紙の線や身体の動き、音や光も含めて、別のメディアへ移したらどうなるかを考えてみます。

たとえば「画像を音にする」としても、画素を順番に音の波形として読む方法と、画像の明るさを音の高さに対応づける方法があります。同じ画像と音の組み合わせでも、間に置く規則で、残るものや聞こえ方は変わります。実際に変換できるかを調べることと、その変換で何を感じたり考えたりできるかは、別の問いです。

メディア変換マトリクス

変換の出発点を探すために、変換元を縦に、変換先を横に並べてみました。各マスには、二つの間をつなぐ方法の候補を置きます。たとえば「画像→音」の一マスにも、異なる方法が入ります。

変換元\変換先文字・記号数値・表音画像・映像線・パス立体・空間動き・行為
文字・記号翻訳、暗号、置換、切り貼り、並べ替え文字コード、頻度、長さ、位置、構文木読み上げ、音素、モールス信号、文字コードの発音字形、組版、文字コードの画素化、文字密度字形の輪郭、筆順、命令列による描画押し出し、空間配置、立体文字、文字値による形状生成楽譜、指示書、台本、入力の時間間隔、実行手順
数値・表数値表記、Unicode、階級ごとの記号割当正規化、集約、並べ替え、座標変換波形、音高、振幅、リズム、倍音画素、色、濃度場、図表座標列、関数曲線、等高線頂点、ボクセル、距離場、属性キーフレーム、制御信号、確率的な振る舞い
音音声認識、音素、採譜、モールス信号の復号波形、振幅、周波数、位相、発音時刻フィルター、変調、畳み込み、時間伸縮、再標本化波形表示、スペクトログラム、サンプルの画素化波形曲線、包絡線、周波数輪郭波形の回転体、周波数の地形、音源の空間配置音量や拍による動作、発音をきっかけにした行為
画像・映像OCR、画素値の文字化、画像説明、記号化画素、ヒストグラム、特徴量、フレーム差分画素走査、明るさの可聴化、周波数への割当、通信信号化フィルター、圧縮、残像、フィードバック、スリットスキャン、長時間露光、時間積分閾値と輪郭、エッジ、骨格、ベクター化高さマップ、奥行き推定、輪郭の回転体、点群化オプティカルフロー、軌跡、動きの抽出、時間の再配置
線・パス手書き認識、記譜、方向列の文字化制御点、長さ、曲率、接線、交差数Xを時間・Yを振幅として読む、曲率の可聴化、楽譜化ラスタライズ、塗りつぶし、距離場、走査平滑化、簡略化、分割、並べ替え、反復押し出し、回転体、掃引、断面軌跡、カメラ経路、描画動作、振付
立体・空間名称、注釈、記述、位相的な記号化頂点、法線、距離、面積、体積、接続関係断面を波形として読む、固有振動の可聴化、距離の音響化投影、レンダリング、深度、法線、影、断面画像輪郭、断面、稜線、投影線変形、切断、再分割、ブーリアン演算骨格、変形、物理運動、視点移動、組立手順
動き・行為身振り認識、動作記譜、操作履歴、物語化位置、速度、加速度、時刻、反復回数動作の可聴化、速度と音高、接触と発音軌跡、残像、フレーム差分、時間断面移動軌跡、筆跡、ジェスチャーの線掃引体積、モーションキャプチャ骨格、変形反転、反復、時間伸縮、平滑化、規則化

各マスは一つの正解ではありません。同じ組み合わせにも、異なる変換方法を考えられます。この表はTouchDesignerの機能一覧ではなく、まだ試していない経路を見つけるための地図です。

6. まとめ

ここまで、メディアによって記録や伝わり方が変わること、デジタルデータも読み方によって違う姿を見せることを考えてきました。最後に、上のマトリクスを眺めて、気になる変換の道筋を探してみてください。表にない変換元や変換先を思いついてもかまいません。

  • 何から何へ変えてみたいですか?
  • どんな規則で変えると、何が伝わりやすくなり、何が失われそうですか?
  • その変化のどこが面白そうでしょうか?

実際に作る方法は、まだ決めなくても大丈夫です。授業では基本的な変換から試しますが、ここではもっと自由に想像してみてください。気になる道筋をいくつか見つけることが、自分の興味を知る手がかりになります。