第3回:データを誤読する——バイト列、フォーマット、解像度、サンプリング

本日のプロジェクトファイル

今回は、デジタルメディアで音や映像を扱うときに、データがどのようなルールで記録され、読み込まれているのかを、標本化・量子化・符号化・圧縮の4つの観点から確かめます。そのうえで、あえてそのルールを外してデータを読み、誤読から何が見えてくるのか、どうすれば上手に誤読できるのかを考えていきます。

1. アナログとデジタルの違い

先週はTouchDesignerの基本操作を学び、パソコンの中で画像や音を扱う仕組みを作りました。今回は、そこで扱っている「デジタルデータ」がどのようにできているのかを見ていきます。その導入として、音を記録し、再生する仕組みから、アナログとデジタルの違いを考えてみましょう。

蓄音機とデジタル録音の比較。デジタルでは、マイクで音を電気信号に変え、A/D変換で数値として記録する。再生時はD/A変換で電気信号に戻し、スピーカーから音を出す。どちらも始まりと終わりは空気の振動。

蓄音機では、音の振動を針で蝋管の溝に刻み、再生するときは、その溝を針でたどって振動を取り出します。アナログの記録は、このように、物理現象をそれに対応する物理的な形や変化として残すものです。

一方、デジタル録音では、マイクが空気の振動を電気信号に変えます。その信号を数値として表すのが、A/D変換(アナログ/デジタル変換)です。得られた数値は、決められた規則でデータとして記録されます。

再生するときは、記録したデータを読み取り、数値に応じた電気信号を作ります。これがD/A変換(デジタル/アナログ変換)です。その信号でスピーカーを振動させることで、音が空気の振動として耳に届きます。

記録の形式は違っても、どちらも始まりには音の振動があり、再生した音も空気の振動として耳に届きます。人が音を知覚するところでは、アナログでもデジタルでも、物理現象として届くという点は変わりません。今日は、この共通する流れの途中にあるデジタルデータの作り方や扱い方を、TouchDesignerで確かめていきます。

2. デジタル化を捉える4つの層

前の章では、A/D変換で音の電気信号を数値に変え、D/A変換で数値から電気信号を作る流れを見ました。ここでは、信号をどのように数値として記録し、その数値からどのように信号を再生するのかを、もう少し詳しく見ていきます。

その手がかりとなるのが、標本化・量子化・符号化・圧縮の4つです。TouchDesignerのサンプルを通して、それぞれの役割と、設定や処理を変えたときに音や画像にどのような違いが現れるかを確かめます。

標本化

標本化(サンプリング)は、連続して変化する信号から、一定の間隔で値を取り出すことです。音や映像では時間の間隔、画像では空間の位置や間隔が関わります。音のサンプリングレートも、映像のフレームレートも、1秒間に何回値を取り出すかを表しています。測る間隔を変えると、どれくらい細かい変化まで捉えられるかが変わります。

標本化の概念図。同じ信号を細かい時間間隔と粗い時間間隔で測る。灰色の線は元の信号、青い点は測った値を示す。

再生側では、記録した値を時間の間隔に合わせて使い、D/A変換で電気信号を作ります。点と点の間の変化は、そのまま記録されているわけではありません。

補間

画像を拡大するときなど、標本化した間隔よりも細かく値が必要になるときには、記録された値の間を埋める必要があります。これを補間といいます。補間をせず、近くの値をそのまま使うと、段差が残ります。補間をして、前後の値をつないで間を埋めると、段差はなくなりますが、記録されていない値を推測して作ることになります。

補間の概念図。標本化の図の粗い間隔で測った同じ点を使い、補間しない場合は値を保持して階段状に、補間する場合は隣り合う点を直線でつないで間を埋める。灰色の線は元の信号、青い点は記録された値、オレンジの線は間を埋めた値を示す。

EXAMPLE

画像・音・動きのそれぞれで、粗く標本化したときや、補間のあり・なしで、見え方や聞こえ方がどう変わるかを確かめます。

/project1/SAMPLING

SAMPLINGのネットワーク:画像の補間の比較、音声の補間の比較、回転する図形のコマ落としを左から並べている

  • 補間の違いで見え方が変わる:画像の解像度を下げて粗く標本化した状態を作り、元の大きさに戻すときの補間のあり・なしで、見え方を比べます。
  • 補間の違いで音が変わる:音声のサンプリングレートを下げて粗く標本化した状態を作り、補間のあり・なしで音がどう変わるかを聴きます。
  • 動いているものを切り取ることで違う動きが見えてくる:回転する図形をコマ落としで切り取り、止まって見えたり、逆回転に見えたりする条件を探します。

画像を3Dで見る

画像は、画素ごとの数値が縦横に並んだものです。数値なので、色として表示するだけでなく、別のものとして使うこともできます。ここでは、画素の明るさを点の高さとして使い、画像を3Dの起伏として見てみます。この見方は、この後の量子化や符号化でも、値の段差や分布を観察するために使います。

TouchDesignerのTOPでは、画像の値を記録する形式(Pixel Format)を選べます。デフォルトで使われる 8-bit fixed (RGBA)(整数、Int)では、明るさの値が0(黒)〜1(白)の範囲にクランプ(制限)されます。一方、16-bit float (RGBA) や 32-bit float (RGBA)(浮動小数点、Float)では、負の値や1を超える値も保持できます。3Dで見ると、クランプされた部分は高さが1で平らに切り取られます。

IntとFloatのクランプの比較。同じ値の変化を記録したグラフ。Int側は0と1でクランプされ、赤い部分の変化が失われる。Float側は負の値や1を超える変化も保持する。

EXAMPLE

画像の色を点の色に、明るさを点の高さに割り当てて、画像を3Dの点の集まりとして表示します。

/project1/IMAGE_TO_3D

IMAGE_TO_3Dのネットワーク:画像を段階化してから、Grid POPの点に画像の色と明るさを割り当てる

量子化

量子化は、測った値を、あらかじめ決めた有限の段階に合わせることです。A/D変換では、装置が扱える段階に信号の値を合わせます。標本化が「どの間隔で測るか」だとすると、量子化は「値をどの細かさで表すか」に関わります。

量子化の概念図。同じ時刻に測った信号の値を、8段階と4段階で表す。横線は選べる値の段階、青い点はその段階に合わせた値を示す。

段階を少なくすると、近い値どうしの違いが記録に残らなくなります。D/A変換でアナログの信号に戻すときも、失われた細かさは元には戻りません。

値の刻み方には、ビット深度(1つの値に使うビット数)と数値形式が関わります。前の節で見たPixel Formatのうち、8-bit fixed (RGBA)(8bit整数、Int)と16-bit float (RGBA)(16bit浮動小数点、Float)では、扱える範囲だけでなく、値を刻む細かさも違います。

値の刻み方の比較。8bit Intと16bit Floatで記録した値の段差を、同じ明るさの範囲を拡大して比べる。

音にも、画像と同じようにビット深度があります。たとえば16bitでは、1つのサンプルを65,536段階で表します。ビット深度を下げると、ビットクラッシャー(音の段階をわざと粗くするエフェクト)をかけたような、粗い音になります。

EXAMPLE

画像・音のそれぞれで、値の段階を減らしたときや、Pixel Formatを変えたときに、見え方や聞こえ方がどう変わるかを確かめます。

/project1/QUANTIZE

QUANTIZEのネットワーク:画像の二値化と減色、音声のビットクラッシャー、Pixel Formatの違いを3Dで見る比較を左から並べている

  • 二値化と減色:画像の明るさを2段階や少ない段階に減らし、3Dで段差として見ます。
  • ビットクラッシャー:音声の値の段階を減らし、音がどう変わるかを聴きます。
  • Pixel Formatの違いを3Dで見る - 8-bit vs 16-bit float:同じ画像を8-bit fixedと16-bit floatで作り、3Dで段差の細かさを比べます。

符号化

符号化(エンコード)は、数値を決められた規則でデータとして表すことです。量子化で値の段階が決まったあとも、その値をどの順番で並べ、どのように対応づけて記録するかのルールを決める必要があります。

画像では、画素の値をどの順番で並べ、何行・何列として読み取るかを決めます。決められた規則でデータを読み取り、画素の値などを取り出すことを復号(デコード)といいます。

画素の並べ方を考える図。画素の数値列を、左から3個ずつ折り返して3列×2行の画像へ配置する。

並べ方だけでなく、値を書き込むときと読み込むときにもルールがあります。たとえば、明るさをどのような数値として記録するか、という対応のルールです。書き込んだときと同じルールで読み込めば、元の明るさを取り出せます。

映像の撮影では、Log(ログ)エンコーディングという記録のルールがよく使われます。暗いところから明るいところまでの広い範囲を限られた段階に収めるために、明るさを特別な対応で数値にしています。そのため、Logで記録した映像をそのまま表示すると、コントラストの低い、全体がグレーがかった画像に見えます。記録したときと同じルールで読み込むと、本来の明るさで表示できます。

EXAMPLE

画素の並べ方や、明るさの読み書きのルールを変えたときに、同じ数値からどのような画像が現れるかを確かめます。

/project1/ENCODE

ENCODEのネットワーク:数値列からモアレパターンを作る例、画素のソート、Logエンコーディングで撮影した映像素材の変換を左から並べている

  • 画素の並べ方1 - 1次元のグラフから2次元のモアレパターンを作る:1列に並んだ数値を、折り返して画像として並べます。並べ方を変えるだけで模様が変わります。
  • 画素の並べ方2 - 画素をソートする:画像の画素を値の大きさで並べ替えてから、画像に戻します。
  • Logエンコーディングで撮影された映像素材:Logで記録された映像を、そのまま表示したときと、記録したときのルールで読み込んだときとで比べ、明るさの分布を3Dで見ます。

圧縮

圧縮は、データの規則性をまとめたり、一部の情報を省いたりして、保存や送信に必要なデータ量を減らすことです。元のデータを完全に取り戻せるものを可逆圧縮、取り戻せないものを非可逆圧縮といいます。

圧縮の概念図。同じ元画像を実際にJPEG圧縮し、高品質設定と低品質設定の復号結果を比較する。圧縮前の画素データとJPEGデータの量、画像に残る細かな違いを示す。

ここでは、JPEGなどの非可逆圧縮を中心に見ていきます。データ量を減らす一方で、省いた情報は、読み込み直しても元どおりにはなりません。圧縮の設定によって、画像や音に何が残り、どのような変化が現れるかを確かめます。

非可逆圧縮では、同じ画像を保存し直すたびに、少しずつ情報が失われていきます。何度も繰り返すと、元の画像からどんどん離れていきます。

EXAMPLE

JPEGの画質を変えたり、保存を繰り返したり、データを壊したりして、画像がどう変わるかを確かめます。

/project1/COMPRESS

COMPRESSのネットワーク:JPEGでの保存、リアルタイムの圧縮、圧縮の繰り返し、圧縮データを壊すグリッチを左から並べている

  • TOPを圧縮画像として保存する:画質を指定してJPEGファイルとして保存し、ファイルの大きさと見え方を比べます。
  • リアルタイムで圧縮する:JPEGの画質をスライダーで変えながら、圧縮された画像をその場で見ます。
  • 同じ画像を何回も保存する:JPEGの圧縮を繰り返しかけ、劣化が進んでいく様子を見ます。少しずつ位置をずらすと、劣化が速く進みます。
  • 圧縮画像を壊す - グリッチエフェクト:JPEGのデータの一部を壊し、読み込んだときの崩れ方を見ます。

3. データを誤読する

ここまで見てきたように、デジタルのデータは、決められたルールで書き込み、同じルールで読み込むことで、画像や音として扱えるようになっています。

画像でも音でも、ファイルは1バイト(8bit、0〜255の値)が並んだ列として読むことができます。ファイルの形式(フォーマット)は、このバイトの並びをどう読むかのルールです。

この章では、そのルールをあえて無視して、ファイルのバイト列をそのまま画像や音として読み替えてみます。本来の形式として正しく読み込んだときには見えない、データの区切りや繰り返しが、模様や音として現れます。

データをこのように読み替える試みには、たとえば次のようなものがあります。

  • SoundHack:Tom Erbeが開発した音響処理ソフトウェアです。どんなファイルでも音として開く機能があり、データを音として聴く試みに使われてきました。
  • Binary Visualizing — marrs.io:1バイトを1画素の明るさにして、3Dファイルなどのバイト列を画像として観察した実験の記録です。並べる幅を変えると模様が揃ったり崩れたりする様子や、BMPファイルのバイト列が元の画像に近い像になる例が紹介されています。

今回のサンプルは、これらのソフトウェアや実験を参考にして、TouchDesignerでリアルタイムに動作するようにしたものです。

EXAMPLE

ファイルを作る部分と、ファイルのバイト列を画像や音として読み替える部分に分かれています。

/project1/BYTECAST

BYTECASTのネットワーク:上段はFileDropからBYTECAST_IMAGEとBYTECAST_SOUNDへ読み替える流れ、下段は音・画像・3Dモデルをファイルに保存するAUDIO_TO_FILE、IMAGE_TO_FILE、MODEL_TO_FILE

ファイルを作る

  • FileDrop:ファイルをドラッグ&ドロップして読み込みます。
  • AUDIO_TO_FILE:WAVやMP3などの音声形式を選び、音をファイルに保存します。
  • IMAGE_TO_FILE:BMPやJPEGなどの画像形式を選び、画像をファイルに保存します。
  • MODEL_TO_FILE:OBJやSTLなどの3Dモデル形式を選び、3Dモデルをファイルに保存します。

読み替える

  • BYTECAST_IMAGE:1バイトを1画素の明るさとして、バイト列を画像に並べます。隣り合う3バイトをRGBにするなど、並べ方も切り替えられます。
  • BYTECAST_SOUND:バイト列を、そのまま音の波形として再生します。

同じ音や画像を別の形式で保存して読み替えると、形式ごとの違いが模様や音の違いとして現れます。

4. 失われるもの、見えてくるもの

今日見てきた4つの層では、デジタル化の過程で、次のようなものが失われていました。

  • 標本化:測った点と点の間の変化
  • 量子化:段階に合わせたときの、値の細かな違い
  • 圧縮:データ量を減らすために省いた情報(保存し直すたびに、さらに失われる)

符号化では情報は失われませんが、読み書きのルールがわからなければ、元の画像や音として取り出せません。

こうした失われ方は、欠点であるだけでなく、表現としても使われています。値の段階を粗くした8bit風の画像や音は、レトロな雰囲気を出すために使われます。圧縮が壊れたときに現れるグリッチも、そのひとつです。また、ブラウン管のにじみや残像のように、アナログの記録や表示に特有の見た目を、デジタルの映像であえて再現することもあります。

誤読から見えてくるもの

ファイルを誤読すると、元の内容は正しく読み取れません。それでも、データの区切りや繰り返しなど、普段は見えない構造が、模様や音として現れます。元の情報を読み取ったことにはなりませんが、別の像や音として、使い道が見つかるかもしれません。

また、誤読の結果は、作る人が最初に思い描いていなかったものでもあります。何かを作るときは、先にイメージを持ち、そこに向かって形にしていくことが多いと思います。一方で、パラメーターをいろいろ動かしているうちに、思いがけず「かっこいい」と感じるものが出てくることもあります。そこで得たインスピレーションを新しい出発点にして、さらに探っていくこともできます。意図していなかった結果から始まる探索も、制作の進め方のひとつです。

何を表すデータだったのかだけでなく、別のルールを与えたら何が現れるのかにも目を向けるといいかもしれません。

5. 情報はどこに意味を持つか

データを画像や音として扱うには、数値の並べ方や読み方のルールが必要でした。今日の後半の作例では、あえてルールを外して読んだことで、意味はわからないまま、データの構造だけが音や光として現れました。

記録には、いくつかの段階があると考えられます。

  • 物理的な状態:記録として存在している(ディスク上の磁気や電荷、紙とインクなど)
  • 記号の構造:区切りや繰り返しなどの規則が見える
  • 意味:何を指し、何を伝えるのかを理解できる

ここから、次のような問いが考えられます。

  • 読み取る仕組みを失ったファイルは、まだ画像や音と言えるでしょうか。
  • 読めない文字で書かれた文章を完全にコピーしたとき、何を保存したことになるのでしょうか。
  • 意味は、データの中にあるのでしょうか。それとも、読む人や読み方との関係の中で生まれるのでしょうか。

情報とは何か、メディアとは何か。今日の実験を手がかりに、すこし考えてみてもいいかもしれません。