映像制作のためのストレージ考察

2020.5.26

Richard Lackey2020.5.26

映像制作用のストレージは、それなりの知識が必要だ。このガイドは、パフォーマンス、冗長性、セキュリティを最適化するたもの考察を行う。

特に映像制作では、ストレージの構築を間違えるとコストがかかる可能性がある。このガイドでは、ストレージに関して、基本的な知識をまとめた。この記事では、外部ドライブ、デスクトップRAIDアレイ、および内部RAIDアレイについて説明している。なお、NASやネットワーキングについては触れていない。

データをバックアップする

これは言うまでもないことで、常に少なくとも2つの別々の物理ドライブにデータを複製する。これは、カメラで収録したメモリーカードをバックアップすことから始まり、ポストプロダクションに使用しているストレージも同様だ。

通常、プロジェクトファイルは小さく、クラウドにも簡単にバックアップできる。 NLEのキャッシュファイルやトランスコードされたメディアなども同じだ。

ワークフロー上でのバックアップ

外部SSDドライブやハードドライブは、カメラのメモリーカードをバックアップするためによく使用され、編集時は更に編集作業用の大きなストレージに移される。大規模な制作では、大きなRAIDアレイを使用する場合もある。いずれにしてもワークフローのすべての段階で常に複製を作成することが重要だ。理想的には、カメラの記録メディアのバックアップは、オリジナルと異なる場所に保管する必要がある。

転送速度

カメラのメモリーカードを外付けハードドライブにバックアップする場合、速度が速いほどカメラカードの検証とターンアラウンドが優れている。カメラメディアはもちろん非常に高速だが、低速のインターフェイスで安価な低速の外付けハードドライブを使用すると、効率が非常に悪くなる。通常のディスクハードドライブでは、最大80MB /秒の読み取り/書き込み速度でしかない。カメラカードからのデータ転送に時間を費やし、次の撮影に影響が出るのは避けたい。ここでハードドライブのコストを節約すると、全体の生産コストがかえって高価になってしまう。

The Blackmagic Design MultiDock can accommodate four SSD drives which can be configured as a RAID 0 array. This is a software RAID managed by the host OS. Image credit: Jeff Loch

ポストプロダクション

ポストプロダクションでの編集作業でも、映像素材ファイルとプロジェクトファイルをバックアップする必要がある。これは、エンタープライズクラスの共有ストレージでも、デスクトップRAIDなどでも同じだ。どのようなストレージで作業している場合でも、すべての映像素材の複製を別のRAIDに保管するか、必要に応じて、サイト外にある別のドライブに保管することが重要だ。

外部ハードドライブ

外付けハードドライブには多くの種類がある。それらはすべて同じではなく、一般的なUSBドライブは写真やドキュメントのバックアップには問題ないかもしれないが、ビデオ制作のワークフローには適していない。外付けハードドライブを選択する場合は、内部のドライブ性能や、インターフェースの種類を確認する必要がある。

ただしThunderboltなどの高速インターフェイスを備えたハードドライブでも、内部は低速のハードディスクが使われている場合がある。本当に重要なのは、ハードドライブ自体の最大読み取りおよび書き込み速度。理想的には、カメラのメモリーカードをオフロードする場合でも、ラップトップで編集する場合でも、SSDドライブをお勧めする。ただし、SSDは高価で、ハードドライブのように大容量ではない。撮影する映像ファイルによっては、1台の7200RPMハードディスクで十分な場合もある。

ハードディスクドライブ（HDD）

従来のハードディスクドライブは、容量が急速に増加しており、14 TBのシングルハードドライブも発売されている。ハードドライブは、2TBから14TBまで選択でき、2.5インチと3.5インチがある。内部プラッターは、5200RPMか7200RPMのいずれかだが、15,000RPMで回転するエンタープライズドライブもある。もちろんこれは一般的な外部ハードディスクドライブではない。一般的なディスクハードドライブでは、約80MB /秒の読み取り/書き込み速度しか期待できないため、パソコンのインターフェースではなくHDDがボトルネックになる可能性が高い。

A cheap and common WD Passport external HDD (left) can deliver just over 110MB/sec over USB 2.0. (130MB/sec advertised) and provides only USB-A type cable. The G-Drive Mobile (right) can deliver similar throughput over USB 3.0 and comes with adapter cables to both USB-A and USB-C type connectors. Image credit: Western Digital and G-Technology

5200RPMのハードドライブは通常、平均100〜110 MB /秒の読み取りおよび書き込み速度を維持でき、7200RPMハードドライブは平均120〜130 MB /秒だ。

ソリッドステートドライブ（SSD）

SSDは、NANDフラッシュメモリを使用してデータを格納し、非常に高いデータスループットを実現する。典型的なUSB 3外部SSDは、500MB /秒を超える読み取りと書き込みを維持でき、ボトルネックはメモリーではなくSATA3.0インターフェイスになる。 PCIeインターフェースの典型的なNVMe SSDは、3000MB /秒をはるかに超える速度を誇る。 Thunderboltを備えた外付けSSDドライブでは、最大2800MB /秒をサポートする。

The G-Drive Mobile SSD (left) uses USB-C connector and provides up to 560MB/sec over USB 3.2 Gen 2. The G-Drive Mobile Pro SSD (right) also uses a USB-C type connector but provides up to 2800MB/sec over Thunderbolt 3. Image credit: G-Technology

SSDは映像制作にとって最良の選択だ。高速のデータレートにより、カメラのメモリーカードからのデータのオフロードがはるかに高速になり、高解像度の映像でも、複数のストリームをリアルタイムで再生できる。小型で衝撃にも強い。

インターフェース

外付けUSBハードドライブメーカーは、最大データスループットを誇張して表示している場合が多い。消費者は技術を理解していないので、箱に印刷されている数字が大きいほど良いと思ってしまう。

コンピューターに接続するためのインターフェースは、内部のドライブの速度と同じくらい重要だ。USB 3やThunderboltといった最も一般的なインターフェースは、通常のビデオフォーマットのストリームなら、あるいは複数のストリームであっても十分対応できる。

Shown are the most common USB type connectors currently. The original USB Type A is for reference only and has been widely replaced by USB Type A SuperSpeed. Many portable hard drives feature the USB Type Micro B SuperSpeed connector on the enclosure, and a cable to either USB Type A SuperSpeed or USB Type C.

USB 3.x

USBの命名は非常に複雑で、以下のものがある。

USB 3.2 Gen 1はUSB 3.0。最大スループットは5Gbps。これはSuperSpeed USBとも呼ばれる。
USB 3.2 Gen 2はUSB 3.1。最大スループットは10Gbps。これは、SuperSpeed USB 10Gbpsとも呼ばれる。
USB 3.2 Gen 2×2はUSB 3.2。最大スループットは20Gbps。これは、SuperSpeed USB 20Gbpsとも呼ばれる。

USBのコネクタも幾つかの種類がある。 A、B、CなどのUSBタイプでは、ポートとコネクタの形状はわかるが、データ転送速度はわからない。

USB-Cは最新のコネクタで、通常USB 3.2 Gen 2に関連付けられているが、必ずしもそうではない。USB3.2 Gen 1だったり、まったくUSBではない場合もある。

Thunderbolt 2 & 3

さらにややこしいのは、USB-CのコネクターはThunderbolt 3にも使用されている。Thunderbolt3は、最大40GBpsのデータ転送速度を提供する。これは、USB 3.2 Gen 2の4倍だ。

Thunderbolt 2の最大スループットは20Gb /秒
Thunderbolt 3の最大スループットは40Gb /秒

電源

USBとThunderboltはどちらもバスパワーが可能だで、多くの外付けハードドライブはこれで給電している。ラップトップから給電できるので、ポータブルでの使用に便利だ。

帯域

映像制作でストレージを検討する場合、最初に考慮すべきは、映像をリアルタイムで再生するために必要なデータ帯域幅だ。以下は概算のデータレート。

4K XAVC (H.264) – 50MB/sec (MB not Mb/sec… 1MB = 8Mb)
4K 24p ProRes RAW – 40-100MB/sec
4K 24p ProRes RAW HQ – 80-140MB/sec
6K 24p ProRes RAW HQ – 180-300MB/sec
8K 24p ProRes RAW HQ – 320-530MB/sec
4K 24p ProRes 422 HQ – 95MB/sec
4K 24p ProRes 4444 – 140MB/sec
8K 24p R3D 5:1 – 260MB/sec

このリストから明らかなように、外付けUSB3 5400RPMハードドライブはこれらのフォーマットのほとんどの再生に対応できない。ただし例外は、一般的なミラーレスカメラやデジタル一眼レフでのH.264 / AVCベースのビデオだ。これらに必要なデータレートは4K解像度でも低く、ハードドライブはボトルネックにならない。ただしパソコンがH.264をリアルタイムでデコードする必要はある。

RAID

RAIDはRedundant Array of Independent Disksの略。これは仮想化されたボリュームであり、データが複数の物理ハードドライブに書き込まれ、冗長性を持たせることによりハードドライブの障害からデータを守る仕組みだ。

The G-Drive is an example of a small, portable 2-bay RAID. Image credit: G-Technology

小型のRAIDでは2台の物理ハードディスクドライブが小型のケースに収まっているだけのものもあり、データが両方の内部ドライブに複製されたり、データが分割して書き込まれたりする。前者は冗長性を上げ、後者は速度を向上させる。RAIDアレイの物理ハードディスクドライブの数が増えるほど、冗長性とパフォーマンスの向上が上がり、速度と冗長性を同時に達成することもできる。

The popular Promise Pegasus32 desktop RAID arrays come in different sizes from 4-bay to 8-bay. Image credit: Promise

より大きなRAIDアレイは、デスクトップやラックマウントのRAIDエンクロージャーに収まっている。RAIDアレイをワークステーションに直接構築することもできる。共有できるNAS（Networked Attached Storage）RAIDストレージサーバーもある。

これらはいずれも、アレイ内に4〜8台、12台、16台、またはそれ以上のドライブを持つ。SSD RAIDアレイは多くの場合、アレイあたり24個のSSDで構成され、非常に高い帯域幅が可能となる。複数のアレイにまたがってデータをストライプ化することも可能だが、この記事の範囲を超えるのでここでは取り上げない。

RAIDレベルについて以下に説明する。

RAID 0

By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link

パフォーマンス向上、冗長性なし。

RAID 0は、物理ドライブにデータを均等にストライプするが、ミラーリングやパリティはしない。つまり、ファイルは分割されてすべてのドライブに存在し、速度が向上するが、アレイ内の1つのドライブが故障すると、すべてのデータが永久に失われ、データの回復は不可能。 RAID 0は、読み取り/書き込み帯域幅の向上が優先され、高速化を図りたい場合に有効だ。

例えばカメラのメモリーメディアをバックアップするような場合にはRAID 0は向かない。

RAID 1

By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link

RAID 1は単に2つのドライブでデータをミラーリングするが、パリティやストライピングはしない。これは完全な冗長性を提供するが、高速化はしない。

1台のドライブが故障した場合、ドライブを交換すると、残りのドライブからデータを再構築できる。ただし、このプロセスが完了するまで、データのバックアップは存在しない。

RAID 5

By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link

RAID 5は、ブロックレベルのストライピングを提供する。これにより、速度が向上し、パリティが1つのディスクの内容も他のディスクに分散される。たとえば、RAID 5として構成された8ドライブアレイでは、ストレージ容量とスループットの合計は8ドライブのうち7ドライブに等しくなる。アレイ内のドライブに障害が発生した場合、ドライブを取り外し、新しい交換用ドライブをアレイに交換することができる。故障したドライブの内容は、他の7大のドライブに存在するパリティデータから新しいドライブに再構築される。

ホットスペアはRAID 5アレイで構築できる。この場合、アレイの使用可能な容量とスループットがさらに1ドライブ減少するが、ドライブに障害が発生した場合は即座に再構築される。

交換用ドライブが再構築されている間のみ、危険性がある。

一度に複数のドライブに障害が発生した場合や、再構築中に2番目のドライブに障害が発生した場合は、アレイ内のすべてのデータが完全に失われる。

RAID 6

By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link

RAID 6はRAID 5に似ているが、二重分散パリティを提供する。 8台のドライブの例を使用すると、アレイのストレージ容量とスループットは、8台のドライブのうちの6台分に等しくなる。アレイ内の2台のドライブに障害が発生しても、残りの6台のドライブに存在するパリティデータからそれぞれのコンテンツを再構築できる。

2つのドライブが故障する可能性は非常に低いと考えられるので、RAID 6の利点は、1台のドライブに障害が発生した場合に再構成中でも、データが危険にさらされないことにある。

どのRAIDを選択するか

高速化のため2台のディスクをRAID 0として構成することをお勧めする。これらは常にペアで使用する必要があり、編集用のRAIDストレージに転送するのにも適している。直接編集することもできるが、この場合は、データを複製する必要がある。筆者は常にRAID 0ドライブを一時的なストレージと考えている。ミラーリングされない限り、安全性や冗長性は無い。

大規模なデスクトップRAIDアレイには、RAID 5をお勧めする。これは、冗長性とパフォーマンスのバランスが優れている。交換する場合に備え、RAIDエンクロージャ用に少なくとも1台のスペアハードドライブを常に保持する必要がある。 RAID 5では1台が故障していても引き続き使用できるが、データが危険にさらされる。故障したドライブを交換して、アレイをできるだけ早く再構築することが重要だ。

カメラのメディアデータは必ず複製して取っておく

RAID 5ではデータが保護されているが、更に他のストレージにバックアップする必要がある。それは同じ場所に置かれているからだ。

カメラのメディアは常に別の物理ストレージに複製し、可能であれば別の場所に保管する必要がある。

これは災害復旧と呼ばれる。

LTOテープとは

重要なデータを長期間保存する優れた方法は、LTOドライブを使用してLTOテープに保存することだ。これは、専用のバックアップソフトウェアを使用するか、直接ドラッグアンドドロップでデータを転送するためLTFSを使用する

The mLogic portable LTO drives are great for quickly backing up large amounts of data safely for long term archival. They have Thunderbolt connectivity and can be used by DIT’s on location too. Image credit: mLogic

1つのLTO-8テープは12TBのメディアを格納でき、ドライブによっては最大300MB /秒の速度をサポートする。 LTOテープカートリッジは、正しく保管すると、最長30年間使用できる。これは、どのハードドライブよりもはるかに長い有効期間だ。現在のLTOテープカートリッジは、最大1世代下位互換性を維持できる。したがって、現在のLTO-8カートリッジは、LTO-9ドライブで読み書きできる。

Cloud

クラウドストレージは、高解像度カメラの映像データにはあまり実用的ではない。ただし、プロジェクトファイルや、小容量の映像データ、あるいはデータベースのバックアップには使える。

ファイルシステム

これまで説明してきたことはすべて、物理ハードウェアに関するものだが、ニーズに合った適切なファイルシステムでストレージをフォーマットすることも重要だ。ファイルシステムは、コンピューターのオペレーティングシステムとソフトウェアによって、物理ストレージでのデータの格納、アドレス、管理、およびアクセスの方法を定義する。

以下は、一般的なファイルシステムの概要。