今回も2018年から運用しているレスパスビジョン内のインハウスツールをご紹介します。

前の記事はこちらです。

フォルダ構造を維持したままデータを均等分割する「RapidPack Pro」

複雑なフォルダ構造を持つ数10TBを超えるプロジェクトフォルダを【分割アーカイブ】することは従来手作業を伴う面倒で時間のかかる作業でした。

以下の例はレスパスビジョンが2017年に技術担当しました映画『銀魂』の例です。
作業用のメインのNASは最終的には以下のような巨大かつ複雑なディレクトリ構造になりました。

総容量：55TB
総ファイル数 3679719
総フォルダー数 29674

巨大で複雑な構造をもつディレクトリの分割

作業が一段落した後はNASから消去するためにアーカイブを行います。55TBではHDDはもちろんLTO7,SONY ODAも１つのメディアには収まりません。
従来はアーカイブメディアの容量に合わせて手作業で事前にデータを仕分け（巻分け）を行っており、この作業は非常に負担が大きい作業でした。

この仕分け作業は「安全」かつ「自動」に行われ、余計なデータ容量を使わないことが理想です。
理想の要件をまとめると以下になります。

HDD、LTFSのような汎用メディアに分割してアーカイブするにはメディアの容量に合わせファイル単位で事前に分割することが必須です。
LTFSは通常のHDDと同様、自動分割機能は無く、この作業は今までは手作業で行われてきました。

従来、LTO1本に収まらない場合の自動分割（オートスパンニング機能）は専用フォーマットや高価なアーカイブソリューションでしか実現出来ませんでした。
また複数本にまたがるアーカイブはLTOテープへの掛け替えが通常の単体LTOドライブでは手動になり、LTFSアーカイブが思ったより効率的に行えませんでした。

RapidPack proを使用することにより上記の理想の要件をすべて満たした「仕分け」が可能です。
仕分けには「シンボリックリンク」を利用することによりアーカイブ用のデータが倍に増えてしまうことはありません。

RapidPack proはディレクトリ構造ごと「abcソート順/頭から分割」ルールでシンボリックリンクで自動均等分割します。

同じ場所に復元すれば元の構造を完全に再現可能です。

IBM TS2900 Tape Driveの場合約50TBのデータを「フォルダ構造を維持したまま」自動で分割しLTFSアーカイブが可能になります。バックアップオペレータによるLTOの入れ替え作業は一切不要です。

弊社ではこのシステムを映画、ドラマのプロジェクト、編集作業のアーカイブなどの業務で2018年から使用しています。

このワークフローにより特定メーカーの特定フォーマットに縛られることなくオープンフォーマットでの分割アーカイブを効率化することが可能になりました。

プロジェクト終了後にNASストレージからシンプルに長期アーカイブ（コールドアーカイブ）する用途に最適です。

RapidPackの設定例

アーカイブの流れ

シンボリックリンク(symlink)

容量が100bくらいの「特殊なショートカットファイル」。
「ショートカットファイル」と異なりそのままファイルパスとして使用できます。
RapidCopy SuiteにはMac版とWindows版のRapidPack Proが同梱されておりOSを問わずアーカイブ仕分けが可能です。

シンボリックリンク先のファイルをコピーするには

Fastcopyの場合
「Junction/Symlinkは（実体/配下ではなく）それ自体をコピー」
をOFFにします

RapidCopyの場合
「シンボリックリンクをリンクとしてコピー」をOFFにします

LTOローダーが自動で該当するLTOをマウントしてくれるため、自動で分割アーカイブが行えます。

ご紹介したワークフローはデータを長期間LTOローダーで保持する運用ではなく、プロジェクト終了後にシンプルにNASからアーカイブアウトし、「棚管理」たい場合に最適です。
（※この場合は自動で差分・増分コピーはできません）

一度アーカイブを実行してしまえば1週間は完全に放置で延々と自動でアーカイブし続けることが可能になります。
LTO-8(12TB)の場合は100TB近いデータを一気にアーカイブ可能になりました。4K、8Kプロジェクトのアーカイブに対しても万全です。

RapidPackで仕分けした後のアーカイブ先メディアはHDDでも問題ありません。
アーカイブの分割に悩まされている方は是非お試しください。

written by kuboe