今回は2018年から運用しているレスパスビジョン内のインハウスツールをご紹介します。

50TB級の作業ファイル群（ファイル数300万以上）を作業NASから退避させる場合、かなりの労力になります。
この規模のデータ量はクラウドバックアップは転送時間、コスト面も含めて現実的ではありません。

よって「長期間保存可能なアーカイブ　」となると現状LTOくらいしか思いつきません。

レスパスビジョンでは巨大サイズのアーカイブ作業を自社開発のツールを利用し対応しています。

以上を利用してLTO(LTFS)への分割アーカイブを延々を1週間放置できるようになりました。この手法はファイルをDBで管理するわけでは無いのでシンプルなコールドデータアーカイブ用途に適しています。
以下はそのフローのご紹介になります。

IBMテープ・オートローダーのLTFSを簡単制御する”LTFS LE Manager”

【IBM テープ・オートローダー+IBM Spectrum Archive】を誰でも簡単にコントロールして自動分割アーカイブを支援するユーティリティ
【LTFS LEManager】をgithubにてオープンソースとして公開中です。
LTFS制御にありがちな難解なコマンドの制御も不要になりました。

IBM Spectrum ArchiveはLTOオートローダーをLTFSボリュームとして簡単に運用できるようにしたIBM製のソフトウェアです。
IBM Spectrum Archive

LTFS LEManager

https://github.com/KengoSawa2/LTFSLEManager

IBM TS2900 Tape Driveでは最大9巻のLTOが搭載可能です。
LTO7の場合5.5TBx9=49.5TBのアーカイブを一気に処理することが可能です。
※写真ではLTO８巻＋クリーニングテープを１巻入れることによって自動クリーニングができるようになっています。

“LTFS LE Manager”の機能

マウント機能

・LTFSをマウントするドライブレターを簡単に設定可能です
・LTFS同期時間を設定できます（高速動作/安全動作を調整可能です）
・IBM Spectrum Archiveの動作時に設定が必要なキャッシュ先「作業領域」を高速なストレージなどに簡単に設定可能です。
（デフォルトではCドライブになっており危険です）

フォーマット機能

LTFSは使用前に必ずフォーマットが必要です。アーカイブ前の単調で辛いLTFSフォーマット作業を【一括自動フォーマット】可能です。
LTFSボリューム名には自動で末尾に「数字」を付加する機能を搭載。「プロジェクト名」だけ入力すれば指定した本数で自動で連番が振られます。

ボリューム名に[Lespacetest] と入力し開始番号1-8とすると各LTOが以下のように一括フォーマットされます。
・Lespacetest1
・Lespacetest2
…
…
・Lespacetest8

アンマウント機能

ライブラリステータスを一覧表示

・LTOラベル名
・LTOの動作状況
・LTFSの最大容量と残り容量

動作ログの表示

IBM Spectrum Archiveの動作ログが随時更新され確認可能です

独自LTO背ラベル

オートローダー運用で絶対に必要な従来のバーコードラベルを改良し、プロジェクト名も併記できるラベルデザインに。
従来のバーコードのみのLTOラベルでは作品名などが判断出来ませんでした。
専用のファイルメーカードキュメントで簡単に管理入力可能です。

IBMテープ・オートローダーとLTFSを簡単制御する”LTFS LE Manager”により自動アーカイブを行う準備が出来ました。
次は巨大で複雑なディレクトリ構造を持つプロジェクトデータを自動分割する方法をご紹介します。

written by kuboe