見出し画像

RapidPack Pro と IBMテープ・オートローダーによる半自動分割アーカイブシステム その1

今回は2018年から運用しているレスパスビジョン内のインハウスツールをご紹介します。

50TB級の作業ファイル群(ファイル数300万以上)を作業NASから退避させる場合、かなりの労力になります。
この規模のデータ量はクラウドバックアップは転送時間、コスト面も含めて現実的ではありません。

よって「長期間保存可能なアーカイブ 」となると現状LTOくらいしか思いつきません。

レスパスビジョンでは巨大サイズのアーカイブ作業を自社開発のツールを利用し対応しています。

半自動分割アーカイブシステムに必要な4つ

RapidPack Pro (自社開発)
LTFS LE Manager (自社開発)
・IBM テープ・オートローダー
・IBM Spectrum Archive

以上を利用してLTO(LTFS)への分割アーカイブを延々を1週間放置できるようになりました。この手法はファイルをDBで管理するわけでは無いのでシンプルなコールドデータアーカイブ用途に適しています
以下はそのフローのご紹介になります。


IBMテープ・オートローダーのLTFSを簡単制御する”LTFS LE Manager”


【IBM テープ・オートローダー+IBM Spectrum Archive】を誰でも簡単にコントロールして自動分割アーカイブを支援するユーティリティ
【LTFS LEManager】をgithubにてオープンソースとして公開中です。
LTFS制御にありがちな難解なコマンドの制御も不要になりました。

IBM Spectrum ArchiveはLTOオートローダーをLTFSボリュームとして簡単に運用できるようにしたIBM製のソフトウェアです。
IBM Spectrum Archive

LTFS LEManager

https://github.com/KengoSawa2/LTFSLEManager


弊社で運用中のLTOオートローダー “IBM TS2900 Tape Drive”

IBM TS2900 Tape Driveでは最大9巻のLTOが搭載可能です。
LTO7の場合5.5TBx9=49.5TBのアーカイブを一気に処理することが可能です。
※写真ではLTO8巻+クリーニングテープを1巻入れることによって自動クリーニングができるようになっています。

“LTFS LE Manager”の機能


マウント機能

・LTFSをマウントするドライブレターを簡単に設定可能です
・LTFS同期時間を設定できます(高速動作/安全動作を調整可能です)
IBM Spectrum Archiveの動作時に設定が必要なキャッシュ先「作業領域」を高速なストレージなどに簡単に設定可能です。
(デフォルトではCドライブになっており危険です)

LTOオートローダーを”IBM Spectrum Archive”でPドライブにマウントした場合


フォーマット機能

LTFSは使用前に必ずフォーマットが必要です。アーカイブ前の単調で辛いLTFSフォーマット作業を【一括自動フォーマット】可能です。
LTFSボリューム名には自動で末尾に「数字」を付加する機能を搭載。「プロジェクト名」だけ入力すれば指定した本数で自動で連番が振られます。

ボリューム名に[Lespacetest] と入力し開始番号1-8とすると各LTOが以下のように一括フォーマットされます。
・Lespacetest1
・Lespacetest2


・Lespacetest8

従来の多数のLTFSフォーマットは本当に単調で厳しい作業でした、、

アンマウント機能

コマンド無しで簡単にアンマウントが可能です

ライブラリステータスを一覧表示

・LTOラベル名
・LTOの動作状況
・LTFSの最大容量と残り容量

動作ログの表示

IBM Spectrum Archiveの動作ログが随時更新され確認可能です

独自LTO背ラベル

オートローダー運用で絶対に必要な従来のバーコードラベルを改良し、プロジェクト名も併記できるラベルデザインに。
従来のバーコードのみのLTOラベルでは作品名などが判断出来ませんでした。
専用のファイルメーカードキュメントで簡単に管理入力可能です。

IBMテープ・オートローダーとLTFSを簡単制御する”LTFS LE Manager”により自動アーカイブを行う準備が出来ました。
次は巨大で複雑なディレクトリ構造を持つプロジェクトデータを自動分割する方法をご紹介します。

written by kuboe