AmazonS3とGlacierでNASのバックアップ2013年08月27日 09:17

機械は壊れる。人は操作ミスをする。データの安全確保には、やり過ぎはない。作業中は、こまめに保存する。Ctrl-Sはほとんど無意識。折に触れて、別の場所に複製を用意する。長期保存に適したメディアに保存する。

以前は、ストレージをRAIDで構成してディスクの故障に備え、テープ装置に定期的にバックアップを取得していた。今は、作業用のPCのストレージは、快適さと省電力のためにSSD。ここには、作業中の一時保存を除きデータは置かない。データは、RAIDを構成したNASに置く。NASにはeSATAやUSBで着脱容易な外付けストレージを付け、時折、バックアップを取得する。テープ装置は、パーソナル用の使命を終えた。外付けのストレージは、Centuryの裸族シリーズあたりが使い勝手がよい。eSATAだと50MB/sec程度出る。USB2.0では、時間がかかりすぎる。
http://www.century.co.jp/products/pc/hdd-kit/

バックアップを納めた媒体は、遠隔地に保管できるとなおよい。利用しているNASには、AmazonのS3にデータを複製する機能がある。費用面を懸念していたが、Glacierと連動させるとかなり安価に収まりそう。
http://aws.amazon.com/jp/backup-storage/ ;AWSのサイトは、IE10だと固まる

QNAP Cloud Backup
利用しているNASは、QNAP。台湾のストレージベンダ。NASには、バッファローやアイオーデータなどのパーソナル製品から、EMCやNetAppなどのエンタープライズ製品まであるが、その間隙を狙う。ソフトウェアの作り込みがしっかりしているのがいい。最近、国内の入手性もよい。Cloud Backupの機能を備え、Amazon S3に対応する。
http://www.qnap.com/jp/?lang=jp&sn=2230

AmazonのAWS(amazon web services)のサイトでセットアップを行う。アカウント作りから。買い物用のアカウントがあれば、そこにAWSのサービスを付加できる。AWSには多数のサービスがあるが、使用するのは、S3(Simple Storage Service)。昔愛用していたグラフィックカードの連想から、"S Cube"と読んでしまうが、これで通じるのかしらん。
http://aws.amazon.com/jp/s3/

IAM(Identity and Access Management)の設定の要否を求められる。ここは適当に済ませず、設定する。S3の機能のみを利用できるGroupを作成し、そのGroupの元でNASとS3の連動に使用するUserを作成する。考え方は、データベースを作成するときのGroupとUserの関係に近い。データの安全確保が目的なので手を抜かない。

S3 Group Permissions
Groupの設定。Policyで許可する範囲が決まる。たくさんあるので慎重に。

S3 User
作成したGroupに所属する形でUserを作成。

IAM Credentials
Userを作成すると、このUserのAccess KeyとSecret Access Keyが表示されるので記録する。NASの設定で必要になる。忘れると、作り直し。

AWS Console
AWSのコンソールに戻り、S3を選択。保存域(bucket)を作成する。左上の"Create Bucket"を選択。

S3 Create Bucket
名前を付け、保存先の地域を選ぶ。地域は、S3の説明文書の料金体系の説明から選ぶ。
http://aws.amazon.com/jp/s3/ ;ページの中程
Glacierの機能を使うので、対応している地域を選ぶ。災害に備えることを考えると、東京でない方がよいか。料金も若干異なる。今回は、北米西海岸を選択。

S3 Bucket Properties
作成したbucketのPropertyからLifecycleを設定する。バックアップの保存用途なので、Glacierに移す設定にする。Glacier:氷河、とはよく言ったもの。取り出すには、いったん溶かす手間がかかるが、保存費用は10分の1くらいに抑えられる。

S3 Bucket Lifecycle
1日経ったら、Glacierに移す、設定。日数はお好み。標準の場所に置いている時間分の費用がかかる。

S3 Bucket Logging
Loggingの設定はお好み。有効にするとBucketの直下にログファイルが貯まる。ログを作ること自体に費用は生じないが、ログの容量分の費用はかかる。設定すると、NASが1時間に一度くらいアクセスするため、ログが多量に生成された。消すのも大変なので、無効に設定。トラブルのときのみ使うことにする。

QNAP create job 1
NAS(QNAP)に戻って、レプリケーションジョブの作成、を選択。接続と認証のために、Access KeyとSecret Access Keyを設定。bucketの中のパスを設定。"/"で区切ればサブフォルダも指定できる。ここでいったんテストを実行。認証情報が正しいことを確認。Glacierに移れば暗号化されるが、念のため、暗号化を有効にする。

QNAP create job 2
NAS側のパスを指定。最初は容量の少ないところで試した方がいい。"今すぐレプリケート"を指定して、適用を選択。これで、Amazon S3へのデータの転送が始まる。

QNAP log
たまにログなど見ながら、進捗を確認する。

QNAP データ転送量
リソースモニタから、データ転送量を確認する。
当方では、大きめのデータで確認して、230KB/sec程度。1GBで1時間15分程度かかる。環境によるが、そのくらいと思った方がいい。

S3 object properties
複製が無事終了後のS3のbucketの様子。Glacierに移る前なので、Storage Classは、Standard。NAS側で設定したとおり、暗号化されている。

S3 glacier properties
一晩寝かせる。Storage Classは、Glacierに移っている。

QNAP job for updates
NAS(QNAP)の複製ジョブを定期的に差分を更新するように改める。"差分レプリケーションを実行する"にチェックを入れる。レプリケーションスケジュールを定めて、定期的に複製する。

S3 after updates
一度、Glacierに移ったファイルを更新するとどうなるか。収支のファイルを見るとわかるように、新しいファイルで更新される。

S3 Account Activity
利用料金は、AWSのコンソールから、右上の自分のAccountを選び、Account Activityを選ぶと確認できる。一ヶ月経たないと確定しない。今は、お試し期間の無料分もある。懐具合を見ながら、無理のないように。

Windows8.1では、SkyDriveの使い勝手も上がるという。どう使い分けるのがよいか。出てからのお楽しみ。

Ethernet 40周年2013年08月27日 15:41

IEEE Computerの2013年5月号から

2013年5月22日でEthernetが生まれて40周年だったそうだ。
生まれたのは1973年5月22日。XeroxのPalo Alto Research Center。
誕生に携わったBob Metcalfeのインタビュー記事が掲載されている。

標準化の課程におけるIBMのToken RingやGMのToken Busとの軋轢、3ComのLANカードが売れに売れた理由、など、こぼれ話も面白い。

インタビューのビデオもある。
http://feedproxy.google.com/~r/ComputingConversations/~3/djxEb13Zukw/interview-with-bob-metcalfe

Xeroxとネットワークはこれまで何となく結びつかなかったが、オフィスの各にPCを持たせ、プリンタを共有する環境を作るのが目的と聞けば、なるほどと思う。km単位のケーブルを買ってきて、矩形波を流してみてどうなるかを探った、などと言う話は、CSMA/CDの生まれた現場を垣間見るようで楽しい。