Azureでグローバルにデータをコピーするとどのくらい時間がかかるのか

ファイルコピーの需要は根強い

グローバルでAzureを使うとき、データをどうやって同期、複製するかは悩みの種です。Cosmos DBなどリージョン間でデータ複製してくれるサービスを使うのが、楽ですし、おすすめです。

でも、ファイルコピーを無くせないもろもろの事情もあります。となると、「地球の裏側へのファイルコピーに、どんだけ時間かかるのよ」は、課題です。

調べてみた

ということで、いくつかのパターンで調べたので参考までに。測定環境は以下の通り。

ツールと実行環境

• AzCopy 6.1.0
• Azure PowerShell 4.1.0
• Windows 10 1703
• ThinkPad X1 Carbon 2017, Core i7-7600U 2.8GHz, 16GB Memory

アクセス回線パターン

1. 一般的な回線

• 自宅(川崎)
• OCN光 100M マンションタイプ
• 宅内は802.11ac(5GHz)
• 川崎でアクセス回線に入り、横浜(保土ヶ谷)の局舎からインターネットへ
  • ゲートウェイ名から推測

2. いい感じの回線

• 日本マイクロソフト 品川オフィス
• 1Gbps 有線
• Azureデータセンターへ「ネットワーク的に近くて広帯域」

コピーするファイル

• 総容量: 約60GB
  • 6160ファイル
  • 1MB * 5000, 10MB * 1000, 100MB * 100, 500MB * 50, 1000MB * 10
• Linux fallocateコマンドで作成

ファイル形式パターン

1. ファイル、Blobそのまま送る (6160ファイル)
2. ディスクイメージで送る (1ファイル)

• Managed Diskとしてアタッチした100GBの領域にファイルシステムを作成し、6160ファイルを配置
• 転送前にデタッチ、エクスポート(Blob SAS形式)
• AzCopyではなくAzure PowerShellでコピー指示 (AzCopyにBlob SAS指定オプションが見当たらなかった)

対象のAzureリージョン

• 東日本 (マスター、複製元と位置づける)
• 米国中南部 (太平洋越え + 米国内を見たい)
• ブラジル南部

転送パターン

• ユーザー拠点の端末からAzureリージョン: AzCopy Upload
• Azureリージョン間 (Storage to Storage)
  • ファイル: AzCopy Copy
  • イメージ: PowerShell Start-AzureStorageBlobCopy

結果

考察

• アクセス回線の差が大きく影響

  • 自宅パターンでプロバイダから帯域制限されていたかは不明 (自宅からAzure東日本まで16Mbpsくらいは出た)
  • アクセス回線が細い場合はユーザー拠点から「まとめて」送らないほうがいい
    • こまめに送る
    • Azure内でデータを生成する
  • もしくはExpressRouteを引く (自宅で、とは言っていない)

• アクセス回線が細い場合、AzCopy Uploadの並列数を下げる

  • AzCopyのデフォルト並列数は実行環境のCPUコア数 *8だが、今回実施した端末での並列数(4コア * 8 = 32)ではかえって性能が劣化した
  • アクセス回線に合わせて並列数は調整する

• Azureのリージョン間コピーは早い

  • Azureバックボーンを通るから
  • 端末よりAzureストレージのほうがリソース的に強いし負荷分散しているから

• 地理的な距離感覚だけで考えてはダメ

  • 地理的な近さではなく、ネットワーク的な近さと太さ
  • Azureバックボーンを使うと日本とブラジルの間でもそれなりのスループット

• ファイル数が多いときはイメージで送るのも手

  • ファイル数がコピー時間に影響する (1 vs 6160)
  • そもそもアプリがBlobとして使うのか、ファイルシステムとして使うかにもよるが…
    • もしファイルシステムとして、であれば有効な手段
    • エクスポートのひと手間は考慮

• Azureバックボーンを使うと、意外にブラジル近い

  • 土管か(ない

Azureバックボーンの帯域にはSLAがありませんが、意識して仕組みを作ると得をします。