「HSFT」は、日々成長するクラウドサービスと急速に増大するデータ量に対処するため、独自のマルチストリーム並列処理をベースに転送コストの低減を図り、最大で34倍の高速化を実現したという。既存プロトコルとクライアントソフトのインストールのみで利用を開始できるため、低価格での導入が可能だとしている。
最新バージョンでは、マルチファイル・マルチストリーム機能を追加し、帯域の有効活用で複数ファイル転送時の速度低下を解決した。また、Amazon S3 Accelerationへ対応することで、さらなる高速化を実現した。
「HSFT」バージョン2.0で追加された新機能は次のとおり。
1. マルチファイル・マルチストリーム機能の追加
複数ファイル転送時、指定したストリーム数を上限に並列にファイルを転送。さらに、マルチストリーム転送時に単一ファイルごとに転送するのではなく、複数ファイルをチャンク単位にまたがって並列に転送することができる。この結果、むだな待機ストリームを作らず、複数ファイルを高速で転送することができる。
通常のSFTPコマンドとHSFTを使用し、Amazon Elastic Compute Cloud(Amazon EC2)東京リージョンからAmazon EC2北カリフォルニアリージョンへ100KBのファイルを5,000個転送する評価実験において、HSFTによる40ストリーム転送は、SFTPよりアップロード時に約34倍(約34分を1分に短縮)、ダウンロード時に約6倍(約51分を約8分に短縮)の高速化を実現した。
2. Amazon S3 Transfer Acceleration対応
AWSのエッジロケーションとネットワークプロトコルを最適化し、転送速度を高速化することが可能なAmazon S3 Transfer Accelerationに対応。Amazon S3 Transfer Accelerationを使用することで、AWSの提供するオフィシャルコマンドツール AWS CLIと同等に、国をまたいで大容量のオブジェクトを転送する場合、環境に応じて50~500%の転送速度改善が可能。
「HSFT」の主な特徴は次のとおり。
- 高速大容量のファイル転送:マルチストリーム並列処理/圧縮転送でAWS CLI従来比7倍、SFTP/FTPでは9倍の高速化
- セキュアなデータハンドリング:AES256bit標準プロトコルの暗号化転送ならびにファイルの暗号化処理によるデータの多重保護
- 確実なデータ保証:TCPポリシー、チャンク、ファイル単位でのデータリトライ転送機能
- マルチプロトコル パイプライン処理::HSFTをゲートウェイにした異なるプロトコル間(SFTP、FTP、Amazon S3)でのファイル転送、メモリ上でのパイプライン処理
また、発表では次のようなケースで「HSFT」導入メリットがあるとしている。
- 研究機関:HPC分野でのマテリアルズ・インフォマティクスや流体解析などにおける各種解析/データのダウンロード、インプットデータのアップロード
- 製造業界:3D CADデータのクラウドへのアップロード、ダウンロード
- メディア関係:4K対応映像データの長距離転送
- IoT関連:各センサー情報からのデータをゲートウェイに集積し、バッチ処理でクラウドへアップロード
- ビッグデータ関連:オンプレミス・データのクラウドへのアップロード