本発明のリモートコピー方法及びストレ� ��ジシステムの一実施例で採用するまとめ送� ��方式、バッファセット制御、バッファセッ� ��オーバラップ処理、遠隔地対応シーケンス� ��記録専用バッファ、ライト・格納・切出処� ��及びバッファ切替は、基本的には上記特許� ��献3の場合と同様であるため、その詳細な説 明は省略するが、本明細書は、本明細書中で 参照する上記特許文献3の開示内容を含むも� �とする。

 図5は、本発明のストレージシステムの一 実施例の構成の要部を示すブロック図である 。図5に示すストレージシステム40は、互いに 接続されたホスト装置(又は、サーバ)41-1と記 憶装置1-1と、互いに接続されたホスト装置(� �は、サーバ)41-2と記憶装置1-2と、記憶装置1-1 ,1-2を接続するSAN(Storage Area Network)等のネッ� �ワーク42からなる。説明の便宜上、ホスト装 置41-1,41-2は同じ構成を有する汎用コンピュー タからなり、記憶装置1-1,1-2は同じRAID(Redundant  Array of Independent Disks)アレイ構成を有する� ��のとする。

 各記憶装置1-1,1-2は、対応するホスト装置 41-1,41-2とのインタフェース制御を司り通信に 使用される複数の通信アダプタ(CA:Communication� �Adapter)13、ネットワーク42とのインタフェー� �制御を司りネットワーク42を介したリモート コピーに使用される複数のリモートアダプタ (RA:Remote Adapter)14、各記憶装置1-1,1-2の全体の� ��作を制御すると共に資源管理を行う複数の� ��御モジュール(CM:Controller Module)15、及び各制 御モジュール15に対して設けられた複数の記� ��媒体(便宜上、2つのみを図示)21を有する。� �、各記憶装置1-1,1-2が有する通信アダプタ13� �数は2以上であっても良く、又、リモートア� ��プタ14の数も2以上であっても良い。

 各制御モジュール15は、CPU151、ユーザデ� �タや制御データが格納されるキャッシュメ� �リ152、及び記録媒体21とインタフェース制御 を司り記録媒体21との通信に使用される複数� ��インタフェース制御部(FC)153を有する。キャ ッシュメモリ152は、図3及び図4に示す記録専� ��バッファ22及びバッファセット制御テーブ� �23を含む。記録専用バッファ22は、コピーデ� ��タを格納するバッファ本体BUF、及び各コピ� ��データのインデックス情報(LUN,LBA等の論理� �ドレス情報及びコピー制御情報)を格納する� ��ッファインデックステーブルBITを有する。� ��ッファセット制御テーブル23は、コピー元� �記憶装置1-1とコピー先の記憶装置1-2の記録� �用バッファ22のバッファID(又は、バッファア ドレス)の組み合わせをバッファセットとし� �格納して管理する。言うまでもなく、上記� �許文献3に記載されているように、複数の制� ��モジュール15のうち1つをマスタ制御モジュ� ��ルとして使用し、他の制御モジュール15を� �スタ制御モジュールに対して従なる関係で� �御するスレーブ制御モジュールとして使用� �ても良い。

 説明の便宜上、リモートコピーでは、ホ� ��ト装置41-1からコピー元の記憶装置1-1に書き 込まれたデータが、ネットワーク42を介して� ��スト装置41-2の制御下にあるコピー先の記憶 装置1-2に書き込まれるものとする。

 図6及び図7は、リモートコピーの手順を� �明するフローチャートである。図6及び図7に おいて、コピー元の記憶装置1-1の処理はステ ップSS1~SS17で示し、コピー先の記憶装置1-2の� ��理はステップSD1~SD11で示す。

 図6において、コピー元及びコピー先では 、記録専用バッファ22のバッファセットの初� ��構成を決定する処理を行う(ステップSS1,SD1)� ��コピー元では、記録専用バッファ22を要求� �るバッファリクエストを行い(ステップSS2)、 コピー先では、バッファリクエストが受信さ れたか否かを判定する(ステップSD2)。コピー� ��でバッファリクエストが受信されると(ステ ップSD2でYES)、空きバッファ通知を行う(ステ� ��プSD3)。

 図8は、ステップSD3の空きバッファ通知処 理を説明するフローチャートである。空きバ ッファ通知処理は、バッファセット作成論理 を上記特許文献3のものから変更して、コピ� �先の記憶装置1-2の制御モジュール15の数をコ ピー元の記憶装置1-1へ通知する。

 図8において、ステップSD31,SD33~SD35は、コ� ��ー先の記憶装置1-2のマスタ制御モジュール1 5により実行され、ステップSD32はコピー先の� ��憶装置1-2のスレーブ制御モジュール15によ� �実行される。

 ステップSD31は、各制御モジュール15から� ��ッファ情報を採取し、ステップSD32は、該当 制御モジュール15の空きバッファの情報を収� ��する。ステップSD33は、コピー先の記憶装置 1-2に実装されている制御モジュール15からの� ��ッファ情報を全て採取したか否かを判定し� ��判定結果がNOであると処理はステップSD31へ� ��る。他方、ステップSD33の判定結果がYESであ ると、ステップSD34は、採取したバッファ情� �に基づいて有効な制御モジュール15の数(有� �制御モジュール数)を算出する。ステップSD35 は、空きバッファ情報と有効制御モジュール 数をコピー元の記憶装置1-1へ送信し、処理は 図6に示すステップSS3及びSD4へ進む。

 このようにして、コピー元の記憶装置1-1� ��らの空きバッファ通知要求を受信した場合� ��、コピー先の記憶装置1-2でバッファセット� ��位での展開処理が完了後に展開処理が完了� ��たバッファセットの開放処理の後に行う空� ��バッファ通知処理において、コピー先の記� ��装置1-2の空きバッファを通知する際に、コ� ��ー先の記憶装置1-2に実装されている制御モ� ��ュール15の数を送信情報に付加する。

 コピー元の記憶装置1-1では、空きバッフ� ��通知を受信すると、次回のバッファセット� ��成時に有効な制御モジュール15を選択する(� ��テップSS3)。

 図9は、ステップSS3の有効制御モジュール 選択処理を説明するフローチャートである。 図9において、ステップS31~S34,S36,37は、コピー 元の記憶装置1-1のマスタ制御モジュール15に� ��り実行され、ステップS35はコピー元の記憶� ��置1-1のスレーブ制御モジュール15により実� �される。

 ステップS31は、コピー先の記憶装置1-2か� ��空きバッファ情報及び有効制御モジュール� ��を受信する。ステップS32は、コピー先の記� ��装置1-2の有効制御モジュール数を受信した� ��効制御モジュール数に更新し、ステップS33� ��、コピー先の記憶装置1-2の空きバッファ情� ��を受信した空きバッファ情報に更新する。� ��テップS34は、各制御モジュール15へ同じ情� �を保持するよう情報の多重化依頼をして、� �テップS35は、該当制御モジュール15で有効制 御モジュール数及び空きバッファ情報を更新 する。ステップS36は、各制御モジュール15で� ��有効制御モジュール数及び空きバッファ情� ��の更新が完了したか否かを判定し、判定結� ��がNOであると処理はステップS34へ戻る。他� �、ステップS36の判定結果がYESであると、ス� �ップS37は、有効制御モジュール数及び空き� �ッファ情報の更新が完了した旨の応答をコ� �ー先の記憶装置1-2に返す。

 このようにして、コピー元の記憶装置1-1� ��コピー先の記憶装置1-2から通知された空き� ��ッファ情報とコピー先の記憶装置1-1の制御� ��ジュール15の数を記録する。

 コピー元では、ステップSS3の後、バッフ� ��セットの初期作成が可能であるか否かを判� ��し(ステップSS4)、判定結果がYESであると、� �回のバッファセット作成時のコピー元の記� �装置1-1の有効制御モジュールを選択して次� �のバッファセット切り替え時の新バッファ� �ットを作成する論理を選択する作成論理選� �処理を行う(ステップSS5)。

 図10は、ステップSS5の作成論理選択処理� �説明するフローチャートである。図10におい て、ステップS51~S58は、コピー元の記憶装置1- 1のマスタ制御モジュール15により実行される 。

 ステップS51は、コピー先の記憶装置1-2の� ��効制御モジュール数がコピー元の記憶装置1 -2の有効制御モジュール数以上であるか否か� ��判定する。ステップ51の判定結果がYESであ� �と、ステップS52は上記特許文献3に記載され� ��いる如き通常の論理で新バッファセットを� ��成し、処理は図6に示すステップSS6へ進む。 他方、ステップS51の判定結果がNOであると、� ��テップS53はコピーセッションが存在するか� ��かを判定する。

 ステップS53の判定結果がYESであると、ス� ��ップS54は担当制御モジュール15毎にセッシ� �ン数を算出する。ステップS55は、セッショ� �数の多い制御モジュール15から、コピー先の 記憶装置1-2の有効制御モジュール数分、記録 専用バッファ22を有効化して行く。ステップS 56は、有効化しない制御モジュール15は、有� �化した制御モジュール15の代替バッファに設 定し、処理は図6に示すステップSS6へ進む。� �、ステップS53の判定結果がNOであると、ステ ップS57は適切な制御モジュール15から、コピ� ��先の記憶装置1-2の有効制御モジュール数分� ��記録専用バッファ22を有効化して行く。ス� �ップS58は、有効化しない制御モジュール15は 、有効化した制御モジュール15の代替バッフ� ��に設定し、処理は図6に示すステップSS6へ進 む。

 このようにして、次のバッファセット切� ��替え時に、コピー元の記憶装置1-2に実装さ� ��ている制御モジュール15の数と通知された� �ピー先の記憶装置1-1の制御モジュール15の数 を比較して以下のように分別する。

 (A) [コピー元の制御モジュール数] ≦ � �コピー先の制御モジュール数」の場合には� �上記特許文献3に記載されている如き通常の� ��理でバッファセットを作成する。

 (B) [コピー元の制御モジュール数] > � ��コピー先の制御モジュール数」の場合には� ��コピー元の制御モジュール数の方が多いの� ��、コピー先の制御モジュール数の数だけを� ��ッファセットに登録、即ち、使用するよう� ��する。この際、記録専用バッファ22が無効� �される(即ち、未使用とされる)制御モジュー ル15については、どの制御モジュール15の記� �専用バッファ22を代替として使用するかを決 定する。

 ステップSS5の後、バッファセットの初期� ��成処理を行い(ステップSS6)、バッファセッ� �に対するコピーデータ格納処理を行う(ステ� ��プSS7)。

 図11は、ステップSS7のコピーデータ格納� �理を説明するフローチャートである。図11に おいて、ステップS71~S77は、コピー元の記憶� �置1-1の例えばLU担当制御モジュール15により� ��行される。

 ステップS71は、現在格納中のバッファセ� ��トを検索し、ステップS72は、該当バッファ� ��ットで該当制御モジュール15の記録専用バ� �ファ22が有効であるか否かを判定する。ステ ップS72の判定結果がYESであると、ステップS73 は上記特許文献3に記載された通常の論理で� �制御モジュール15内の記録専用バッファ22に� ��ピーデータを格納し、処理は図6に示すステ ップSS8へ進む。

 他方、ステップS72の判定結果がNOである� �、ステップS74は代替バッファを確定し、ス� �ップS75は代替バッファに確定された制御モ� �ュール15に対して格納場所要求を行う。ステ ップS76では、代替バッファに確定された制御 モジュール15が格納場所を決定して格納場所� ��求に対して応答する。ステップS77は、代替� ��ッファに対してコピーデータを格納し、処� ��は図6に示すステップSS8へ進む。

 このようにして、記録専用バッファ22へ� �コピーデータの書き込みは、次のように行� �れる。つまり、該当制御モジュール15で担当 論理ボリュームに対してライト処理があった 場合、ライトされたデータを記録専用バッフ ァ22に格納する。又、バッファセットの状態� ��応じて以下の2通りの方法でデータが格納さ れる。該当制御モジュール15の記録専用バッ� ��ァ22が有効な第1の場合、上記特許文献3に記 載されている如き通常の論理で記録専用バッ ファ22へデータを格納する。他方、該当制御� ��ジュール15の記録専用バッファ22が無効の場 合、即ち、 [コピー元制御モジュール数] > ; 「コピー先制御モジュール数」の第2の場� �、記録専用バッファ22が無効化される制御モ ジュール15については代替する有効化された� ��御モジュール15の記録専用バッファ22が設定 されているのでその有効化された制御モジュ ール15に対して通信を行い連携することでデ� ��タを格納する。

 ステップSS7の後、コピー元では、バッフ� ��セットの切替が必要であるか否かを判定し( ステップSS8)、判定結果がNOであると処理はス テップSS7へ戻る。コピー元では、ステップSS8 の判定結果がYESであると、バッファセットの 切替処理が可能であるか否かを判定し(ステ� �プSS9)、判定結果がYESであると、バッファセ� ��トチェック処理を行う(ステップSS10)。

 図12は、ステップSS10のバッファセットチ� ��ック処理を説明するフローチャートである� ��図12において、ステップS121~S126は、コピー� �の記憶装置1-1のマスタ制御モジュール15によ り実行され、ステップS127~S131はコピー元の記 憶装置1-1のスレーブ制御モジュール15により� ��行される。

 ステップS121は、図10に示す作成論理選択� ��理により新規のバッファセットを作成する� ��ステップS122は、バッファセット切り替え指 示を発行する。このバッファセット切り替え 指示に応答して、マスタ制御モジュール15で� ��ステップS123が新規のバッファセットへの切 り替え処理を行い、スレーブ制御モジュール 15ではステップS128が新規のバッファセットへ の切り替え処理を行う。

 ステップS123の後、ステップS124は旧バッ� �ァセットに自制御モジュール15(即ち、マス� �制御モジュール15)の記録専用バッファ22があ るか否かを判定し、判定結果がNOであると処� ��は後述するステップS126へ進む。他方、ステ ップS124の判定結果がYESであると、ステップS1 25はコピー先の記憶装置1-2に転送するべきデ� ��タがあるか否かを判定する。ステップS125の 判定結果がYESであると、ステップS126はバッ� �ァセット切り替え指示に対する応答を受け� �ったか否かを判定し、判定結果がYESである� �処理は図6に示すステップSS11へ進む。ステッ プS125の判定結果がNOであると、ステップS127� �マスタ制御モジュール15に対してバッファセ ットからの削除依頼を行い、処理はステップ S126へ進む。

 ステップS128の後、ステップS129は旧バッ� �ァセットに自制御モジュール15(即ち、スレ� �ブ制御モジュール15)の記録専用バッファ22が あるか否かを判定し、判定結果がNOであると� ��理はステップS126へ進む。他方、ステップS12 9の判定結果がYESであると、ステップS130はコ� ��ー先の記憶装置1-2に転送するべきデータが� ��るか否かを判定する。ステップS130の判定結 果がYESであると、処理はステップS126へ進む� �ステップS130の判定結果がNOであると、ステ� �プS131はマスタ制御モジュール15に対してバ� �ファセットからの削除依頼を行い、処理は� �テップS126へ進む。

 このようにして、切り替え対象の記録専� ��バッファ22に転送データがない旨の通知を� �うことで、バッファセット転送時に有効な� �録専用バッファ22のみをバッファセットチェ ックの対象とする。具体的には、バッファ切 り替え処理時に切り替え直前のバッファセッ トに自制御モジュール15の記録専用バッファ2 2が含まれているか否かをチェックする。バ� �ファセットに自制御モジュール15の記録専用 バッファ22が含まれている場合は、記録専用� ��ッファ22(BIT)を参照してコピー先の記憶装置 1-2に転送すべきデータがあるか否かをチェッ クする。このチェックの結果、コピー先の記 憶装置1-2に転送するべきデータがない場合に は、バッファセット切り替え処理とは非同期 に直前のバッファセットから自制御モジュー ル15のバッファ情報を削除するための削除依� ��をマスタ制御モジュール15に対して行う。

 ステップSS10の後、バッファセットの切替 処理を行う(ステップSS11)。尚、切替ったバッ ファセットに対する処理の流れは、図6中破� �で示す。

 ステップSS11の後、バッファ情報削除処理 を行う(ステップSS12)。

 図13は、ステップSS12のバッファ情報削除� ��理を説明するフローチャートである。図13� �おいて、ステップS141~S143,S145~S147は、コピー� ��の記憶装置1-1のマスタ制御モジュール15に� �り実行されれ、ステップS144はコピー元の記� ��装置1-1のスレーブ制御モジュール15により� �行される。

 ステップS141は、バッファセットからの削 除依頼を受信し、ステップS142は、該当バッ� �ァセットから指定されたバッファ情報を削� �する。ステップS143は、各制御モジュール15� �対してバッファセットの更新依頼を行い、� �理はステップS144及びステップS145へ進む。ス テップS144は、各制御モジュール15においてバ ッファセットを更新する処理を行い、処理は ステップS145へ進む。ステップS145は、更新依� ��に対する応答を各制御モジュール15から受� �取ったか否かを判定する。ステップS145の判� ��結果がYESになると、ステップS146はバッファ セットを転送可能な状態であるか否かを判定 する。ステップS146の判定結果がNOであると、 ステップS147はバッファセットに対する格納� �理の待ち合わせを行い、処理は図6に示すス� ��ップSS13へ進む。他方、ステップS146の判定� �果がYESであると、処理は図6に示すステップS S13へ進む。

 このようにして、転送データのない記録� ��用バッファ22をバッファセットから削除し� �コピー先の記憶装置1-2の記録専用バッファ22 を未使用とする。バッファセット切り替え時 に各制御モジュール15において、切り替え時� ��使用していたバッファセットに自制御モジ� ��ール15の記録専用バッファ22がある場合は、 その記録専用バッファ22に転送するべきコピ� ��データがあるか否かのチェックを行う。他� ��、切り替え時に使用していたバッファセッ� ��に自制御モジュール15の記録専用バッファ22 に転送するべきデータがない場合は、該当バ ッファセットからバッファ情報を削除する削 除依頼をマスタ制御モジュール15に対して行� ��。マスタ制御モジュール15は、この削除依� �を受信すると、該当バッファセットから指� �されたバッファ情報を削除する。削除した� �ッファセットの情報は、各制御モジュール15 に通知して多重化される。バッファセットの 情報の更新が完了後、該当バッファセットが 転送可能な状態であるか否かをチェックし、 転送可能な状態であれば転送処理を起動し、 まだ転送可能な状態ではない場合に待ち合わ せをする。

 ステップSS12の後、コピー元では、更に、 バッファセットに対する格納処理が全て完了 したか否かを判定し(ステップSS13)、判定結果 がYESであると、バッファセットに対するコピ ーデータの送信処理を行う(ステップSS14)。

 コピー先では、送信されてくるバッファ� ��ットのコピーデータに対する受信処理を行� ��(ステップSD4)、バッファセットの全てのコ� �ーデータを受信したか否かを判定する(ステ� ��プSD5)。コピー先では、ステップSD5の判定結 果がYESであると、図7に示すように、バッフ� �セットのコピーデータに対する展開処理が� �能であるか否かを判定する(ステップSD6)。コ ピー先では、ステップSD6の判定結果がYESであ ると、バッファセットのコピーデータに対す る展開処理を行い(ステップSD7)、バッファセ� ��トのコピーデータに対する展開処理が完了� ��た旨を示す完了通知をコピー元へ行う(ステ ップSD8)。

 コピー元では、コピー先からの完了通知� ��受信したか否かを判定し(ステップSS15)、判� ��結果がYESであると、バッファセットの開放� ��理を行い(ステップSS16)、バッファセットの� ��構成処理を行い(ステップSS17)、処理は図6に 示すステップSS9へ戻りバッファセットの切替 待ち状態となる。

 他方、コピー先では、上記完了通知を行っ� ��後、バッファセットの開放処理を行い(ステ ップSD9)、バッファセットの再構成処理を行� �(ステップSD10)。
又、コピー先では、コピー元に空きバッファ 通知を行い(ステップSD11)、処理は図6に示す� �テップSD4へ戻りバッファセットのコピーデ� �タ受信待ち状態となる。

 本実施例は、バッファセット作成論理の� ��更は、コピー先の記憶装置1-2が実装してい� ��制御モジュール数をコピー元の記憶装置1-1� ��通知するための手段又はステップと、コピ� ��元の記憶装置1-1が通知されたコピー先の記� ��装置1-2が実装している制御モジュールと自� ��憶装置(即ち、コピー元の記憶装置1-1)の制� �モジュールを比較して、次のバッファセッ� �を上記特許文献3に記載された通常の論理で� ��成するか、或いは、本実施例の論理で作成� ��るか判断をする手段又はステップと、コピ� ��元の記憶装置1-1の制御モジュール数が多い� ��合、どの制御モジュール15の記録専用バッ� �ァ22を使用又は未使用にするか、未使用の場 合はその制御モジュール15がどこの記録専用� ��ッファ22を代替で使用するかを決定する手� �又はステップと、本実施例の論理でバッフ� �セットを作成した場合に記録専用バッファ22 が無効な制御モジュール15でライトされたデ� ��タを代替モジュールの記録専用バッファ22� �格納する手段又はステップとを有する。

 又、本実施例は、バッファセット転送時� ��有効な記録専用バッファ22のみをバッファ� �ットチェックの対象とするために、バッフ� �セット切り替え時に切り替え直前に使用し� �いたバッファセットに対して各制御モジュ� �ル15での記録専用バッファ22が有効である場� ��、記録専用バッファ22内に転送するべき有� �なデータがあるか否かをチェックする手段� �はステップと、前記チェックにより該当記� �専用バッファ22内に転送するべき有効なデー タがない場合にはマスタ制御モジュール15に� ��してバッファセットからのバッファ情報の� ��除依頼をする手段又はステップと、各制御� ��ジュール15からの前記削除依頼があったと� �にマスタ制御モジュール15にてバッファセッ トからバッファ情報を削除し、情報を多重化 する手段又はステップとを更に有しても良い 。