Gfarm 運用の

ベストプラクティス

Gfarm ワークショップ 2018

曽田哲之 (SODA Noriyuki)

<soda@sra.co.jp>

自己紹介

所属

株式会社SRA 中部事業部

OSS活動

1996年〜: NetBSD commiter
(MIPS ARC移植管理者。システム管理者)

自己紹介 (つづき)

Gfarm

2000年10月: 電総研ファイルシステム調査
2000年11月〜: Gfarm v1
2004年〜2007年3月: Gfarm v2 初期実装
2008年10月〜現在: Gfarm-2.2 〜 Gfarm-2.7

Gfarm の特徴

現行バージョンの特徴

https://sourceforge.net/p/gfarm/
並列ストレージ
メタデータ集中管理型
データはクローズ時に非同期複製
広域対応
- レイテンシにもとづいた複製選択
- コネクション単位でユーザ認証
  - (Infiniband 接続を除く)

Gfarm の特徴 (つづき)

close-to-open consistency

読み込みオープンした場合、書き込み内容が見える保証があるのは書き込み側がクローズした後、オープンし直した場合のみ
読み書きオープンしていればオープンし直さなくても見える

Gfarm の特徴 (つづき)

Gfarm で向かない応用

大きなファイルを部分的に更新するケースは
非同期複製と相性が悪い
向かない例:
- データベース
- ログ
/path/name に対する複製数を1に設定して対処する

$ gfncopy -s 1 /path/name

ソフトウェア構成

ファイルシステムを構成するホスト

メタデータサーバー (gfmd)
ファイルシステムノード (gfsd)
クライアント

ソフトウェア構成 (つづき)

メタデータサーバー (gfmd)

ディレクトリ構造・データ複製の所在等を保持
アクティブ・スタンバイ構成でSPOFを排除
サーバープロセス
- バックエンド
  - PostgreSQL
  - none (メモリ上のみ)
  - OpenLDAPは非推奨 (機能制限)
- gfmd

ソフトウェア構成 (つづき)

ファイルシステムノード (gfsd)

ファイルシステム中のデータを保持
ファイルシステムノード内では、inode番号と世代番号でデータを識別
データ複製で冗長性を確保

ソフトウェア構成 (つづき)

gfsd プロセス親子関係の構成

listener gfsd
- back channel
  - ファイルシステム1用複製処理
  - ファイルシステム2用複製処理
  - 〜
- write_verify controller
  - write_verify
- クライアント1対応
- クライアント2対応
- 〜

容量計画

メタデータサーバ

CPU
- 現バージョンの場合、コア数は10以下で十分
メモリ
- 全メタデータをメモリに保持する
- メモリを溢れないことが極めて重要
- ファイル数×約500バイト以上
- 詳しくは doc/Gfarm-FAQ.ja の 1.3項を参照

容量計画 (つづき)

メタデータサーバ (つづき)

ディスク
- メモリの数倍程度あれば良い
- 同期書き込み性能が重要
- BBWCつきRAID + HDD (or SSD)
台数
- 同期スレーブサーバーと合わせ3台程度
- 非同期スレーブはディザスタリカバリ用

容量計画 (つづき)

ファイルシステムノード

CPU
- それほどCPU負荷は高くない
  - 信頼性確保のためのセキュアハッシュ計算
- 同時アクセスするクライアント数に比例
  - そのマシンのネットワークおよびディスクバンド幅が上限となる。
メモリ
- 主にデータのページキャッシュ
- 少なくても動くには動く

容量計画 (つづき)

ファイルシステムノード(つづき)

ディスク
- メタデータほどの同期書き込み性能は不要
- 同期書き込みはユーザが fsync(2)/fdatasync(2)発行した時のみ
台数
- クライアント数や必要なデータ容量に比例
- 増設しても、リバランス処理は不要。単に足すだけですぐ使える。
- 空き容量の多いノードを優先したスケジューリングにより自然にバランス

配置構成 (ファイルシステムノード)

位置構成

ファイルシステムノード
- バンド幅だけではなくレイテンシも重要
  - LAN: 100μ秒、東京神戸間: 10m秒 … 100倍の違い
- ファイルオープン時にレイテンシを測定し、近いファイルシステムノードを自動選択
- 主要なクライアントの近くにファイルシステムノードを分散配置

配置構成 (メタデータサーバー)

マスター・サーバー

クライアントの近くに設置

同期スレーブ

マスターと同一のLANに設置
自動フェイルオーバー対象
多過ぎるとマスターの負荷が増加する

配置構成 (メタデータサーバー) (つづき)

非同期スレーブ

遠隔地にディザスタリカバリ用途で設置
自動フェイルオーバーは非推奨

複数のGfarm間の連係

Gfarm間シンボリックリンク

用途
- クライアントの近くに、それぞれマスターgfmdを置きアクセス性能向上
- メタデータサーバーを複数に分けて1台あたりの必要メモリ量を軽減

複数のGfarm間の連係(つづき)

Gfarm間シンボリックリンク(つづき)

東拠点ファイルシステム

$ gfmkdir /east
$ gfln -s gfarm://west-metaserver:601/west /west

西拠点ファイルシステム

$ gfmkdir /west
$ gfln -s gfarm://east-metaserver:601/ /east

複数のGfarm間の連係(つづき)

Gfarm間シンボリックリンク(つづき)

クライアントは、近い側の拠点をデフォルトのメタデータサーバーとして設定
/east, /west でどちらのファイルシステムも見える

複数のGfarm間の連係(つづき)

現行バージョンでの制限事項

各メタデータごとに gfsd を別々に設定する必要がある
- 実データを置くパーティションは共用可能
- ただし別ディレクトリとする必要がある
mv や複製処理は、クライアント経由となるため遅くなる

※以前のバージョンではシンボリック先gfmdのフェイルオーバーに対応していなかったが、gfarm-2.6.12 以降は metadb_server_list の設定で対応。

認証方式

GSI認証

SSLサーバー証明書およびクライアント証明書を用いた相互認証
メタデータサーバーおよびファイルシステムノード上では、 grid-mapfile のローカルユーザ名部分に nobody を指定しておくことにより、サーバー上に個々のユーザーのアカウントを作成せず運用することができる。

認証方式

GSI認証(つづき)

サーバー証明書に関して、HPCIではgfmdではホスト証明書、gfsdではサービス証明書を利用
- 新しいGlobusでは、デフォルトではサービス証明書を利用できなくなった
- 環境変数 GLOBUS_GSSAPI_NAME_COMPATIBILITY=HYBRID の設定が必要

認証方式

GSI認証(つづき)

「auth enable gsi *」設定
- すべてSSL暗号化通信
「auth enable gsi_auth *」設定
- 認証のみGSI、以降の通信は平文
- 盗聴、TCPコネクション乗っ取り、改竄等には脆弱になる
Globus の設定が必要 (今回は割愛)

認証方式

sharedsecret認証

サーバー認証なし。平文。
32bit共有鍵
チャレンジ&レスポンス型認証: 鍵そのものはネットワークを流れない
広域接続は GSI認証推奨
- サーバー間接続は sharedsecret 認証

チェックサム計算有効化

config-gfarm

config-gfarm 時に -d md5 ないし -d sha1 オプションを指定する。これにより gfmd.conf に以下のように追加される

digest md5

クライアント側 gfarm2.conf

gfarm2.conf ないし $HOME/.gfarm2rc に以下を追加するとクライアント側でもチェックサム計算を行なう

client_digest enable

gfmd.conf

以下を追加すると、ファイル書き込後しばらく時間をおいて書き込み内容を verify する

write_verify enable

自動複製

/path/name 以下は東西拠点で各1つ複製を置く

  $ gfhostgroup -s 東拠点ファイルシステムノード1 east
  $ gfhostgroup -s 東拠点ファイルシステムノード2 east
  …
  $ gfhostgroup -s 西拠点ファイルシステムノード1 west
  $ gfhostgroup -s 西拠点ファイルシステムノード2 west
  …
  $ gfncopy -S east:1,west:1 /path/name

replica_check_host_down_thresh 86400 (gfmd.conf)
- デフォルトは 10800 (3時間。単位は秒)
- 保守に要する時間の最大値に設定
- この時間以上gfsdが落ちたとき複製追加を開始

その他おすすめ設定

gfarm2.conf gfmd.conf 共通
```
log_auth_verbose enable
```

メタデータサーバー gfmd.conf

metadb_server_thread_pool_size 160
metadb_journal_recvq_size 4000000
metadb_journal_max_size   2147483647
metadb_server_max_descriptors 131072
metadb_server_listen_backlog 4096
minimum_free_disk_space 5T

開発環境用設定 (運用環境では厳禁)

gfsd gfarm2.conf

# 自動lost+found送りを抑制
spool_digest_error_check disable
# すぐにwrite_verifyを行なう 
write_verify_interval 20
write_verify_retry_interval 10