作成者別アーカイブ: Osamu Tatebe

Gfarm 2.7.0をリリース

みなさま

* Gfarmファイルシステム version 2.7.0
* Gfarm2fs version 1.2.10

を公開致しました。

http://sourceforge.net/projects/gfarm/

Gfarm 2.7.0 はメジャーバージョンアップで以下の新機能が含まれています。

– InfiniBand RDMAサポート
– ディレクトリクオータ機能

InfiniBand RDMA をサポートしたことにより、InfiniBand ネットワークを利
用した環境においてより高速なアクセスが実現されます。InfiniBand RDMA を
有効にするためには、configure オプションで –with-infiniband を指定し
ます。詳細は INSTALL.ja および doc/Gfarm-FAQ.ja をご参照ください。

ディレクトリクオータ機能は、一つまたは複数のディレクトリからなるディレ
クトリセット単位のクオータ機能です。詳細は
doc/html/ja/user/dirquota.html をご参照ください。

Gfarm 2.6.X あるいはその前のバージョンから Gfarm 2.7.0 への更新は
config-gfarm-update を実行して Postgresql のスキーマを更新する必要があ
ります。

% service gfarm-pgsql start
% config-gfarm-update –update
% service gfmd start

Release note for Gfarm 2.7.0
============================

[2016.12.8]

New feature
* InfiniBand RDMA support
* Directory quota (see doc/html/en/user/dirquota.html for details)

New command
* gfdirquota – manage directory set for directory quota

New configuration directive
* ib_rdma – enables or disables InfiniBand RDMA data transfer. When
configuring –with-infiniband, default is enable.
* rdma_device_name, rdma_port – optional directive to specify device
name and port number, respectively, for RDMA data transfer
* rdma_min_size – minimum size for RDMA data transfer. Default is
65536 bytes
* rdma_mr_reg_mode – specifies memory registration mode. Default is
static.
* rdma_mr_reg_static_min_size, rdma_mr_reg_static_max_size – minimum
and maximum size for static RDMA buffer for each gfsd connection.
Default is 1MiB and 16MiB, respectively
* directory_quota_count_per_user_limit – maximum number of directory
sets for each user. Default is 100

Updated feature
* gfedquota, gfquota – -D and -d options for directory quota

Release note for Gfarm2fs 1.2.10
================================

[2016.12.8]

Updated feature
* -o directory_quota_rename_error_exdev option – enables client-side
directory move between different directory sets by copying and
removing

Gfarm 2.6.15をリリース

みなさま

* Gfarmファイルシステム version 2.6.15

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンでは、OpenSSL 1.1.0 のサポート、gfprep の新しいオプショ
ンを含む、有用な更新、修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.15
=============================

[2016.12.3]

Updated feature
* OpenSSL 1.1.0 support
* gfprep – -mm option to keep an original copy in migration mode
* gfsd – log message of write_verify process includes the hostname

Bug fix
* gfprep -m may fail due to file busy even though all operations succeed

Gfarmシンポジウム2016

日程

平成28年12月9日(金)

会場

筑波大学東京キャンパス文京校舎121講義室
〒112-0012 東京都文京区大塚3-29-1

共催

特定非営利活動法人つくばOSS技術支援センター
筑波大学計算科学研究センター
JST/CREST「ポストペタスケールデータインテンシブサイエンスのためのシステムソフトウェア」

参加費

無料
(懇親会費:3,000円)

参加登録

シンポジウムは終了しました。多数のご参加ありがとうございました。

プログラム

13:00∼13:30 受付
13:30∼14:10 Gfarmファイルシステムの概要と最新機能
建部 修見(筑波大学)
14:10∼14:50 Gfarm Performance on Azure
河野 証(株式会社HPCソリューションズ)
14:50∼15:30 Gfarmの高速化のための技術開発
村田 健史(NICT)
15:30∼15:40 休憩
15:40∼16:20 Gfarmシステム運用におけるアウトソーシング活用の試み
中 誠一郎(東京大学)
16:20∼17:00 次世代HPCI共用ストレージの設計とクラウド活用
[ 発表資料 Part 1 | Part 2 | Part 3 ]
原田 浩(理化学研究所)
17:00 閉会
18:00∼20:00 懇親会(会場別)

Gfarm 2.6.14をリリース

みなさま

* Gfarmファイルシステム version 2.6.14

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンでは、新しいコマンド gflsof が追加されました。
このコマンドにより現在オープン中のファイルを調べることがで
きます。そのほか、有用な更新が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.14
=============================

[2016.10.26]

New command
* gflsof – list current opened Gfarm files

Updated feature
* increase default timeout to connect to gfmd to 35 seconds to cope
with fault of primary and secondary DNS servers

Gfarm 2.6.13をリリース

みなさま

* Gfarmファイルシステム version 2.6.13

を公開致しました。

このバージョンでは、同時にオープンできるファイル数を変更
できるようになりました。そのほか、有用な更新が含まれてい
ます。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.13
=============================

[2016.9.27]

New configuration directive
* max_open_files – specify the maximum number of open files. Default
is 1024.

Updated feature
* gfmd – keep minimum disk space to reduce no space risk

Gfarmワークショップ2016

日程

平成28年10月21日(金)

会場

公益財団法人計算科学振興財団セミナー室
〒650-0047 兵庫県神戸市中央区港島南町7-1-28 計算科学センタービル2階

共催

特定非営利活動法人つくばOSS技術支援センター
JST/CREST「ポストペタスケールデータインテンシブサイエンスのためのシステムソフトウェア」

参加費

無料
(懇親会費:3,000円)

参加登録

シンポジウムは終了いたしました。多数のご参加ありがとうございました。

プログラム

13:00∼13:30 受付
13:30∼14:00 Gfarmファイルシステムの概要と最新機能
建部 修見(筑波大学)
14:00∼14:30 Gfarmファイルシステム on Azure
河野 証(株式会社HPCソリューションズ)
14:30∼14:45 休憩
14:45∼15:15 HPCI共用ストレージの次世代
原田 浩(理化学研究所)
15:15∼15:45 ワークフローシステムPwrakeの耐障害性
田中 昌宏(筑波大学)
15:45∼16:00 休憩
16:00∼17:00 チュートリアル:ワークフローシステムPwrake
田中 昌宏(筑波大学)
17:00 閉会
17:30∼19:30 懇親会(会場別)

Gfarm 2.6.12をリリース

みなさま

* Gfarmファイルシステム version 2.6.12

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンでは、Gfarm URL形式のシンボリックリンク
において、フェイルオーバをサポートしました。つまり、
gfarm://serverA:port/path/name というシンボリックリン
クにおいて、serverA から serverB にフェイルオーバして
もリンクがたどれるようになりました。そのために、
metadata_server_list を複数指定することを許し、以下の
ように指定します。

metadata_server_list serverA:port serverB:port

また、Ganglia plugin のフォーマットをキャッシュライン
の偽共有が発生しないよう更新しました。これに伴い、バー
ジョンアップする場合は以下のように plugin を更新する必
要があります。

service gmond stop
config-gfmd-iostat -f …
config-gfsd-iostat -f …
service gmond start

そのほか、いくつかの不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.12
=============================

[2016.8.16]

New feature
* symbolic link support for master-slave redundant metadata servers –
metadb_server_list directive can be used several times to specify
several metadata server groups

Updated feature
* iostat – new data format that aligns the cache line to avoid
unnecessary false sharing. This requires ganglia plugin update by
config-{gfsd,gfmd}-iostat -f

Bug fix
* fix compilation error on Linux/alpha. This patch is contributed by
Michael Cree via Dmitry Smirnov [https://bugs.debian.org/827021]
* gfpcopy – plug memory leak, which was introduced in Gfarm 2.6.6
* gfmd – quota is not effective just after gfmd start-up or failover
* gfmd – incorrect grace period for soft quota after gfmd restart or
failover
* gfsd – may give up to reconnect to gfmd
* gfsd – incorrect period for write_verify is reported at gfsd crash
on Linux 2.6.22 or before

Gfarm 2.6.11をリリース

みなさま

* Gfarmファイルシステム version 2.6.11

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンは、重要な不具合修正が含まれています。GSI認証を用いる場
合に gfmd が deadlock する問題を解消するためには、/etc/init.d/gfmd に

export GLOBUS_THREAD_MODEL=pthread

を追加する必要があります。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.11
=============================

[2016.6.2]

Bug fix
* gfpcopy does not tolerate file migration or file replica removal
* gfs_pio_close() returns GFARM_ERR_BAD_FILE_DESCRIPTOR when it is
called against a never accessed 0-byte file
* gfmd may deadlock in GSI when using Globus Toolkit 6.0 or later
* multi spool directories – directories having the same prefix cannot
be specified

Gfarm 2.6.10をリリース

みなさま

* Gfarmファイルシステム version 2.6.10

を公開致しました。

http://sourceforge.net/projects/gfarm/

gfmd が共有鍵をNFSで共有しないとき、性能を向上させる
オプションの追加、不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.10
=============================

[2016.4.25]

New configuration directive
* metadb_server_nfs_root_squash_support – disables nfs root squash
support to improve the metadata performance if it is not necessary
* write_verify_log_interval – specifies the interval to record
statistics of write verify

Updated feature
* profile and progress logging support for write verify

Bug fix
* when gfmd is down, gfsd may not log failed close operation at exit
* multiple spool directories may cause inconsistent file creation. If
this happens, alert and move it to the spool top directory.


Osamu Tatebe
Center for Computational Sciences, University of Tsukuba

Gfarm 2.6.9をリリース

みなさま

* Gfarmファイルシステム version 2.6.9
* Gfarm2fs version 1.2.9.9

を公開致しました。

http://sourceforge.net/projects/gfarm/

複数のパーティションのサポート、ファイル生成のストレージスケジューリン
グの改善などの他、不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.9
============================

[2016.4.3]

New configuration directive
* spool_server_back_channel_rcvbuf_limit and
metadb_server_back_channel_sndbuf_limit – limits outstanding
requests between gfsd and gfmd to reduce risk of the disconnection.
Default is 4096 bytes.

Updated feature
* gfsd – support multiple spool directories
* most available disk space is selected when creating files
* gfwhere – -m option to select files having the specified number or
less number of replicas
* gfwhere – -h option to select files that stored on the specified
host
* gfstatus – -m option to change the configuration parameter in gfmd
with -M option. Currently, ‘digest’, ‘write_verify’,
‘write_verify_interval’, ‘write_verify_retry_interval’ can be
changed. Note that write_verify is enabled only after gfsd is
restarted.
* write_verify process of gfsd terminates and dumps file information
to be verified by TERM signal
* gfspoolpath – -I option to specify inode number and generation
number instead of a filename

Bug fix
* updated files during the connection between gfsd and gfmd is
disconnected cannot be accessed
* master gfmd may crash when connecting from an expired slave gfmd
[sf.net ticket #947]
* delete metadata when a copy cannot be created due to no space error
* mtime of gfs_pio_stat() and gfs_stat() is inconsistent, which may
cause failure to extract symbolic links from tar files

Release note for Gfarm2fs 1.2.9.9
=================================

[2016.4.3]

Updated feature
* readlink – cache previous result to improve ‘ls -l’ performance