作成者別アーカイブ: Osamu Tatebe

Gfarmワークショップ2016

日程

平成28年10月21日(金)

会場

公益財団法人計算科学振興財団セミナー室
〒650-0047 兵庫県神戸市中央区港島南町7-1-28 計算科学センタービル2階

共催

特定非営利活動法人つくばOSS技術支援センター
JST/CREST「ポストペタスケールデータインテンシブサイエンスのためのシステムソフトウェア」

参加費

無料
(懇親会費:3,000円)

参加登録

シンポジウムは終了いたしました。多数のご参加ありがとうございました。

プログラム

13:00∼13:30 受付
13:30∼14:00 Gfarmファイルシステムの概要と最新機能
建部 修見(筑波大学)
14:00∼14:30 Gfarmファイルシステム on Azure
河野 証(株式会社HPCソリューションズ)
14:30∼14:45 休憩
14:45∼15:15 HPCI共用ストレージの次世代
原田 浩(理化学研究所)
15:15∼15:45 ワークフローシステムPwrakeの耐障害性
田中 昌宏(筑波大学)
15:45∼16:00 休憩
16:00∼17:00 チュートリアル:ワークフローシステムPwrake
田中 昌宏(筑波大学)
17:00 閉会
17:30∼19:30 懇親会(会場別)

Gfarm 2.6.12をリリース

みなさま

* Gfarmファイルシステム version 2.6.12

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンでは、Gfarm URL形式のシンボリックリンク
において、フェイルオーバをサポートしました。つまり、
gfarm://serverA:port/path/name というシンボリックリン
クにおいて、serverA から serverB にフェイルオーバして
もリンクがたどれるようになりました。そのために、
metadata_server_list を複数指定することを許し、以下の
ように指定します。

metadata_server_list serverA:port serverB:port

また、Ganglia plugin のフォーマットをキャッシュライン
の偽共有が発生しないよう更新しました。これに伴い、バー
ジョンアップする場合は以下のように plugin を更新する必
要があります。

service gmond stop
config-gfmd-iostat -f …
config-gfsd-iostat -f …
service gmond start

そのほか、いくつかの不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.12
=============================

[2016.8.16]

New feature
* symbolic link support for master-slave redundant metadata servers –
metadb_server_list directive can be used several times to specify
several metadata server groups

Updated feature
* iostat – new data format that aligns the cache line to avoid
unnecessary false sharing. This requires ganglia plugin update by
config-{gfsd,gfmd}-iostat -f

Bug fix
* fix compilation error on Linux/alpha. This patch is contributed by
Michael Cree via Dmitry Smirnov [https://bugs.debian.org/827021]
* gfpcopy – plug memory leak, which was introduced in Gfarm 2.6.6
* gfmd – quota is not effective just after gfmd start-up or failover
* gfmd – incorrect grace period for soft quota after gfmd restart or
failover
* gfsd – may give up to reconnect to gfmd
* gfsd – incorrect period for write_verify is reported at gfsd crash
on Linux 2.6.22 or before

Gfarm 2.6.11をリリース

みなさま

* Gfarmファイルシステム version 2.6.11

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンは、重要な不具合修正が含まれています。GSI認証を用いる場
合に gfmd が deadlock する問題を解消するためには、/etc/init.d/gfmd に

export GLOBUS_THREAD_MODEL=pthread

を追加する必要があります。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.11
=============================

[2016.6.2]

Bug fix
* gfpcopy does not tolerate file migration or file replica removal
* gfs_pio_close() returns GFARM_ERR_BAD_FILE_DESCRIPTOR when it is
called against a never accessed 0-byte file
* gfmd may deadlock in GSI when using Globus Toolkit 6.0 or later
* multi spool directories – directories having the same prefix cannot
be specified

Gfarm 2.6.10をリリース

みなさま

* Gfarmファイルシステム version 2.6.10

を公開致しました。

http://sourceforge.net/projects/gfarm/

gfmd が共有鍵をNFSで共有しないとき、性能を向上させる
オプションの追加、不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.10
=============================

[2016.4.25]

New configuration directive
* metadb_server_nfs_root_squash_support – disables nfs root squash
support to improve the metadata performance if it is not necessary
* write_verify_log_interval – specifies the interval to record
statistics of write verify

Updated feature
* profile and progress logging support for write verify

Bug fix
* when gfmd is down, gfsd may not log failed close operation at exit
* multiple spool directories may cause inconsistent file creation. If
this happens, alert and move it to the spool top directory.


Osamu Tatebe
Center for Computational Sciences, University of Tsukuba

Gfarm 2.6.9をリリース

みなさま

* Gfarmファイルシステム version 2.6.9
* Gfarm2fs version 1.2.9.9

を公開致しました。

http://sourceforge.net/projects/gfarm/

複数のパーティションのサポート、ファイル生成のストレージスケジューリン
グの改善などの他、不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.9
============================

[2016.4.3]

New configuration directive
* spool_server_back_channel_rcvbuf_limit and
metadb_server_back_channel_sndbuf_limit – limits outstanding
requests between gfsd and gfmd to reduce risk of the disconnection.
Default is 4096 bytes.

Updated feature
* gfsd – support multiple spool directories
* most available disk space is selected when creating files
* gfwhere – -m option to select files having the specified number or
less number of replicas
* gfwhere – -h option to select files that stored on the specified
host
* gfstatus – -m option to change the configuration parameter in gfmd
with -M option. Currently, ‘digest’, ‘write_verify’,
‘write_verify_interval’, ‘write_verify_retry_interval’ can be
changed. Note that write_verify is enabled only after gfsd is
restarted.
* write_verify process of gfsd terminates and dumps file information
to be verified by TERM signal
* gfspoolpath – -I option to specify inode number and generation
number instead of a filename

Bug fix
* updated files during the connection between gfsd and gfmd is
disconnected cannot be accessed
* master gfmd may crash when connecting from an expired slave gfmd
[sf.net ticket #947]
* delete metadata when a copy cannot be created due to no space error
* mtime of gfs_pio_stat() and gfs_stat() is inconsistent, which may
cause failure to extract symbolic links from tar files

Release note for Gfarm2fs 1.2.9.9
=================================

[2016.4.3]

Updated feature
* readlink – cache previous result to improve ‘ls -l’ performance

Gfarm 2.6.8をリリース

みなさま

* Gfarmファイルシステム version 2.6.8

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンは、サイレントデータ損傷(silent data corruption)を検知
するため、書込後に読み込んで digest を確認する書込検証(write verify)
機能をサポートしました。その他、重要な不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.8
============================

[2016.1.16]

New feature
* write verify – detect silent data corruption by re-reading files

New configuration directive
* write_verify – enables the write verify feature
* write_verify_interval – specifies the wait time in seconds of the
write verify after the file creation. Default is 21600 seconds (6
hours).
* write_verify_retry_interval – specifies the wait time in seconds to
retry write verify when the file is opened for writing at the write
verify time. Default is 600 seconds (10 minutes).

Updated feature
* gfstatus – -M option to ask configuration, e.g. write_verify or
digest, in gfmd
* gfmd reports file names opened for writing when gfsd exits without
closing them
* quota check for file replication, chown, and chgrp

Bug fix
* gfmd crashes when quota prevents file creation [sf.net ticket #936]
* gfsd – plug memory leak at gfmd-initiated replication, which was
introduced by Gfarm 2.6.0

Gfarm 2.6.7, Zabbix plugin 3.0.0, Samba plugin 1.0.1, GridFTP DSI 1.0.4をリリース

みなさま

* Gfarmファイルシステム version 2.6.7
* Gfarm Zabbixプラグイン version 3.0.0
* Gfarm Sambaプラグイン version 1.0.1
* Gfarm GridFTP DSI version 1.0.4

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンは、重要な不具合修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.7
============================

[2015.11.28]

Updated feature
* make gfarm2fs return EIO instead of EINVAL, when no replica is
available [sf.net ticket #924]

Bug fix
* gfrep and gfprep may create incomplete replica when network error
happens, which is introduced by Gfarm 2.6.0 [sf.net ticket #926]
* local host is not selected when reading a file at first operation,
which was introduced by Gfarm 2.6.0
* When a file system node crashes during receiving a file replica, the
metadata remains [sf.net ticket #913]
* client_digest_check does not return an error even when checksum
mismatch happens [sf.net ticket #915, #916]
* gfarm clients may access uninitialized data, and may dump core, if
$HOME/.gfarm2rc does not exist [sf.net ticket #912]
* changing gfmd port number by “gfmdhost -m -p” makes gfmd crash
[sf.net ticket #918]
* When trying to modify a file stored at a file server with no space
or in read-only mode, return no space immediately instead of
retrying for a while

Release note for Gfarm Zabbix plugin 3.0.0
==========================================

[2015.9.30]

Updated feature
* restructure the templates
– the templates of this version has no conflict with “Template OS Linux”
so that a host can be linked with both “Template OS Linux” and Gfarm
Zabbix templates [sf.net ticket #911]
– Template_Gfarm_zabbix are no longer provided

Release note for Gfarm Samba plugin 1.0.1
=========================================

[2015.11.28]

Bug fix
* configure –with-samba does not set samba source path

Release note for Gfarm GridFTP DSI 1.0.4
========================================

[2015.11.28]

Bug fix
* fix segfault when using Gfarm 2.6
* check error in gfs_pio_close()

Gfarmシンポジウム2015

日程

平成27年12月14日(月)

会場

筑波大学東京キャンパス文京校舎122講義室
〒112-0012 東京都文京区大塚3-29-1

共催

特定非営利活動法人つくばOSS技術支援センター
筑波大学計算科学研究センター
JST/CREST「ポストペタスケールデータインテンシブサイエンスのためのシステムソフトウェア」

参加費

無料
(懇親会費:3,000円)

参加登録

シンポジウムは終了いたしました。多数のご参加ありがとうございました。

プログラム

13:00∼13:30 受付
13:30∼14:20 Gfarmファイルシステムの概要と最新機能
[ NPOについて | Gfarmの概要と最新機能 ]
建部 修見(筑波大学)
14:20∼15:00 HPCI共用ストレージにおけるデータ一貫性管理
[ データ一貫性管理 ]
原田 浩(理化学研究所)
15:00∼15:40 HPCI共用ストレージにおけるGfarmの運用ガイドライン
[ 運用分析 ]
中 誠一郎(東京大学)
15:40∼16:00 休憩
16:00∼16:40 Gfarm/Pwrakeを活用した様々な科学研究アプリケーションとそれを支える高速データ通信プロトコルの開発
[ NICTサイエンスクラウド | 可視化アプリケーション1 | 可視化アプリケーション2とHpFP ]
村田 健史(NICT)
16:40∼17:20 (株)クオリティアにおけるGfarm活用事例
[ クオリティアにおけるGfarm活用事例 ]
駒木 義孝、根本昌季(クオリティア)
17:20- 閉会
18:00∼20:00 懇親会(会場別)

Gfarm 2.6.6, Gfarm2fs 1.2.9.8, Gfarm zabbix plugin 2.2.0をリリース

みなさま

* Gfarmファイルシステム version 2.6.6
* Gfarm2fs version 1.2.9.8
* Gfarm zabbixプラグイン version 2.2.0

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンは、不具合修正の他、以下の機能更新が含
まれています。

・複製作成時における破損ファイルの /lost+found への移動
・自動クオータチェック

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.6
============================

[2015.8.29]

New configuration directive
* client_parallel_max – the maximum number of parallel operations that
can be specified by gfpcopy and gfprep

Documentation
* manual pages – gfs_pio_sendfile(3), gfs_pio_recvfile(3)
* manual pages – gfarm_environ(7) that describes environment variables
for Gfarm including ciphers in GSI communication
* user manual – cipher-comparison.html that describes the performance
of each cipher in typical architectures

Updated feature
* gfpcopy, gfprep – -k option not to copy symlinks [sf.net ticket
#904]
* gfpcopy, gfprep – -X option to exclude files or directories [sf.net
ticket #901]
* gfpcopy, gfprep – retry if copy or replication fails [sf.net ticket
#903]
* gfmv – more like mv(1) not just calling gfs_rename(2) [sf.net ticket
#897]
* automatic quota check – gfquotacheck is not needed to be called
explicitly [sf.net ticket #902]
* gfcksum – -l option to show a long path for each file [sf.net ticket
#879]
* adjust log level [sf.net ticket #876, #877]
* gfjournal – performance improvement [sf.net ticket #872]
* automatic repair at replication when the file is corrupted [sf.net
ticket #836]
* gfjournaldump – support ruby 1.9 or later

Bug fix
* gfjournal – fix incorrect output for offset [sf.net ticket #878]
* gfjournaldump – fix incorrect output [sf.net ticket #870]
* gfmd may crash when gfedquota is executed after gfmd failover
[sf.net ticket #906]

Release note for Gfarm 2.6.5.1
==============================

[2015.7.5]

Bug fix
* initialization for thread-safe OpenSSL is not called at the
beginning
* when specifying the same entry for rename, the entry is unlinked
[sf.net ticket #450]
* gfrmdir / returns ‘is a directory’ [sf.net ticket #451]
* file system node is not removed in the backend database when it has
no file replica, which was introduced by Gfarm 2.6.5 [sf.net ticket
#868]
* replica check does not start when the file system node group is
changed [sf.net ticket #866]
* replica check does not start when gfarm.replicainfo is removed
[sf.net ticket #867]

Release note for Gfarm2fs 1.2.9.8
=================================

[2015.8.29]

Updated feature
* umount.hpci – display umount error message
* -o hard_remove to prevent device or resource busy error
* gfarm2fs.cksum local extended attribute to show the digest

Bug fix
* mount.gfarm2fs – temporary proxy cert is referenced when mounting
two or more Gfarm file systems

Release note for Gfarm Zabbix plugin 2.2.0
==========================================

[2015.7.24]

Updated feature
* improve the failover script
– it gets status of gfmd servers in parallel [sf.net ticket #858]
– the configuration parameter ‘inspection_timeout’ is added
[sf.net ticket #858]

* improve “Low free memory on server {HOSTNAME}” trigger.
it uses vm.memory.size[available] instead of vm.memory.size[free],
vm.memory.size[cached] and vm.memory.size[buffers] to detect the status
more accurately [sf.net ticket #899]

Gfarmワークショップ2015

日程

平成27年9月4日(金)

会場

公益財団法人計算科学振興財団セミナー室
〒650-0047 兵庫県神戸市中央区港島南町7-1-28 計算科学センタービル2階

共催

特定非営利活動法人つくばOSS技術支援センター
JST/CREST「ポストペタスケールデータインテンシブサイエンスのためのシステムソフトウェア」

参加費

NPO正会員:無料
NPO個人賛助会員:無料
NPO法人賛助会員:1口につき1名無料
非会員:2,000円(但し当日個人賛助会員にご登録頂きますと無料になります)

懇親会費:3,000円

参加登録

参加をご希望の方は参加登録をお願いします

プログラム

13:00∼13:30 受付
13:30∼14:30 Gfarmファイルシステムの概要と実演 [ NPOについて | Gfarmの概要と実装 ]
建部 修見(筑波大学)
14:30∼14:45 休憩
14:45∼15:30 Pwrake/Gfarmによるビッグデータ解析 [ Pwrake/Gfarmによるビッグデータ解析 | Amazon EC2によるデモ ]
田中 昌宏(筑波大学)
15:30∼16:15 GfarmカーネルドライバとRDMAによる高速化
高橋 一志(電気通信大学)
16:15∼16:30 休憩
16:30∼17:15 HPCI共用ストレージによるGfarmの運用
原田 浩(理化学研究所)
17:15 閉会
17:30∼19:30 懇親会(会場別)