作成者別アーカイブ: Osamu Tatebe

Gfarmシンポジウム2017

日程

平成29年12月22日(金)

会場

筑波大学東京キャンパス文京校舎122講義室
〒112-0012 東京都文京区大塚3-29-1

共催

特定非営利活動法人つくばOSS技術支援センター

参加費

無料
(懇親会費:3,000円)

参加登録

Gfarmシンポジウム2017に参加される方は参加登録をお願いします。

お問合せ

つくばOSS技術支援センター事務局
Email: office@oss-tsukuba.org

プログラム

13:00∼13:30 受付
13:30∼13:50 Gfarmファイルシステムの概要と最新機能
建部 修見(筑波大学)
13:50∼14:20 大規模言語資源を活用した自然言語処理
井之上 直也、山口 健史(東北大学)
14:20∼14:30 休憩
14:30∼15:00 ひまわりデータ解析を支えるPwrake/Gfarm
村田 健史(NICT)
15:00∼15:25 HPCI共用ストレージ東拠点の機材更新に伴うデータ移行について
中 誠一郎(東京大学)
15:25∼15:50 HPCI共用ストレージにおける階層型ストレージの導入構想
原田 浩(理化学研究所)
15:50∼16:05 Gfarmを加速するDDN GfarmScaler
橋爪 信明(DDN)
16:05∼16:20 休憩
16:20∼17:30 パネル討論「ファイルシステムのこれから」
モデレータ:建部 修見(筑波大学)
パネリスト:住元 真司(富士通)、井原 修一(DDN)、曽田 哲之(SRA)、石橋 拓也(創夢)、守分 淑子(数理技研)
17:30 閉会
18:00∼20:00 懇親会(会場別)

Gfarm 2.7.5をリリース

みなさま

* Gfarmファイルシステム version 2.7.5
* Gfarmファイルシステム version 2.6.20

を公開致しました。

http://sourceforge.net/projects/gfarm/

このリリースはいくつかの有用な更新、修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.7.5
============================

[2017.8.9]

New configuration directive
* max_directory_depth – maximum directory depth. Default is 100.

Release note for Gfarm 2.6.20
=============================

[2017.8.9]

New configuration directive
* max_directory_depth – maximum directory depth. Default is 100.

Gfarm 2.7.4をリリース

みなさま

* Gfarmファイルシステム version 2.7.4
* Gfarmファイルシステム version 2.6.19
* Gfarm2fs version 1.2.11

を公開致しました。

http://sourceforge.net/projects/gfarm/

このリリースは CentOS 7.3 のサポートの他、いくつかの有用な更新、修正が
含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.7.4
============================

[2017.7.14]

New configuration directive
* directory_quota_check_start_delay – delay to start directory quota
check to aggregate multiple checks

Updated feature
* gfrm – do not try to remove symlinks with the -h option
* gfmd – more log in peer_set_host
* postgresql backend – accept IPv6 connection, which is required in
CentOS 7.3.1611

Bug fix
* gfmd – invalid replica cannot be moved to lost+found, which is
introduced by the version 2.7.0
* recursive option does not return error properly
* compilation error on FreeBSD-10.2/amd64
* gfsd – invalid file remains when fhclose fails
* gfmd does not recover from the warning of abandon invalid journal
* gfmd – gfmd may fail to restart when using the none backend

Release note for Gfarm 2.6.19
=============================

[2017.7.14]

Updated feature
* gfrm – do not try to remove symlinks with the -h option
* gfmd – more log in peer_set_host
* postgresql backend – accept IPv6 connection, which is required in
CentOS 7.3.1611

Bug fix
* recursive option does not return error properly
* compilation error on FreeBSD-10.2/amd64
* gfsd – invalid file remains when fhclose fails
* gfmd does not recover from the warning of abandon invalid journal

Release note for Gfarm2fs 1.2.11
================================

[2017.7.14]

Updated feature
* umount.gfarm2fs – support CentOS7

Gfarm 2.7.3をリリース

みなさま

* Gfarmファイルシステム version 2.7.3
* Gfarmファイルシステム version 2.6.18
* Gfarm Zabbixプラグイン version 4.0.1

を公開致しました。

http://sourceforge.net/projects/gfarm/

Gfarm 2.7.3, Gfarm 2.6.18 は gfpcopy を同時に複数立ち上げたときのコピー
先の偏りを軽減する変更が加えられた他、いくつかの有用な更新、修正が含ま
れています。

Gfarm Zabbixプラグインは、Zabbix-1.8 において Template OS Linux ととも
に用いたときの問題点の修正の他、有用な更新が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.7.3
============================

[2017.3.26]

Update feature
* gfprep, gfpcopy – a new scheduling to mitigate destination conflict
under concurrent gfprep and gfpcopy executions
* start replica check when a busy host becomes idle

New configuration directive
* metadb_server_remover_queue_length – queue length for remove
requests to make it a low priority not to prevent from replication
requests

Bug fix
* gfmd may not respond when sending journal logs to async slaves
* write only files may not be moved to lost+found
* Gfarm RPM packages cannot be installed on RHEL7 or CentOS7

Release note for Gfarm 2.6.18
=============================

[2017.3.26]

Update feature
* gfprep, gfpcopy – a new scheduling to mitigate destination conflict
under concurrent gfprep and gfpcopy executions
* start replica check when a busy host becomes idle

Bug fix
* gfmd may not respond when sending journal logs to async slaves
* write only files may not be moved to lost+found
* Gfarm RPM packages cannot be installed on RHEL7 or CentOS7

Release note for Gfarm Zabbix plugin 4.0.1
==========================================

[2017.3.26]

Updated feature
* ZABBIX_PREFIX in install.conf used as the Zabbix installation path

Bug fix
* gfarm_zabbix _alt templates do not work with zabbix-1.8

Gfarm 2.7.2をリリース

みなさま

* Gfarmファイルシステム version 2.7.2
* Gfarmファイルシステム version 2.6.17

を公開致しました。

http://sourceforge.net/projects/gfarm/

Gfarm 2.7.2, Gfarm 2.6.17 では、ファイルシステムグループによる複製配置
機能を無効にし、複製数だけを維持する機能、また自動複製作成先から高負荷
のノードを除く変更が加えられた他、いくつかの有用な更新、修正が含まれて
います。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.7.2
============================

[2017.2.4]

New configuration directive
* replicainfo – disables file system group based replica location
control feature. Only number of file replicas is maintained. This
directive is available for gfmd

Updated feature
* gfmd – support none backend database for temporal Gfarm file system
without any backend database. Journaling keeps metadata change log
up to the journal file size
* gfmd – do not create file replicas in busy file system nodes

Release note for Gfarm 2.6.17
=============================

[2017.2.4]

New configuration directive
* replicainfo – disables file system group based replica location
control feature. Only number of file replicas is maintained. This
directive is available for gfmd

Updated feature
* gfmd – do not create file replicas in busy file system nodes

Gfarm 2.7.1をリリース

みなさま

* Gfarmファイルシステム version 2.7.1
* Gfarmファイルシステム version 2.6.16
* Gfarm Zabbixプラグイン version 4.0.0

を公開致しました。

http://sourceforge.net/projects/gfarm/

Gfarm 2.7.1, Gfarm 2.6.16 は gfpcopy のコピー先から高負荷のノードを除
く変更が加えられた他、いくつかの有用な更新、修正が含まれています。

Gfarm Zabbixプラグインは、Template OS Linux とともに用いたときの問題点
の修正の他、checksum mismatchなど、silent data corruptionが発生した場
合のアラートを必ずあげるようにするなどの修正がなされています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.7.1 and 2.6.16
=======================================

[2017.1.14]

Updated feature
* gfpcopy, gfprep – do not copy to busy hosts by default. This will
be disabled by -B option
* gfpcopy, gfprep – -I option to specify interval to collect host
information. Default is 300 seconds.
* gfsd – adjust log level for non-critical replication failure

Bug fix
* incorrect metadb_server_list causes assertion failure

Release note for Gfarm Zabbix plugin 4.0.0
==========================================

[2016.12.28]

Updated feature
* restructure the templates.
Template_Gfarm_linux, which enables detection of some critical problems,
can coexist with “Template OS Linux” with this change.
The definitions which cannot coexist with “Template OS Linux” are
moved to the Template_gfarm*_alt templates. (e.g. Template_Gfarm_linux_alt)
[sf.net ticket #966]
* make Template_Gfarm_linux treat “I/O error” message from kernel
as “high” priority problem instead of an “average” problem.
[sf.net ticket #930]
* make Template_Gfarm_linux detect “bio too big device” message from kernel.
which shows a critical problem about the stroage. [sf.net ticket #931]
* make Template_Gfarm_linux detect “XFS: Internal error” message from kernel.
[sf.net ticket #976]
* report all critical “checksum mismatch” errors from gfmd,
all critical write_verify related errors from gfsd, and
all “Input/output error” / “Stale file handle” errors from gfsd
without any summarization. [sf.net ticket #977]

Documentation Update
* improve installation procedure [sf.net ticket #932]
* clarify macro settings [sf.net ticket #945]

Gfarm 2.7.0をリリース

みなさま

* Gfarmファイルシステム version 2.7.0
* Gfarm2fs version 1.2.10

を公開致しました。

http://sourceforge.net/projects/gfarm/

Gfarm 2.7.0 はメジャーバージョンアップで以下の新機能が含まれています。

– InfiniBand RDMAサポート
– ディレクトリクオータ機能

InfiniBand RDMA をサポートしたことにより、InfiniBand ネットワークを利
用した環境においてより高速なアクセスが実現されます。InfiniBand RDMA を
有効にするためには、configure オプションで –with-infiniband を指定し
ます。詳細は INSTALL.ja および doc/Gfarm-FAQ.ja をご参照ください。

ディレクトリクオータ機能は、一つまたは複数のディレクトリからなるディレ
クトリセット単位のクオータ機能です。詳細は
doc/html/ja/user/dirquota.html をご参照ください。

Gfarm 2.6.X あるいはその前のバージョンから Gfarm 2.7.0 への更新は
config-gfarm-update を実行して Postgresql のスキーマを更新する必要があ
ります。

% service gfarm-pgsql start
% config-gfarm-update –update
% service gfmd start

Release note for Gfarm 2.7.0
============================

[2016.12.8]

New feature
* InfiniBand RDMA support
* Directory quota (see doc/html/en/user/dirquota.html for details)

New command
* gfdirquota – manage directory set for directory quota

New configuration directive
* ib_rdma – enables or disables InfiniBand RDMA data transfer. When
configuring –with-infiniband, default is enable.
* rdma_device_name, rdma_port – optional directive to specify device
name and port number, respectively, for RDMA data transfer
* rdma_min_size – minimum size for RDMA data transfer. Default is
65536 bytes
* rdma_mr_reg_mode – specifies memory registration mode. Default is
static.
* rdma_mr_reg_static_min_size, rdma_mr_reg_static_max_size – minimum
and maximum size for static RDMA buffer for each gfsd connection.
Default is 1MiB and 16MiB, respectively
* directory_quota_count_per_user_limit – maximum number of directory
sets for each user. Default is 100

Updated feature
* gfedquota, gfquota – -D and -d options for directory quota

Release note for Gfarm2fs 1.2.10
================================

[2016.12.8]

Updated feature
* -o directory_quota_rename_error_exdev option – enables client-side
directory move between different directory sets by copying and
removing

Gfarm 2.6.15をリリース

みなさま

* Gfarmファイルシステム version 2.6.15

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンでは、OpenSSL 1.1.0 のサポート、gfprep の新しいオプショ
ンを含む、有用な更新、修正が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.15
=============================

[2016.12.3]

Updated feature
* OpenSSL 1.1.0 support
* gfprep – -mm option to keep an original copy in migration mode
* gfsd – log message of write_verify process includes the hostname

Bug fix
* gfprep -m may fail due to file busy even though all operations succeed

Gfarmシンポジウム2016

日程

平成28年12月9日(金)

会場

筑波大学東京キャンパス文京校舎121講義室
〒112-0012 東京都文京区大塚3-29-1

共催

特定非営利活動法人つくばOSS技術支援センター
筑波大学計算科学研究センター
JST/CREST「ポストペタスケールデータインテンシブサイエンスのためのシステムソフトウェア」

参加費

無料
(懇親会費:3,000円)

参加登録

シンポジウムは終了しました。多数のご参加ありがとうございました。

プログラム

13:00∼13:30 受付
13:30∼14:10 Gfarmファイルシステムの概要と最新機能
建部 修見(筑波大学)
14:10∼14:50 Gfarm Performance on Azure
河野 証(株式会社HPCソリューションズ)
14:50∼15:30 Gfarmの高速化のための技術開発
村田 健史(NICT)
15:30∼15:40 休憩
15:40∼16:20 Gfarmシステム運用におけるアウトソーシング活用の試み
中 誠一郎(東京大学)
16:20∼17:00 次世代HPCI共用ストレージの設計とクラウド活用
[ 発表資料 Part 1 | Part 2 | Part 3 ]
原田 浩(理化学研究所)
17:00 閉会
18:00∼20:00 懇親会(会場別)

Gfarm 2.6.14をリリース

みなさま

* Gfarmファイルシステム version 2.6.14

を公開致しました。

http://sourceforge.net/projects/gfarm/

このバージョンでは、新しいコマンド gflsof が追加されました。
このコマンドにより現在オープン中のファイルを調べることがで
きます。そのほか、有用な更新が含まれています。

このバージョンに更新していただくことをお勧めします。

Release note for Gfarm 2.6.14
=============================

[2016.10.26]

New command
* gflsof – list current opened Gfarm files

Updated feature
* increase default timeout to connect to gfmd to 35 seconds to cope
with fault of primary and secondary DNS servers