博客虫|大数据博客 关注前沿IT技术:大数据处理、数据挖掘、移动互联网;荟萃原创IT技术博文;进步始于交流,收获源于分享!

GlusterFS系统中文管理手册

1 文档说明

该文档主要内容出自www.gluster.org官方提供的英文系统管理手册《Gluster File System 3.3.0

Administration Guide》。可以看成是管理手册中文版(水平有限,而且原文档太长太臭,很多暂时用不着的,所以只是翻译了部分)。

区别在于:

(1)它是英文的,个人整理的是中文的。所以不想看英文文档的人可以参考参考~~

(2)它是3.3.0的管理手册,个人系统管理使用实践是3.4.1(不过3.3.1也实践过了)

(3)它包含了很多内容,本文档只摘取其中的部分(系统管理命令使用),并且进行了归类整理,方便理解。

(4)另外附加了很多系统管理中需要注意的地方,我相信这个是比较重要(血泪经验谈)

写这个文档的目的一是给自己做个备份,毕竟自己看英文文档感觉也是很累的,需要的时候可以翻翻,另外就是使用实践的过程中却是遇到很多需要注意的地方,自己当时也吃亏了很多次才搞明白,所以希望这些能够对那些也是使用研究GlusterFS的人有些许的帮助。

看完这个文档,有时间还是去看官方文档《Gluster File System 3.3.0 Administration Guide》吧,呵呵,毕竟那才是正版,而且也比较全面。

 

2 系统维护管理

2.1 管理说明

在解释系统管理时会提供实例,首先给大家提供一个环境说明。所有管理实践都是在3.4.1的版本上做的,所以只针对该版本进行说明。

系统节点:

IP                                  别名         Brick

192.168.2.100          server0    /mnt/sdb1        /mnt/sdc1        /mnt/sdd1

192.168.2.101          server1    /mnt/sdb1        /mnt/sdc1        /mnt/sdd1

192.168.2.102          server2    /mnt/sdb1        /mnt/sdc1        /mnt/sdd1

实践时个人使用自己的笔记本创建了三个节点,并每台虚拟机mount三块磁盘作为Brick使用,每个brick分配了30G的虚拟容量。

实例约定:

AFR卷名:               afr_vol

DHT卷名:              dht_vol

Stripe卷名:           str_vol

客户端挂载点:     /mnt/gluster

 


2.2 系统部署

//先从如何部署一个完整的系统说起吧。

 

(1)在每个节点上启动glusterd服务

#service glusterd start

(2)添加节点到存储池,在其中一个节点上操作,如server0

#gluster peer probe server1

#gluster peer probe server2

//可以使用gluster peer status查看当前有多少个节点,显示不包括该节点

(3)创建系统卷,部署最常见的分布式卷,在server0上操作

#gluster volume create dht_vol 192.168.2.{100,101,102}:/mnt/sdb1

//分别使用server0/1/2的磁盘挂载目录/mnt/sdb1作为brick

(4)启动系统卷,在server0上操作

#gluster volume start dht_vol

(5)挂载客户端,例如在server2

#mount.glusterfs server0:/dht_vol /mnt/gluster

//将系统卷挂载到server2上的/mnt/gluster目录下就可以正常使用了。该目录聚合了三个不同主机上的三块磁盘。

//从启动服务到提供全局名字空间,整个部署流程如上。

 


2.3 基本系统管理

2.3.1 节点管理

# gluster peer command

2.3.1.1节点状态

#gluster peer status        //serser0上操作,只能看到其他节点与server0的连接状态

Number of Peers: 2

Hostname: server1

Uuid: 5e987bda-16dd-43c2-835b-08b7d55e94e5

State: Peer in Cluster (Connected)

Hostname: server2

Uuid: 1e0ca3aa-9ef7-4f66-8f15-cbc348f29ff7

State: Peer in Cluster (Connected)

2.3.1.2添加节点

# gluster peer probe HOSTNAME

#gluster peer probe server2                      server2添加到存储池中

2.3.1.3删除节点

# gluster peer detach HOSTNAME

#gluster peer detach server2                    server2从存储池中移除

//移除节点时,需要确保该节点上没有brick,需要提前将brick移除

 


2.3.2 卷管理

2.3.2.1创建卷

# gluster volume create NEW-VOLNAME [transport [tcp | rdma | tcp,rdma]]

NEW-BRICK...

创建分布式卷(DHT)

#gluster volume create dht_vol 192.168.2.{100,101,102}:/mnt/sdb1

//DHT卷将数据以哈希计算方式分布到各个brick上,数据是以文件为单位存取,基本达到分布均衡,提供的容量和为各个brick的总和。

创建副本卷(AFR)

#gluster volume create afr_vol replica 3 192.168.2.{100,101,102}:/mnt/sdb1

//AFR卷提供数据副本,副本数为replica,即每个文件存储replica份数,文件不分割,以文件为单位存储;副本数需要等于brick数;当brick数是副本的倍数时,则自动变化为Replicated-Distributed卷。

#gluster volume create afr_vol replica 2 192.168.2.{100,101,102}:/mnt/sdb1 192.168.2.{100,101,102}:/mnt/sdc1

//每两个brick组成一组,每组两个副本,文件又以DHT分布在三个组上,是副本卷与分布式卷的组合。

创建条带化卷(Stripe)

#gluster volume create str_vol stripe 3 192.168.2.{100,101,102}:/mnt/sdb1

//Stripe卷类似RAID0,将数据条带化,分布在不同的brick,该方式将文件分块,将文件分成stripe块,分别进行存储,在大文件读取时有优势;stripe需要等于brick数;当brick数等于stripe数的倍数时,则自动变化为Stripe-Distributed卷。

#gluster volume create str_vol stripe 3 192.168.2.{100,101,102}:/mnt/sdb1 192.168.2.{100,101,102}:/mnt/sdc1

//没三个brick组成一个组,每组三个brick,文件以DHT分布在两个组中,每个组中将文件条带化成3块。

创建Replicated-Stripe-Distributed

#gluster volume create str_afr_dht_vol stripe 2 replica 2 192.168.2.{100,101,102}:/mnt/sdb1 192.168.2.{100,101,102}:/mnt/sdc1 192.168.2.{100,101}:/mnt/sdd1

//使用8brick创建一个组合卷,即brick数是stripe*replica的倍数,则创建三种基本卷的组合卷,若刚好等于stripe*replica则为stripe-Distrbuted卷。

2.3.2.2卷信息

#gluster volume info

//该命令能够查看存储池中的当前卷的信息,包括卷方式、包涵的brick、卷的当前状态、卷名及UUID等。

2.3.2.3卷状态

#gluster volume status

//该命令能够查看当前卷的状态,包括其中各个brick的状态,NFS的服务状态及当前task执行情况,和一些系统设置状态等。

2.3.2.4启动/停止卷

# gluster volume start/stop VOLNAME

//将创建的卷启动,才能进行客户端挂载;stop能够将系统卷停止,无法使用;此外gluster未提供restart的重启命令

2.3.2.5删除卷

# gluster volume delete VOLNAME

//删除卷操作能够将整个卷删除,操作前提是需要将卷先停止


2.3.3 Brick管理

2.3.3.1添加Brick

若是副本卷,则一次添加的Bricks数是replica的整数倍;stripe具有同样的要求。

# gluster volume add-brick VOLNAME NEW-BRICK

#gluster volume add-brick dht_vol server3:/mnt/sdc1

//添加server3上的/mnt/sdc1到卷dht_vol上。

2.3.3.2移除Brick

若是副本卷,则移除的Bricks数是replica的整数倍;stripe具有同样的要求。

# gluster volume remove-brick VOLNAME BRICK start/status/commit

#gluster volume remove-brick dht_vol start

//GlusterFS_3.4.1版本在执行移除Brick的时候会将数据迁移到其他可用的Brick上,当数据迁移结束之后才将Brick移除。执行start命令,开始迁移数据,正常移除Brick

#gluster volume remove-brick dht_vol status

//在执行开始移除task之后,可以使用status命令进行task状态查看。

#gluster volume remove-brick dht_vol commit

//使用commit命令执行Brick移除,则不会进行数据迁移而直接删除Brick,符合不需要数据迁移的用户需求。

PS:系统的扩容及缩容可以通过如上节点管理、Brick管理组合达到目的。

(1)扩容时,可以先增加系统节点,然后添加新增节点上的Brick即可。

(2)缩容时,先移除Brick,然后再进行节点删除则达到缩容的目的,且可以保证数据不丢失。

2.3.3.3替换Brick

# gluster volume replace-brick VOLNAME BRICKNEW-BRICK start/pause/abort/status/commit

#gluster volume replace-brick dht_vol server0:/mnt/sdb1 server0:/mnt/sdc1 start

//如上,执行replcace-brick卷替换启动命令,使用start启动命令后,开始将原始Brick的数据迁移到即将需要替换的Brick上。

#gluster volume replace-brick dht_vol server0:/mnt/sdb1 server0:/mnt/sdc1 status

//在数据迁移的过程中,可以查看替换任务是否完成。

#gluster volume replace-brick dht_vol server0:/mnt/sdb1 server0:/mnt/sdc1 abort

//在数据迁移的过程中,可以执行abort命令终止Brick替换。

#gluster volume replace-brick dht_vol server0:/mnt/sdb1 server0:/mnt/sdc1 commit

//在数据迁移结束之后,执行commit命令结束任务,则进行Brick替换。使用volume info命令可以查看到Brick已经被替换。

 


2.4 系统扩展维护

2.4.1系统配额

2.4.1.1开启/关闭系统配额

# gluster volume quota VOLNAME enable/disable

//在使用系统配额功能时,需要使用enable将其开启;disable为关闭配额功能命令。

2.4.1.2设置(重置)目录配额

# gluster volume quota VOLNAME limit-usage /directory limit-value

#gluster volume quota dht_vol limit-usage /quota 10GB

//如上,设置dht_vol卷下的quota子目录的限额为10GB

PS:这个目录是以系统挂载目录为根目录”/”,所以/quota即客户端挂载目录下的子目录quota

2.4.1.3配额查看

# gluster volume quota VOLNAME list

# gluster volume quota VOLNAME list /directory name

//可以使用如上两个命令进行系统卷的配额查看,第一个命令查看目的卷的所有配额设置,第二个命令则是执行目录进行查看。

//可以显示配额大小及当前使用容量,若无使用容量(最小0KB)则说明设置的目录可能是错误的(不存在)

2.4.2地域复制(geo-replication)

# gluster volume geo-replication MASTER SLAVE start/status/stop

地域复制是系统提供的灾备功能,能够将系统的全部数据进行异步的增量备份到另外的磁盘中。

#gluster volume geo-replication dht_vol 192.168.2.104:/mnt/sdb1 start

//如上,开始执行将dht_vol卷的所有内容备份到2.104下的/mnt/sdb1中的task,需要注意的是,这个备份目标不能是系统中的Brick


 

2.4.3 I/O信息查看

 Profile Command 提供接口查看一个卷中的每一个brickIO信息。

#gluster volume profile VOLNAME start

//启动profiling,之后则可以进行IO信息查看

#gluster volume profile VOLNAME info

//查看IO信息,可以查看到每一个BrickIO信息

# gluster volume profile VOLNAME stop

//查看结束之后关闭profiling功能

 


2.4.5 Top监控

Top command 允许你查看bricks的性能例如:read, write, file open calls, file read calls, file write calls, directory open calls, and directory real calls

所有的查看都可以设置top数,默认100

# gluster volume top VOLNAME open [brick BRICK-NAME] [list-cnt cnt]

//查看打开的fd

#gluster volume top VOLNAME read [brick BRICK-NAME] [list-cnt cnt]

//查看调用次数最多的读调用

#gluster volume top VOLNAME write [brick BRICK-NAME] [list-cnt cnt]

//查看调用次数最多的写调用

# gluster volume top VOLNAME opendir [brick BRICK-NAME] [list-cnt cnt]

# gluster volume top VOLNAME readdir [brick BRICK-NAME] [list-cnt cnt]

//查看次数最多的目录调用

# gluster volume top VOLNAME read-perf [bs blk-size count count] [brick BRICK-NAME] [list-cnt cnt]

//查看每个Brick的读性能

# gluster volume top VOLNAME write-perf [bs blk-size count count] [brick BRICK-NAME] [list-cnt cnt]

//查看每个Brick的写性能


除非特别申明,博客虫文章都为原创,非商业用途转载请注明,作者、地址来源,商业用途请联系站长。

本文地址:http://www.blogchong.com/post/glusterfs_operation_manual.html


若果你觉得blogchong的这篇技术文章对你有用,别忘了点赞支持,也可以留言支持,当然有其他问题也可以留言。

欢迎继续关注博客虫!!!


2014年11月15日 | 发布:blogchong | 分类:原创-分布式存储 | 评论:1

留言列表:

  • 不锈 发布于 2015-7-5 11:57:17  回复
  • 好文章,内容无懈可击.

发表留言: