• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

RFS: RFS是一个面向小文件的高性能存储系统,文件带目录存储。 ...

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

RFS

开源软件地址:

https://gitee.com/hansoul/RFS

开源软件介绍:

RFS

RFS- Random Access File System

【介绍】

RFS是一个面向小文件的高性能存储系统,文件带目录存储。

定义:在RFS中,小文件是指不超过64MB大小的文件。

通常, 一个RFS进程管理一块磁盘,RFS以宿主机的目录为准,元数据和用户文件数据存于此目录下。

RFS进程由name node和data node构成。单个data node最大支持64TB存储空间,单个name node最大支持的文件数约为830万个。以管理4T磁盘为例,一个RFS进程可以由两个name node,一个data node构成,最大支持1600万个文件。

【架构图】

【编译】

环境:centos 5.8及以上依赖包:libxml2-devel, pcre-devel, expat-devel, openssl-devel, readline

需要编译生成三个可执行文件:

(1)编译RFS主可执行文件

make rfs -f Makefile.rfs

(2)编译RFS的CONSOLE口执行文件

make rfs_console -f Makefile.console

(3)编译RFS元数据创建工具可执行文件

make rfs_tool -f Makefile.tool

【创建】

RFS主要有三个可执行文件和一个配置文件构成。

配置文件在bin目录下,名为config.xml。缺省运行无须修改配置。

以单个RFS,元数据的创建过程分两步进行:

(1)路径划分

 假定RFS管理的宿主机的目录为: /data/rnode1 创建目录: make -p /data/rnode1/rfs00

(2)创建元数据

 创建一个支持25万个小文件、管理1TB磁盘的RFS: ./rfs_tool "set loglevel 5;open rfs /data/rnode1 ;create np 4 1;create dn;add disk 0;close rfs"

【启停】

(1) RFS启动

./rfs -tcid 10.10.67.18 -node_type rfs -rfs_path /data/rnode1 -sconfig ./config.xml -logp . -d

(2) RFS停止

kill -15 <RFS进程号>

【使用】

RFS提供三种访问接口

(1) RESTFUL API接口

举例:

写文件: curl -d "hello world" http://127.0.0.1:718/rfs/setsmf/top/level01/level02/level03/a.dat

读文件: curl -v http://127.0.0.1:718/rfs/getsmf/top/level01/level02/level03/a.dat

列举文件: curl -v http://127.0.0.1:718/rfs/qtree/top/level01/level02/level03

删文件: curl -v http://127.0.0.1:718/rfs/dsmf/top/level01/level02/level03/a.dat

删目录: curl -v http://127.0.0.1:718/rfs/ddir/top/level01

(2)CONSOLE口

启动CONSOLE口: ./rfs_console -tcid 0.0.0.64

举例:

查看name node信息:hsrfs 0 show npp on tcid 10.10.67.18 at console

查看data node信息:hsrfs 0 show dn on tcid 10.10.67.18 at console

(3)BGN接口:

RFS是BGN平台的一个模块,因此自动具备BGN接口访问能力。具体略。


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap