netapp学习笔记

1、netapp学习笔记data ontap 7.2 operating system：wafl : 文件系统 write anywhere file layoutnvram: 非易失ram,由锂电池供电clustering: 存储的共享存储系列:fas6000 /3000 series unified enterprise-class storage  - data center storage 数据中心fas200 remote and departmental storage  -  remote  dept s

2、torage 部门级存储nearstore on fas    - near-line storage  近线存储economicalsecondary storagev-series      -storage virtualization   虚拟带库dynamic virtualization for heterogeneous storage -可以兼容别的存储,以raid0方式共享。数据中心和近线存储的主要区别在与性能上,系统一样,操作一样net

3、app 存储的与其他存储的兼容: v-series 把其他厂商的存储虚拟成netapp的存储worm: write one read multipleilm: information lifecycle management 信息生命周期管理das:直连存储fas 系列的存储:series: fas6000         fas900             

4、60;   fas3000         fas2000   fas200：已经停产了,只有一个光纤接口fas250: fc port 只对磁带,不能建san,fas270:fc 建san 或对磁带checking disk shelf id numbers一个loop最多 7个shelf,可以有多个loopshelfid: 要设置每个loop的shelfid,近机头的为 shelf 1nas vs sandirect-attached storage

5、: 直接的存储san: storage area network   存储网络实现结构:user-application-file system-san-storagenas:network attached storage 在网络上的附加存储,如: nfs cifs   实现结构: user-application-lan-file system -storagenetapp的nas有自己的文件系统: waflnetapp:存储构架        

6、60;     磁  盘                  |              wafl文件系统        

7、0;     |           |         filesystem   block server              |   

8、60;       |       nas-nfs-cifs  san blocks 虚拟的san启动 ontap#cd /sim/node1/#./runsim.sh    启动 filer- 就是netapp的存储#halt  关闭filer#./setup.sh   保证关闭 ontap的情况下,重新配置 filer意外非正常退出 telne

9、t ,则需要运行# rsh ip -l 用户名:密码 logout telnet> priv set  advanced   进入高级模式*> priv set admin  进入管理模式   #man priv  查看帮助文件基本系统配置命令:> sysconfig -v   显示详细 i/o 设备信息> vol status -r   显示系统raid的信息> sysconfig -

10、r 同上> sysconfig -c  检查配置是否错误option  设置环境变量, 会改动/etc/registry 文件vol options> options 显示出 option 环境变量> options  aut   把以aut开头的列出来> options security   显示安全规则> option telnet.enable on|off  options telnet.access legacy|*

11、| -l host=hostname           rsh.enable on|offoptions rsh.access host=host3options trusted.hosts -  关闭ie filerviewoptions trusted.hosts *  打开options ssh   查看 ssh 的现在状态ontap:根目录: /vol 类似 linux  /特殊: 存在

12、 /etc/rc,其实是 /vol/vol0/etc编辑文件:# rdfile  full_path     查看文件#wrfile full_path  回车首先清空该文件,再记录写下的内容,最后回车结束,最后一行才能生效, ctl+c 退出并保存了所以编辑文件前首先 rdfile ,以方便把原内容粘贴回去#wrfile -a /etc/rc  lkdsfsdjfj  在最后一行增加administrative access control  

13、管理 访问控制# useradmin user            group            role> useradmin role list  显示相关的角色 的信息和权限> passwd   修改密码> useradmin user add  名字 -g&

14、#160; 组名用户作用: 管理filer 访问sim 的认证 *   autosupport   - 一个监控存储的服务进程,通过设置能触发 e-mail 到网络技术支持中心   存储系统没有邮件服务器,需要邮件服务器,而且是匿名发送的触发事件:low nvram lithium batterydisk fail邮件的内容:命令的输出结果:df 激活autosupport 及相关配置options autosupport.support.enable on|off  

15、60;                 .mailhost host1,.,host5                    .to adress1,.,address5     

16、               .from                    .content             

17、;       .noteto                    .doit                  -second day- 

18、;    raid0: 条带化raid1:镜像raid5: 条带化,容量是 n-1块盘raid4: 条带化,一个固定盘做校验,性能瓶颈在检验盘,校验盘被频繁读写,成为热点盘扩容时,比较容易raid-dp: double parity 两块校验盘采用两种不同的校验方式来做 奇偶校验,raid-dp 的性能优于raid5raid group sizenetapp对raid组磁盘个数的限制:raid-dp             m

19、inimum group size        max     defaultr200             3                  

20、0;  16         14r150             3                     16   

21、;      12r100             3                     12        &#

22、160;12all othe         3                     28         16raid4r200    2  7

23、   7r150    2  6   6r100    2  8   8fas250  2  14  7other   2  14  8spare 盘,是系统的一部分,不属于 raid group,是全局的netapp是软件raid,磁盘raid跟位置无关,可

24、以插到任意位置也可以把一个机头的整个raid 直接插到另一个机头中查看那个磁盘坏的命令:#sysconfig -r#vol status -r#aggr status -rdegraded mode 降级模式 : 坏盘,而且有没有 spare,默认系统可以工作 在降级模式 24个小时,没有数据丢失,之后就关机可以修改时间,但最好不要修改:#options raid.timeout 24mixing and matching disks 磁盘混用hot-spare 和 parity 校验盘用最大的推荐最好用 大小一样的磁盘options.raid.reconstruct.perf_impact

25、value   重构时的资源控制value: low ,medium (default),high#options.raid.scrub.enable on|off      对磁盘进行介质扫描,排除错误,并修复,延长磁盘寿命默认是开放的raid scrub to occur automatically at defualt time and day(1:00 a.m on sundays)#options.raid.scrub.perf_impact value#disk command:#disk s

26、crub start#disk fail disk_name#disk remove disk_name#disk replace start disk_name#disk sanitize start disk_name  start remove all disk data#disk sanitize abort disk_name  stop#disk zero spares             zero all n

27、on-zeroed raid spare disks,把non-zero盘,变为zero,spare盘才能马上使用会占用系统资源#disk.auto.assign             default on  两个控制器时,可以分配给那个控制器#disk_fw_update disk_listdisk磁盘命名:device id: 从右边开始数 ds14系列: shelf1:16-29  shelf2: 32-45 

28、; shelf3: 61-48   shelf4:77-64  fcx : 6-0   14-8  22-16  30-24 38-32 46-40 54-48fcport: 主板上的 0a,0b,  扩展槽 4 上的,则: 4a,4b,.diskid:4a.16   , 4a的光纤端口.deviceidaggregates 聚集:raid group: 多个磁盘组成plexes: 一个或多个 raid groupa

29、ggregate :一个或两个 plexes ,假如raid level是镜像时,会包含两个 plexes 软件sync-mirror,需要license ,raid4+1 或 raid-dp+1volume: depends on its aggregate for all of its physical storage这种是 plexes volume         逻辑的存储实体创建aggregate ,格式: aggr command argument#aggr create aggrname

30、options   options: -t: 类型 raid4  raid-dp(default)  -r:raid size min:2  max:14 ,组成 raid 磁盘数量  -n: 多少个spare盘#aggr create aggr1 -t raid-dp  -r 4   7      做了一个 rg0:2+2  rg1:1+2#aggr ad

31、d aggrname 3                        向 aggrname 加 3块盘,由于 -r 是 rg2: 1+2#aggr options aggrname raidsize 7         可以修该raid size 属性,修改后只对以后

32、增加有效#aggr options aggrname raidtype raid-dp   可以把raid4改为raid_dp,此时应该保证有spare盘存在,或raid_dp改为raid4#aggr status aggrname  -r  查看当前aggr的状态,并列出raid 组的信息#aggr status -v          查看所有aggr的状态#aggr  rename aggrname&

33、#160; newname#aggr offline#aggr online#aggr destroy aggrname#df -ah      a:aggregate   h:human readable  查看aggragate的容量#aggr add aggr1 -f -g rg0 -d v0.19 v0.20      -f 忽略错误  -g 指定raid组  -d 指

34、定增加的disk创建volume ,最小20m 最大 16t,#vol create volname aggrname  100m      :单位:m g t#vol size volname +100m                :volume的在线扩容,最小4k,也可以 -1g#vol create volname -s none aggrname

35、 maxsize    创建volume的最大空间,但暂时不占,也就是aggr的空间没有减少#vol options volname guarantee none      #df -h   查看 vol的空间利用情况  netapp存储 cluster , 两个控制器 ative  active 是独立的不能实现均衡两个机头,两个机柜心跳线要      cpu-cp

36、u       |   / |         x /   ymetro-cluster 解决方案-高度冗余    cpu   cpu    |  |   /  |   |  &#

37、160; |  x  /   y   |    |  |  /   |   |    |x'/    y'|network1主机名解析method* /etc/hosts* network information service (nis) server 

38、0;  option dns* domain name system (dns)server              option nis#> rdfile  /etc/nsswitch.conf#auto-generated by setup mon sep  1 04:54:08 gmt 2008hosts: files     

39、60; nis     dnspasswd: files      nis     ldapnetgroup: files    nis  ldapgroup: files       nis     ldapshadow: files &

40、#160;    nisvitual interface (vif) 虚拟接口把多条物理链路虚拟成一个接口1sigle_mode trunkprovides failover capabilities ,提供一个 ativelink  和 inativelink ,当active fail时,自动切换到 另一个 inactive link2multimode trunk需要 交换机的 etherchannel trunk 支持多条路经,均衡工作the vif commands:#vif create single | multi

41、60; -b rr | ip |mac #vif delete  interface_list#vif destroy#vif favor | nofavor #vif status #vif stat vif_name interval#ifconfig vif_name上面这些命令不会保持,除非写到/etc/rc 文件中vlan优势: 能有效管理       安全性       网口缺少时用#vlan create -g

42、on  #valn delete -q  #vlan add  #vlan stat  #vlan modify -g on | off把vlan看做一个 独立的 interface ,可以通过 ifconfig 命令配置 ip这些命令不会保持,除非学到/etc/rc文件中vlan 应用在网口缺少时的情况,可以为一个网口设多个ip地址,把一个filer 虚拟成多份额filer,这样就能在网络上隔离存储与license:-        

43、                the third day-cifs(common internet  file system)通用因特网文件系统微软的windows中应用before you can request resource from a server ,these function are required:* user authentication : 开始会话之前的认证,这样可以访问server*us

44、er authentication :permission to access to share认证: 1本地认证 基于 workgroup       2域控制器认证*license cifs *#license add license_code或 在filerview中 filer 菜单下有#cifs setup 在这之前应该先停止cifs   #cifs terminatehiden share:看不见的,以$ 结束的admin share: 只允许管理组 administrator组的成

45、员访问默认创建的几个共享:c$    hiden admin 共享根目录etc$  hiden admin 共享/etc目录home  all can control 共享 /home#cifs shares  查看当前共享#cifs shares -add sharename  path  -comment decriptions    sharename: 访问时的名字   path

46、格式: /vol/vol2    -comment 可以不指定,此时为空#cifs shares -delete sharename#options cifs.enable_share_browsing on | off 目录是否可见#useradmin user list  查看用户,看那些用户有权登陆cifs,这种认证适用于 windows workgroup#qtree security /vol/vol2 ntfs   非windows workgroup 访问的认证,在/etc/passwd ,

47、/etc/group下认证在windows 下,运行:url=file:/ipsharenameipsharename/url在windows 下停止,cifs访问: 运行 cmd#net use  查看当前网络使用#net use /delete *   删除当前网络使用,再次运行时,会提示输入用户名和密码ontap下修改用户密码:#passwd#cifs access sharename user  right 权限的控制#cifs access -delete sharename right  删除

48、相关的权限#cifs sessions 查看连接信息#cifs terminate  停止cifs服务cifs认证的三步:1连接时,根据是否是workgroup 或 domain 采用那种认证,允许登陆2share 权限的认证,exportfs 出去的权限,也就是共享的权限3检查文件的属性,是否可以 rwx ,或可读,可写,这里需要usermapping在options walf.default 中可以看到默认的 mapping user 为 pcuser ,假如上面的文件为空,则采用默认的 pcuser默认值在:#options wafl 中wafl.default_nt

49、_user                    wafl.default_qtree_mode      0777      wafl.default_security_style  unix     

50、60;wafl.default_unix_user       pcuser     wafl.group_cp                off        wafl.inconsistent.buf_limit 

51、0;10         wafl.inconsistent.ino_limit  5         wafl.inconsistent.snap_limit 5         wafl.maxdirsize        &

52、#160;     1310      wafl.nt_admin_priv_map_to_root on         wafl.root_only_chown         on         wafl.wcc

53、_minutes_valid       20        nfs  - 编辑文件/etc/exports或命令 exportfsexports格式:/vol/vol0/pubs  -rw=host1:host2,root=host1/vol/vol0/pubs  -rw=host1:host2:-host3,root=host1    

54、0; -host3:代表排除host3,也可以定义网络组/vol/vol0/home  -rw=host1:host2,ro-root=host1  host1挂载时,分配文件的权限是 owner,uid 为 0  ,ro          采用默认的 uid=65534   rw          

55、;同上anon=uid    挂载的所有主机分配给root用户的 uid网络组格式:-rw=子网/子网位数或-rw=netgroup#exportfs -a    从新加载 /etc/exports的内容#exportfs -r    把内存清空,再重新加载#exportfs      列出内存中的输出规则#exportfs -u  path    

56、0;     取消当前路径输出#exportfs -i  -o  rw  /vol/vol1       i :忽略当前的内存中规则,只启用本规则   ,-o  option 读写权限  #exportfs -p           

57、60;                 persistent,可以写到文件中并能生效#exportfs -z path         内存中取消,并在文件中注释掉#options nfs.auto-update 默认on ,建议关闭 off#vol create vol3 aggr1 30m#exportfs#rdfile /etc/e

58、xports可以看到内存和文件都有这个规则flex volume 在整个系统的数量限制是 500个qtree :vol1:是 ntfs(acl) or unix(rwxrwxrwx) udi gid 认证时,不同的系统访问会出现问题 windows只能访问 ntfs ,访问不了 unix 的volqtree 就是目录树,它有一些属性: 对于一个新建的vol 默认的权限是 777 root:root ,修改的应该在options wafl 中#qtree  查看vol的style#qtree security path ntfs | unix   把vol

59、的style改为 :ntfs(cifs) or unix(nfs)#options wafl.default_security_style  value    value:为 unix 或 ntfs#qtree security /vol/vol2 ntfs     把一个vol的tyle改为 ntfs也可以做 usermapping,在文件:/etc/usermap.cfgntuser => unixuserntuser增加#cifs passwd admin123 

60、   密码加密,用于给用户添加密码#cifs sessions  可以看到用户是unix用户-the fourth day-snapshot copies-snopshot copy  备份用在存储上有一个 .snapshot 的隐含目录  snapshot 的对象是vol,建一个vol 都会有预留有snapshot的空间snapshot copy is a read-only image of a volumesnapshot 备份和恢复几乎是瞬时的snapshot technology is the

61、foundation for:snaprestore   snapmanagesnapdrive     snapmirrorflexclone     snapvault-snapshot and wafl文件系统walf uses 4kb blocks文件的:inode信息 ,存放在 一个4kb block中文件大小:level1:小于64b时inode      4032byte  

62、; inode信息            1b            data            1          

63、60; 2                        64level2:小于 64kb时inode         4032byte     inode信息pointer   

64、      4b  -  4kb                4b  -  4kb                4b 

65、0;-  4kb                4b  -  4kb             16 个4b         .   

66、;level3:小于 64mlevel4:小于 64g可以采用:#df -i  查看inode使用情况root> df -ifilesystem               iused      ifree  %iused  mounted on/vol/vol1/     

67、;            100        697     13%  /vol/vol1/vol/vol0/                7377 

68、60;    12613     37%  /vol/vol0/vol/vol2/                 101      34473      0%  /vol/vol

69、2/vol/vol3/                 100       1033      9%  /vol/vol3/#maxfiles 可以增加 inodesnapshot works 工作原理:对数据块的使用的统计:最多可以 拍 255个快照+加一个active fil

70、e的使用情况,每 4kb 要用 32b来记录,使用情况, 0 1 0 1     128:1的使用率应用命令:aggrgate default snapshot reserve 5% of aggrgatevol default snapshot reserve 20% of volume修改的命令:#sanp reserve -a | -v volume_name percent预留空间的意思是:预留20% ,不能存储数据,拍快照命令:#snap create -a |- v volumename   snapshotna

71、me快照恢复:1从快照中复制数据2使用 snaprestore实验:新建一个共享 vol在windows下,进入vol,增加文件#snap create vol snapname在windows下修改文件在windows下,可以访问 ipvolvol1.snapshot在里面看到快照的文件,可以在这里拷贝出来,进行恢复,这些文件是只读的snapshot的策略:#vol options volume nosnap on | off    不允许自动的快照#vol options volume nosnapdir on | off  &#

72、160;不允许访问 .snapshot 路径#options cifs.show_snapshot on | off#snap sched -a | -v weeks days hours默认: 1  2  6 8,12,16,20    weekly   nightly   hourly   星期天夜12:00 快照 1 命名 weekly.0晚上12点 快照留两份,nightly.0  nightly.

73、1  每天 8 点 12点 16点 20 点 快照,最多六份,进行覆盖 hourly.0是最新的快照策略中都为 0 的话,就不进行快照sanfcsanfc : hba卡,wwniscsi components:iscsi hba 卡,自动封装:普通网卡,需要软件进行封装成 iscsi 包,进行传送a hosts initiator is identify by wwpn搭建sanlicense san protocal在 qtree 和vol中都可以创建 lunigroup组在storage中,可以在lun中mapping到igroup,让组中的用户可以进行切换创建lun命

74、令:lun createlun setup   启动创建lun的向导vol的克隆,与快照的区别:vol的克隆能够修改,snapshot 不能修改# lun  create -s 30m -t windows /vol/vol2/lun2#snap create vol2 clone#lun clone create /vol/vol2/lun2 -b /vol/vol2/lun3 clonequota 配额/etc/quotas 文件#quato onmirror镜像1同步mirror     

75、1先拍快照,不断地逼近快照异步传输到远端,一直到同步     2同步后,client=> nvram  nvram    需要远端的nvram 收到该操作,返回到近端 nvram ,再到client ,一个同步完成所以这个要求有很高的网络带宽  semi-sync  半同步: nvram  nvram 之间可以定义一个时间,比如 :15s ,则允许 15s 的传输 ,超过 15s 则失败,进入快照传输的逼近同步写操作的过

76、程:client->ram  ->  nvram(nvlog记录操作,并在此时返回用户操作成功),写满则触发 cp,-> 把ram 内容写 到 wafl 进行磁盘2异步mirror先拍一个snapshot 再传输到远端,不会影响source,source会增加,可以定义一个多少时间传输一次,时间到再拍一次snapshot,把不同的再传输过去-the fifth day   -administratering  backups#dump  命令可以备份,volume 或

77、 qtree 到磁带上到 now网站上查找支持的磁带机/etc/tape_config 目录下存放着 磁带机的驱动,也可以把不支持的磁带机的驱动放在这里,那么就可以使用了#sysconfig -t   查看磁带机,支持的磁带文件tape drive (v8.0)  netapp  vt-100mb             rst0l  -  rewind d

78、evice,        format is: vt-100mb (100 mb)       磁带文件类型    rst0l  l:代表压缩率     rewind:自动倒带    nrst0l -  no rewind device,   &#

79、160; format is: vt-100mb (100 mb)          urst0l -  unload/reload device, format is: vt-100mb (100 mb)          rst0m  -  rewind device,    

80、0;   format is: vt-100mb (100 mb)          nrst0m -  no rewind device,     format is: vt-100mb (100 mb)          urst0m -  unload/reload dev

81、ice, format is: vt-100mb (100 mb)          rst0h  -  rewind device,        format is: vt-100mb (100 mb)          nrst0h -  no rewi

82、nd device,     format is: vt-100mb (100 mb)          urst0h -  unload/reload device, format is: vt-100mb (100 mb)          rst0a  -  rewind devic

83、e,        format is: vt-100mb (w/compression)    nrst0a -  no rewind device,     format is: vt-100mb (w/compression)    urst0a -  unload/reload device, format is: vt-100mb (w/

84、compression)    tape drive (v8.1)  netapp  vt-100mb             rst1l  -  rewind device,        format is: vt-100mb (100 mb)  

85、;        nrst1l -  no rewind device,     format is: vt-100mb (100 mb)          urst1l -  unload/reload device, format is: vt-100mb (100 mb)    &#

86、160;     rst1m  -  rewind device,        format is: vt-100mb (100 mb)          nrst1m -  no rewind device,     format is: vt-100mb

87、 (100 mb)          urst1m -  unload/reload device, format is: vt-100mb (100 mb)          rst1h  -  rewind device,        format is

88、: vt-100mb (100 mb)          nrst1h -  no rewind device,     format is: vt-100mb (100 mb)          urst1h -  unload/reload device, format is: vt-100mb (100

89、 mb)          rst1a  -  rewind device,        format is: vt-100mb (w/compression)    nrst1a -  no rewind device,     format is: vt-100m

90、b (w/compression)    urst1a -  unload/reload device, format is: vt-100mb (w/compression)#dump option argument path   0ufb  rst0a   63 /vol/vol00:dump levelu: update /ect/dumpdatesf: specifies tape fileb :specifies blocking factor (这是磁带上的bloc