ProxmoxVE之5.3集群安装及利用ceph

站上东京埠

    PVE5.3版本对于磁盘的管理，包罗对分布式存储ceph的支持听说都更加友爱了。前期对5.2版本测试的时间，有些未尽事件，好比直接通过pve自身的管理步伐pveceph摆设ceph存储，而不是利用外部ceph，如今手头刚好也有相应的实行资源，花一些时间对5.3版本重新做一次集群实行，利用pve自带的ceph摆设工具举行摆设。

    详细安装步调就不具体写了，参考“ProxmoxVE 之集群安装(V5.2)” 的安装步调。

     先说结论，假如各位客长没偶然间，直接看结论，背面具体的过程有必要再细致看。

结论：
    ProxmoxVE确实利用太方便了，对于稍显复杂的ceph分布式存储，已经做到了方便实行的极限，只必要简朴几条初始化的指令，背面全部通过web管理界面举行设置和摆设，方便至极，更棒的是，web管理界面还可以及时看到ceph存储的各种状态，相称于完全把ceph存储的管理融合进了PVE的同一管理。

    但是利用ceph的条件是，必须对ceph分布式存储自己的一些概念弄清晰，好比ceph 的存储规则，pg的概念，bucket的概念，ceph自身的功能组件mon、osd、pool的概念等等，发起假如对这些概念不认识，先通读一遍ceph社区官网的文档，然后动手搭建ceph存储试验。认识ceph之后，回过头来再利用pve自带的ceph管理功能就显得非常简朴了。

    通过实行，也可以看到ProxmoxVE可以做到在本身的平台上快速搭建情况嵌套假造化，可以方便广大的PVE爱好者快速的认识PVE 的利用。通过我个人的履历，openstack的试验过程和复杂度，比PVE要高出很多多少倍，openstack假如要做一个完备的试验下来，纯熟的环境下，假如要5天，那么，PVE的试验，同样是底子假造化功能的条件下，大概只要1天乃至半天就能完成。


过程记载：
    接纳硬件设置：在物理机pve情况上面，创建3个假造机，3vcpu/12G内存/4块硬盘/2块网卡 ，此中硬盘方面1块硬盘为体系盘32G，2块32G的ceph盘，1块32G的lvm盘，网卡方面1块网卡同时给集群和假造机利用（192.168.1.0/24网段），1块网卡作为ceph存储网络（192.168.170.0/24网段）利用。
    紧张！！！更改软件源，默认是订阅版，假如不做修改，在利用pveceph init举行ceph初始化安装的时间会将整个情况粉碎，牢记！更改为非订阅版。
 
    消除“No valid subscription”提示的方法参考下面的网址：

    http://johnscs.com/remove-proxmox51-subscription-notice/
    接下来设置ceph存储：
     参考官网这个网址：

    http://www.proxmox.com/en/training/video-tutorials/item/install-ceph-server-on-proxmox-ve
    这是一个具体的视频教程，根本的计划思绪和我这个情况差不多，都是3个节点，只有网络是真正的3个网络，我是由于条件限定，将集群管理和假造机业务网络合二为一了，其他的都差不多。

    1、起首在每一个节点安装ceph软件包：

    pveceph install --version luminous   
    留意，官网视频内里用的jewel版本，我们安装的pve版本是5.3对应的ceph版本已经是luminous版本了。
   2、初始化ceph存储网络：

    pveceph init --network 192.168.170.0/24

    3、创建mon

    pveceph createmon

    在pve2和pve3上面登录web界面创建mon：








    4、创建OSD：







sdb和sdc两块磁盘参加到osd ，同样的，对pve2和pve3做同样的操纵，完成后如下：

    5、创建pools ，pool的名称是ceph-vm，根据本身必要取，size=3表现正常的副本数，min size=2表现最少的数据副本数，pg_num=128表现逻辑存储单位数未128，详细设置的计谋请参考ceph相干文档：


别的再创建一个测试的存储池test。创建完成后，可以通过web界面看到ceph的团体状态如下：



可以利用test测试存储池做一个写测试：

root@pve1:~# rados -p test bench 10 write --no-cleanuphints = 1Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objectsObject prefix: benchmark_data_pve1_78670  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)    0       0         0         0         0         0           -           0    1      16        23         7   28.0015        28     1    1    2      16        36        20   39.9226        52     1.98944     1.22191    3      16        43        27   35.9512        28     1     1.17363    4      16        54        38   37.9597        44     1.64156     1.29788    5      16        60        44   35.1689        24     2.00744     1.37846    6      16        68        52   34.6399        32      2.2513     1.50074    7      16        72        56   31.9779        16      2.1816     1.56136    8      16        79        63   31.4803        28     2.38234     1.70338    9      16        87        71   31.5374        32     1.63451      1.8151   10      16        95        79   31.5831        32     2.82273     1.86001   11       8        95        87   31.6205        32     1.66285     1.84418Total time run:         11.064831Total writes made:      95Write size:             4194304Object size:            4194304Bandwidth (MB/sec):     34.343Stddev Bandwidth:       9.54225Max bandwidth (MB/sec): 52Min bandwidth (MB/sec): 16Average IOPS:           8Stddev IOPS:            2Max IOPS:               13Min IOPS:               4Average Latency(s):     1.85056Stddev Latency(s):      1Max latency(s):         3.46178Min latency(s):         1root@pve1:~#    由于我利用的是7200转的磁盘做的pve假造机，挂载7200转的磁盘做的假造磁盘，体现不佳。正式生产情况，假如是SSD盘，带宽可以到达400M，IOPS可以到达100多。
下面是读测试：
root@pve1:~# rados -p test bench 10 seqhints = 1  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)    0       0         0         0         0         0           -           0    1      16        61        45   179.942       180    1    1    2      14        95        81   161.953       144    1    1Total time run:       2.127305Total reads made:     95Read size:            4194304Object size:          4194304Bandwidth (MB/sec):   178.63Average IOPS:         44Stddev IOPS:          6Max IOPS:             45Min IOPS:             36Average Latency(s):   1Max latency(s):       1Min latency(s):       1root@pve1:~#    读测试的带宽以及IOPS要比写高许多。同样，由于是测试情况，性能体现欠佳。假如是SSD盘，可以到达2.5G带宽，600 IOPS ，那也是相称不错的。



    6、创建RBD存储池：

 
   

接下来，利用这个RBD存储池创建一个centos7假造机：

创建完成start，提示kvm假造化设置不支持，缘故原由是我们利用的kvm假造机举行测试，kvm假造机内里再嵌套创建kvm假造机：




办理办法，先把该pve节点全部的假造机都关闭，在ProxmoxVE物理机上（留意，不是上面3个pve1/pve2/pve3）实行下面的下令：
root@pve:~# modprobe -r kvm_intel留意，假如提示...busy ，阐明另有假造机在利用，必要先把该pve节点全部的假造机都关闭。root@pve:~# modprobe kvm_intel nested=1root@pve:~# cat /sys/module/kvm_intel/parameters/nestedYroot@pve:~# echo "options kvm_intel nested=1" >> /etc/modprobe.d/modprobe.confroot@pve:~# qm showcmd 111/usr/bin/kvm -id 111 -name pve-1 -chardev 'socket,id=qmp,path=/var/run/qemu-server/111.qmp,server,nowait' -mon 'chardev=qmp,mode=control' -pidfile /var/run/qemu-server/111.pid -daemonize -smbios 'type=1,uuid=d9eb0729-f0ee-4176-836d-308b70d13754' -smp '3,sockets=1,cores=3,maxcpus=3' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vga std -vnc unix:/var/run/qemu-server/111.vnc,x509,password -cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,enforce -m 12000 -device 'pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e' -device 'pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f' -device 'piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2' -device 'usb-tablet,id=tablet,bus=uhci.0,port=1' -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:b48afece2d1' -drive 'file=/var/lib/vz/template/iso/proxmox-ve_5.2-1.iso,if=none,id=drive-ide2,media=cdrom,aio=threads' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=200' -device 'virtio-scsi-pci,id=scsihw0,bus=pci.0,addr=0x5' -drive 'file=/dev/pvevg2/vm-111-disk-7,if=none,id=drive-scsi0,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100' -drive 'file=/dev/pvevg2/vm-111-disk-2,if=none,id=drive-scsi1,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=1,drive=drive-scsi1,id=scsi1' -drive 'file=/dev/pvevg2/vm-111-disk-3,if=none,id=drive-scsi2,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=2,drive=drive-scsi2,id=scsi2' -drive 'file=/dev/pvevg2/vm-111-disk-6,if=none,id=drive-scsi3,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=3,drive=drive-scsi3,id=scsi3' -netdev 'type=tap,id=net0,ifname=tap111i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=76:60:17:9D:6A:FF,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300' -netdev 'type=tap,id=net1,ifname=tap111i1,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=6A:93:EB:0E:A8:84,netdev=net1,bus=pci.0,addr=0x13,id=net1,bootindex=301'找到“-cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,enforce”这部门，在enforce前面加“+vmx，”参数如下：-cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,+vmx,enforce然后实行：qm stop 111 制止假造机后，再实行上面修改后的下令。假造机启动后，ssh进入，实行 grep vmx /proc/cpuinfo 检察是不是有输出，如下：root@pve-1:~# grep vmx /proc/cpuinfo flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid pni vmx cx16 x2apic hypervisor lahf_lm cpuid_fault pti tpr_shadow vnmi flexpriority ept vpidflags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid pni vmx cx16 x2apic hypervisor lahf_lm cpuid_fault pti tpr_shadow vnmi flexpriority ept vpidflags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid pni vmx cx16 x2apic hypervisor lahf_lm cpuid_fault pti tpr_shadow vnmi flexpriority ept vpid表现已经支持假造嵌套。再重新启动上面创建的假造机，乐成！

测试乐成！