Ceph가 오브젝트 및 블록 스토리지를 제공할 때 배포된 모니터, OSD, Rados 게이트웨이(RGW) 및 관리자 서비스 외에도 CephFS에 Ceph 메타데이터 서비스(MDS)가 필요하며 NFS 프로토콜을 사용하여 기본 CephFS에 대한 게이트웨이로 NFS-Ganesha 서비스가 필요합니다. 사용자를 향한 오브젝트 스토리지의 경우 RGW 서비스도 배포됩니다. 게이트웨이는 CephFS 클라이언트를 실행하여 Ceph 공용 네트워크에 액세스하며, 최종 사용자가 제어하는 대신 관리 중입니다.

NFS-Ganesha는 Ceph 공용 네트워크와 격리된 새로운 StorageNFS 네트워크로 인터페이스하는 자체 컨테이너에서 실행됩니다. RHOSP(Red Hat OpenStack Platform) director의 구성 가능한 네트워크 기능은 이 네트워크를 배포하고 이를 컨트롤러 노드에 연결합니다. 클라우드 관리자는 네트워크를 네트워킹(neutron) 프로바이더 네트워크로 구성할 수 있습니다.

NFS-Ganesha는 Ceph 공용 네트워크를 통해 CephFS에 액세스하고 StorageNFS 네트워크의 주소를 사용하여 NFS 서비스를 바인딩합니다.

NFS 공유에 액세스하려면 스토리지 NFS 네트워크에 연결된 추가 NIC를 사용하여 사용자 VM, 계산(nova) 인스턴스를 프로비저닝합니다. CephFS 공유의 내보내기 위치는 StorageNFS 네트워크에서 NFS-Ganesha 서버 VIP를 사용하는 표준 NFS IP:<path> 로 표시됩니다. 네트워크에서 사용자 VM의 IP 주소를 사용하여 NFS 공유에 대한 액세스 제어를 수행합니다.

네트워킹(neutron) 보안 그룹은 프로젝트 1에 속한 사용자 VM이 StorageNFS 네트워크에서 프로젝트 2에 속하는 사용자 VM에 액세스하지 못하도록 합니다. 프로젝트는 동일한 CephFS 파일 시스템을 공유하지만 사용자 VM은 내보내기 트리 아래 파일에만 액세스할 수 있기 때문에 /path/to/share1/…., /path/to/share2/….

RHOSP(Red Hat OpenStack Platform) director가 Ceph 서비스 데몬을 시작하면 자체 HA(고가용성) 상태를 관리하고 일반적으로 이러한 데몬의 여러 인스턴스가 실행됩니다. 이와 반대로 이번 릴리스에서는 한 번에 하나의 NFS-Ganesha 인스턴스만 파일 공유를 제공할 수 있습니다.

NFS 공유를 통해 CephFS의 데이터 경로에서 단일 장애 지점을 방지하기 위해 NFS-Ganesha는 Pacemaker-Corosync 클러스터에서 관리하는 액티브-패시브 구성의 RHOSP 컨트롤러 노드에서 실행됩니다. NFS-Ganesha는 가상 서비스 IP 주소가 있는 가상 서비스로 컨트롤러 노드에서 작동합니다.

컨트롤러 노드가 실패하거나 특정 컨트롤러 노드의 서비스가 실패하고 해당 노드에서 복구할 수 없는 경우 Pacemaker-Corosync는 동일한 가상 IP 주소를 사용하여 다른 컨트롤러 노드에서 새 NFS-Ganesha 인스턴스를 시작합니다. 기존 클라이언트 마운트는 공유의 내보내기 위치에 가상 IP 주소를 사용하므로 보존됩니다.

기본 NFS 마운트 옵션 설정과 NFS 4.1 이상을 사용하면 TCP 연결이 재설정되고 클라이언트가 다시 연결됩니다. I/O 작업은 장애 조치 중에 일시적으로 응답을 중지하지만 실패하지는 않습니다. 애플리케이션 I/O도 응답을 중지하지만 페일오버가 완료되면 다시 시작됩니다.

새로운 연결, 새로운 잠금 상태 등은 서버가 클라이언트가 잠금을 회수할 때까지 대기하는 최대 90초의 유예 기간이 끝날 때까지 거부됩니다. NFS-Ganesha는 클라이언트 목록을 유지하고 모든 클라이언트가 잠금을 회수할 경우 유예 기간을 조기에 종료합니다.

ControllerStorageNFS 사용자 지정 역할은 격리된 StorageNFS 네트워크를 구성합니다. 이 역할은 OS::TripleO::Services:CephNfs 명령으로 표시된 StorageNFS 네트워크 및 CephNfs 서비스를 추가하는 기본 Controller.yaml 역할 파일과 유사합니다.

[stack@undercloud ~]$ cd /usr/share/openstack-tripleo-heat-templates/roles
[stack@undercloud roles]$ diff Controller.yaml ControllerStorageNfs.yaml
16a17
> 	- StorageNFS
50a45
> 	- OS::TripleO::Services::CephNfs

openstack overcloud roles generate 명령에 대한 자세한 내용은 Advanced Overcloud Customization 가이드의 Roles 를 참조하십시오.

openstack overcloud roles generate 명령은 -o 다음에 지정된 서비스를 포함하여 사용자 지정 roles_data.yaml 파일을 생성합니다. 다음 예제에서 생성된 roles_data.yaml 파일에는 ControllerStorageNfs,Compute 및 CephStorage 에 대한 서비스가 있습니다.

구성 가능 네트워크를 사용하여 사용자 지정 네트워크를 정의하고 역할에 할당합니다. 표준 network_data.yaml 파일을 사용하는 대신 network_ data_ganesha.yaml 파일을 사용하여 StorageNFS 구성 가능 네트워크를 구성할 수 있습니다. 이 두 역할은 /usr/share/openstack-tripleo-heat-templates 디렉터리에서 사용할 수 있습니다.

network_data_ganesha.yaml 파일에는 격리된 StorageNFS 네트워크를 정의하는 추가 섹션이 포함되어 있습니다. 기본 설정은 대부분의 설치에서 작동하지만, VLAN ID, 서브넷 및 기타 설정을 포함한 네트워크 설정을 추가하도록 YAML 파일을 편집해야 합니다.

name: StorageNFS
enabled: true
vip: true
name_lower: storage_nfs
vlan: 70
ip_subnet: '172.17.0.0/20'
allocation_pools: [{'start': '172.17.0.4', 'end': '172.17.0.250'}]
ipv6_subnet: 'fd00:fd00:fd00:7000::/64'
ipv6_allocation_pools: [{'start': 'fd00:fd00:fd00:7000::4', 'end': 'fd00:fd00:fd00:7000::fffe'}]

구성 가능한 네트워크에 대한 자세한 내용은 Advanced Overcloud Customization 가이드에서 Composable Networks 사용을 참조하십시오.

CephFS 백엔드인 manila-cephfsganesha-config.yaml 을 정의하는 통합 환경 파일은 /usr/share/openstack-tripleo-heat-templates/environments/ 에 있습니다.

manila-cephfsganesha-config.yaml 환경 파일에는 Shared File Systems 서비스(manila)의 배포와 관련된 설정이 포함되어 있습니다. 백엔드 기본 설정은 대부분의 환경에서 작동합니다. 다음 예에서는 director에서 공유 파일 시스템 서비스를 배포하는 동안 사용하는 기본값을 보여줍니다.

[stack@undercloud ~]$ cat /usr/share/openstack-tripleo-heat-templates/environments/manila-cephfsganesha-config.yaml
# A Heat environment file which can be used to enable a
# a Manila CephFS-NFS driver backend.
resource_registry:
  OS::TripleO::Services::ManilaApi: ../deployment/manila/manila-api-container-puppet.yaml
  OS::TripleO::Services::ManilaScheduler: ../deployment/manila/manila-scheduler-container-puppet.yaml
  # Only manila-share is pacemaker managed:
  OS::TripleO::Services::ManilaShare: ../deployment/manila/manila-share-pacemaker-puppet.yaml
  OS::TripleO::Services::ManilaBackendCephFs: ../deployment/manila/manila-backend-cephfs.yaml
  # ceph-nfs (ganesha) service is installed and configured by ceph-ansible
  # but it's still managed by pacemaker
  OS::TripleO::Services::CephNfs: ../deployment/ceph-ansible/ceph-nfs.yaml

parameter_defaults:
  ManilaCephFSBackendName: cephfs 1
  ManilaCephFSDriverHandlesShareServers: false 2
  ManilaCephFSCephFSAuthId: 'manila' 3
  ManilaCephFSCephFSEnableSnapshots: false 4
  # manila cephfs driver supports either native cephfs backend - 'CEPHFS'
  # (users mount shares directly from ceph cluster), or nfs-ganesha backend -
  # 'NFS' (users mount shares through nfs-ganesha server)
  ManilaCephFSCephFSProtocolHelperType: 'NFS'

parameter_defaults 헤더는 구성을 시작하는 것을 나타냅니다. 이 섹션에서는 설정을 편집하여 resource_registry 에 설정된 기본값을 재정의할 수 있습니다. 여기에는 CephFS 백엔드의 기본값을 설정하는 OS::Tripleo::Services::ManilaBackendCephFs 로 설정된 값이 포함됩니다.

환경 파일에 대한 자세한 내용은 Director 설치 및 사용 가이드 의 환경 파일을 참조하십시오.

격리된 새로운 StorageNFS 네트워크를 네트워킹(neutron) 프로바이더 네트워크에 매핑해야 합니다. 계산 VM은 네트워크에 연결하여 NFS-Ganesha 게이트웨이에서 제공하는 공유 내보내기 위치에 액세스합니다.

공유 파일 시스템 서비스를 사용한 네트워크 보안에 대한 자세한 내용은 보안 및 강화 가이드에서 공유 파일 시스템 서비스 강화를 참조하십시오.

neutron-shared 프로바이더 네트워크에서 해당 StorageNFSSubnet 을 생성합니다. 서브넷이 network_ data.yml 파일의 storage_nfs 네트워크 정의와 같은지 확인하고 StorageNFS 서브넷의 할당 범위와 해당 언더클라우드 서브넷이 겹치지 않는지 확인합니다. StorageNFS 서브넷은 NFS 공유를 제공하는 전용이므로 게이트웨이가 필요하지 않습니다.

[stack@undercloud-0 ~]$ openstack subnet create --allocation-pool start=172.17.0.4,end=172.17.0.250 --dhcp --network StorageNFS --subnet-range 172.17.0.0/20 --gateway none StorageNFSSubnet

[stack@undercloud-0 ~]$ openstack subnet create --ip-version 6 --dhcp --network StorageNFS --subnet-range fd00:fd00:fd00:7000::/64 --gateway none --ipv6-ra-mode dhcpv6-stateful --ipv6-address-mode dhcpv6-stateful StorageNFSSubnet -f yaml

공유 파일 시스템 서비스를 사용하여 특정 설정으로 공유를 생성하는 데 사용할 수 있는 공유 유형을 정의할 수 있습니다. 공유 유형은 블록 스토리지 볼륨 유형처럼 작동합니다. 각 유형에는 추가 사양과 같은 설정이 연결되어 있습니다. 공유 생성 중에 유형을 호출할 때 설정이 공유 파일 시스템에 적용됩니다.

RHOSP(Red Hat OpenStack Platform) director를 사용하면 사용자가 액세스할 수 있도록 클라우드를 열기 전에 기본 공유 유형을 생성해야 합니다. NFS가 포함된 CephFS의 경우 manila type-create 명령을 사용합니다.

manila type-create default false

공유 유형에 대한 자세한 내용은 스토리지 가이드 의 공유 유형 만들기를 참조하십시오.