手順10.3 virsh を使用した PCI デバイスのゲスト仮想マシンへの割り当て

1. デバイスの特定

   最初に、仮想マシンへのデバイス割り当てに指定されているPCI デバイスを特定します。lspci コマンドを使用して利用可能な PCI デバイスを一覧表示します。lspci の出力は grep で絞り込むことができます。
   この例では、以下の出力で強調表示されているイーサネットコントローラーを使用します。

   # lspci | grep Ethernet
   00:19.0 Ethernet controller: Intel Corporation 82567LM-2 Gigabit Network Connection
   01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

   このイーサネットコントローラーは 00:19.0 の短い識別子で表示されています。この PCI デバイスを仮想マシンに割り当てるには、virsh が使用する詳細な識別子を見つける必要があります。
   これを実行するには、virsh nodedev-list コマンドを使用して、ホストマシンにアタッチされている特定の種類 (pci) のデバイスをすべて一覧表示します。次に、使用するデバイスの短い識別子にマップされている文字列の出力を探します。
   この例では、短い識別子 00:19.0 でイーサネットコントローラーにマップする文字列を強調表示しています。詳細な識別子では、: と . の文字がアンダースコアに置き換えられています。

   # virsh nodedev-list --cap pci
   pci_0000_00_00_0
   pci_0000_00_01_0
   pci_0000_00_03_0
   pci_0000_00_07_0
   pci_0000_00_10_0
   pci_0000_00_10_1
   pci_0000_00_14_0
   pci_0000_00_14_1
   pci_0000_00_14_2
   pci_0000_00_14_3
   pci_0000_00_19_0
   pci_0000_00_1a_0
   pci_0000_00_1a_1
   pci_0000_00_1a_2
   pci_0000_00_1a_7
   pci_0000_00_1b_0
   pci_0000_00_1c_0
   pci_0000_00_1c_1
   pci_0000_00_1c_4
   pci_0000_00_1d_0
   pci_0000_00_1d_1
   pci_0000_00_1d_2
   pci_0000_00_1d_7
   pci_0000_00_1e_0
   pci_0000_00_1f_0
   pci_0000_00_1f_2
   pci_0000_00_1f_3
   pci_0000_01_00_0
   pci_0000_01_00_1
   pci_0000_02_00_0
   pci_0000_02_00_1
   pci_0000_06_00_0
   pci_0000_07_02_0
   pci_0000_07_03_0

   使用するデバイスを呼び出す PCI デバイス番号は他のステップで必要になるので、その番号を書き留めます。

2. デバイス情報の確認

   ドメインやバスおよび情報については、virsh nodedev-dumpxml コマンドからの出力を参照することができます。

   virsh nodedev-dumpxml pci_0000_00_19_0
   <device>
     <name>pci_0000_00_19_0</name>
     <parent>computer</parent>
     <driver>
       <name>e1000e</name>
     </driver>
     <capability type='pci'>
       <domain>0</domain>
       <bus>0</bus>
       <slot>25</slot>
       <function>0</function>
       <product id='0x1502'>82579LM Gigabit Network Connection</product>
       <vendor id='0x8086'>Intel Corporation</vendor>
       <iommuGroup number='7'>
         <address domain='0x0000' bus='0x00' slot='0x19' function='0x0'/>
       </iommuGroup>
     </capability>
   </device>

   注記

   IOMMU グループは、IOMMU から見たデバイスの可視性と分離度に基づいて決定されます。それぞれの IOMMU グループには、1 つ以上のデバイスが含まれる可能性があります。複数のデバイスが表示される場合、IOMMU グループ内のすべてのエンドポイントが、ゲストに割り当てられるグループ内のすべてのデバイスに対して要求される必要があります。これは、追加のエンドポイントをゲストに割り当てるか、または virsh nodedev-detach を使用してそれらをホストから分離させるかのいずれかの方法で実行できます。単一グループに含まれるデバイスは、複数のゲスト間で分割したり、ホストとゲストの間で分割したりすることができないことがあります。PCIe ルートポート、スイッチポート、およびブリッジなどのノンエンドポイントのデバイスはホストドライバーから切り離せず、これらはエンドポイントの割り当てを妨げることはありません。

   IOMMU グループ内のデバイスは、virsh nodedev-dumpxml 出力の iommuGroup セクションを使用して判別できます。グループの各メンバーは、別個の「アドレス」フィールドで指定されます。この情報は、以下を使用して sysfs 内に見つけることもできます。

   $ ls /sys/bus/pci/devices/0000:01:00.0/iommu_group/devices/

   この出力の一例を示します。

   0000:01:00.0  0000:01:00.1

   0000.01.00.0 のみをゲストに割り当てるには、ゲストを起動する前に、使用されていないエンドポイントをホストから切り離す必要があります。

   $ virsh nodedev-detach pci_0000_01_00_1

3. 必要な設定詳細の決定

   設定ファイルで必要な値については、virsh nodedev-dumpxml pci_0000_00_19_0 コマンドの出力を参照します。
   サンプルのデバイスでは、以下の値が使用されています。bus = 0、slot = 25、function = 0。10 進法の設定では、これらの値を使用します。

   bus='0'
   slot='25'
   function='0'

4. 設定詳細の追加

   仮想マシン名を特定して virsh edit を実行し、<source> セクションにデバイスエントリーを追加し、PCI デバイスをゲスト仮想マシンに割り当てます。

   # virsh edit guest1-rhel6-64
   <hostdev mode='subsystem' type='pci' managed='yes'>
     <source>
        <address domain='0' bus='0' slot='25' function='0'/>
     </source>
   </hostdev>

   または、仮想マシン名とゲストの XML ファイルを特定して virsh attach-device を実行します。

   virsh attach-device guest1-rhel6-64 file.xml

5. 仮想マシンの開始

   # virsh start guest1-rhel6-64

手順10.4 virt-manager を使用した PCI デバイスのゲスト仮想マシンへの割り当て

1. ハードウェア設定を開く

   ゲスト仮想マシンを開き、ハードウェアを追加 ボタンをクリックして新規デバイスを仮想マシンに追加します。
   

   図10.1 仮想マシンのハードウェア情報ウィンドウ

2. PCI デバイスの選択

   左側の ハードウェア リストから PCI Host Device を選択します。
   未使用の PCI デバイスを選択します。別のゲストが使用している PCI デバイスを選択する場合、エラーが発生する可能性があります。以下の例では、予備の 82576 ネットワークデバイスが使用されます。完了 をクリックしてセットアップを終了します。
   

   図10.2 新たな仮想ハードウェア追加ウィザード

3. 新規デバイスの追加

   セットアップが完了し、ゲスト仮想マシンはこれで PCI デバイスに直接アクセスできます。
   

   図10.3 仮想マシンのハードウェア情報ウィンドウ

手順10.5 virt-install を使用したゲスト仮想マシンへのPCI デバイス割り当て

1. デバイスの特定

   ゲスト仮想マシンへのデバイス割り当てに指定されているPCI デバイスを特定します。

   # lspci | grep Ethernet
   00:19.0 Ethernet controller: Intel Corporation 82567LM-2 Gigabit Network Connection
   01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

   virsh nodedev-list コマンドがシステムにアタッチされている全デバイスを一覧表示し、各 PCI デバイスを文字列で特定します。出力を PCI デバイスに限定するには、以下のコマンドを実行します。

   # virsh nodedev-list --cap pci
   pci_0000_00_00_0
   pci_0000_00_01_0
   pci_0000_00_03_0
   pci_0000_00_07_0
   pci_0000_00_10_0
   pci_0000_00_10_1
   pci_0000_00_14_0
   pci_0000_00_14_1
   pci_0000_00_14_2
   pci_0000_00_14_3
   pci_0000_00_19_0
   pci_0000_00_1a_0
   pci_0000_00_1a_1
   pci_0000_00_1a_2
   pci_0000_00_1a_7
   pci_0000_00_1b_0
   pci_0000_00_1c_0
   pci_0000_00_1c_1
   pci_0000_00_1c_4
   pci_0000_00_1d_0
   pci_0000_00_1d_1
   pci_0000_00_1d_2
   pci_0000_00_1d_7
   pci_0000_00_1e_0
   pci_0000_00_1f_0
   pci_0000_00_1f_2
   pci_0000_00_1f_3
   pci_0000_01_00_0
   pci_0000_01_00_1
   pci_0000_02_00_0
   pci_0000_02_00_1
   pci_0000_06_00_0
   pci_0000_07_02_0
   pci_0000_07_03_0

   PCI デバイス番号は他のステップで必要になるので、その番号を書き留めます。
   ドメインやバスおよび機能の情報は、virsh nodedev-dumpxml コマンドからの出力を参照することができます。

   # virsh nodedev-dumpxml pci_0000_01_00_0
   <device>
     <name>pci_0000_01_00_0</name>
     <parent>pci_0000_00_01_0</parent>
     <driver>
       <name>igb</name>
     </driver>
     <capability type='pci'>
       <domain>0</domain>
       <bus>1</bus>
       <slot>0</slot>
       <function>0</function>
       <product id='0x10c9'>82576 Gigabit Network Connection</product>
       <vendor id='0x8086'>Intel Corporation</vendor>
       <iommuGroup number='7'>
         <address domain='0x0000' bus='0x00' slot='0x19' function='0x0'/>
       </iommuGroup>
     </capability>
   </device>

   注記

   IOMMU グループに複数のエンドポイントがあり、それらのすべてがゲストに割り当てられている訳ではない場合、ゲストを起動する前に以下のコマンドを実行して、他のエンドポイントをホストから手動で切り離す必要があります。

   $ virsh nodedev-detach pci_0000_00_19_1

   IOMMU グループの詳細は、「virsh を使用した PCI デバイスの割り当て」 の 注記 を参照してください。

2. デバイスの追加

   virsh nodedev コマンドからの PCI 識別子の出力を --host-device パラメーターの値として使います。

   virt-install \
   --name=guest1-rhel6-64 \
   --disk path=/var/lib/libvirt/images/guest1-rhel6-64.img,size=8 \
   --nonsparse --graphics spice \
   --vcpus=2 --ram=2048 \
   --location=http://example1.com/installation_tree/RHEL6.0-Server-x86_64/os \
   --nonetworks \
   --os-type=linux \
   --os-variant=rhel6
   --host-device=pci_0000_01_00_0

3. インストールの完了

   これでゲストインストールが完了しました。PCI デバイスはゲストに割り当てられています。

手順10.6 virsh を使用した PCI デバイスのゲストからの切り離し

1. デバイスの切り離し

   以下のコマンドを使ってゲストの XML ファイル内から PCI デバイスを削除することで、ゲストから PCI デバイスを切り離します。

   # virsh detach-device name_of_guest file.xml

2. デバイスのホストへの再割り当て (オプション)

   デバイスが managed モードの場合は、このステップを飛ばします。デバイスは自動的にホストに戻ります。
   デバイスが managed モードでない場合は、以下のコマンドを使用して PCI デバイスをホストマシンに再度割り当てます。

   # virsh nodedev-reattach device

   たとえば、pci_0000_01_00_0 デバイスをホストに再度割り当てるには、以下のようにします。

   virsh nodedev-reattach pci_0000_01_00_0

   これでこのデバイスはホストで使用できます。

手順10.7 virt-manager を使用した PCI デバイスのゲストからの切り離し

1. 仮想ハードウェアの詳細ウィンドウを開く

   virt-manager で、対象のデバイスを含む仮想マシンをダブルクリックします。仮想ハードウェアの詳細表示 ボタンを選択し、仮想ハードウェアのリストを表示させます。
   

   図10.4 仮想ハードウェア詳細ボタン

2. デバイスの選択および削除

   左パネルの仮想デバイスリストから切り離す PCI デバイスを選択します。
   

   図10.5 切り離す PCI デバイスの選択

   削除 ボタンをクリックします。これでデバイスがホストで使用可能になります。

手順10.8 SR-IOV での PCI デバイス割り当てのための MAC アドレス、vLAN、および仮想ポートの設定

1. ゲスト仮想マシンをシャットダウンします。

   virsh shutdown コマンド (「ゲスト仮想マシンのシャットダウン」 を参照) を使用して、guestVM という名前のゲスト仮想マシンをシャットダウンします。

   # virsh shutdown guestVM

2. 情報を収集します。

   <interface type='hostdev'> を使用するには、SR-IOV 対応ネットワークカード、また Intel VT-d または AMD IOMMU 拡張のいずれかをサポートするホスト物理マシンハードウェアが必要であり、割り当てる VF の PCI アドレスを知っておく必要があります。

3. XML ファイルを開いて編集します。

   編集する XML ファイルを開くには、# virsh save-image-edit コマンドを実行します (詳細は、「ドメイン XML 設定ファイルの編集」 を参照してください)。ゲスト仮想マシンを以前の実行状態に戻したい場合は、--running を使用できます。この例の設定ファイルの名前は、ゲスト仮想マシンの名前が guestVM なので guestVM.xml になります。

    # virsh save-image-edit guestVM.xml --running 

   ユーザーのデフォルトエディターで guestVM.xml が開かれます。

4. XML ファイルを編集します。

   以下のような <devices> エントリーを持たせるように設定ファイル (guestVM.xml) を更新します。

   
    <devices>
      ...
      <interface type='hostdev' managed='yes'>
        <source>
          <address type='pci' domain='0x0' bus='0x00' slot='0x07' function='0x0'/> <!--these values can be decimal as well-->
        </source>
        <mac address='52:54:00:6d:90:02'/>                                         <!--sets the mac address-->
        <virtualport type='802.1Qbh'>                                              <!--sets the virtual port for the 802.1Qbh switch-->
          <parameters profileid='finance'/>
        </virtualport>
        <vlan>                                                                     <!--sets the vlan tag-->
         <tag id='42'/>
        </vlan>
      </interface>
      ...
    </devices>

   図10.7 hostdev interface type のドメイン XML のサンプル

   MAC アドレスを指定しない場合、それ以外のタイプのインターフェースデバイスと同様に、そのアドレスは自動的に生成されます。さらに、<virtualport> 要素は、802.11Qgh ハードウェアスイッチ (802.11Qbg (別名「VEPA」) に接続される場合にのみ使用されます。これらのスイッチは現在サポートされていません。

5. ゲスト仮想マシンを再起動します。

   最初のステップでシャットダウンしたゲスト仮想マシンを再開するために virsh start コマンドを実行します (例では、ゲスト仮想マシンのドメイン名として guestVM を使用しています)。詳細は、「定義されたドメインの起動」 を参照してください。

    # virsh start guestVM 

   ゲスト仮想マシンが起動すると、設定済みの MAC アドレスと共に、物理ホストマシンのアダプターによって指定されたネットワークデバイスが表示されます。この MAC アドレスは、ゲスト仮想マシンと物理ホストマシンの起動時に変更されることはありません。

手順10.9 デバイスプールの作成

1. ゲスト仮想マシンをシャットダウンします。

   virsh shutdown コマンド (「ゲスト仮想マシンのシャットダウン、再起動および強制終了」 を参照) を使用して、guestVM という名前のゲスト仮想マシンをシャットダウンします。

   # virsh shutdown guestVM

2. 設定ファイルの作成

   任意のエディターを使用して、/tmp ディレクトリーに XML ファイル (例:passthrough.xml という名前のファイル) を作成します。pf dev='eth3' は、各自の SR-IOV デバイスの物理機能 (PF) に置き換えるようにしてください。
   以下は、物理機能 (PF) がホスト物理マシンの「eth3」に設定された、SR-IOV アダプターのすべての VF のプールを利用可能にするネットワーク定義のサンプルです。

               
   <network>
      <name>passthrough</name>                                                <!--This is the name of the file you created-->
      <forward mode='hostdev' managed='yes'>
        <pf dev='myNetDevName'/>                                              <!--Use the netdev name of your SR-IOV devices PF here-->
      </forward>
   </network>
   

   図10.8 ネットワーク定義ドメインの サンプル XML

3. 新しい XML ファイルをロードします。

   /tmp/passthrough.xml を直前のステップで作成した XML ファイルの名前と場所に置き換え、以下のコマンドを実行します。

   # virsh net-define /tmp/passthrough.xml

4. ゲストの再起動

   passthrough.xml を直前のステップで作成した XML ファイルの名前に置き換え、以下を実行します。

    # virsh net-autostart passthrough # virsh net-start passthrough 

5. ゲスト仮想マシンを再起動します。

   最初のステップでシャットダウンしたゲスト仮想マシンを再開するために virsh start コマンドを実行します (例では、ゲスト仮想マシンのドメイン名として guestVM を使用しています)。詳細は、「定義されたドメインの起動」 を参照してください。

    # virsh start guestVM 

6. デバイスのパススルーの開始

   単一デバイスのみが表示されていますが、libvirt は、ゲスト仮想マシンの初回起動時に、PF に関連付けられたすべての VF の一覧を自動的に派生させます。この起動には、以下のようなドメイン XML 内のインターフェース定義が使用されます。

            
   <interface type='network'>
      <source network='passthrough'>
   </interface>
   

   図10.9 インターフェースネットワーク定義のサンプルドメイン XML

7. 検証

   検証は、ネットワークを使用する最初のゲストの起動後に virsh net-dumpxml passthrough コマンドで実行できます。以下のような出力が得られます。

         
   <network connections='1'>
      <name>passthrough</name>
      <uuid>a6b49429-d353-d7ad-3185-4451cc786437</uuid>
      <forward mode='hostdev' managed='yes'>
        <pf dev='eth3'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x10' function='0x1'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x10' function='0x3'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x10' function='0x5'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x10' function='0x7'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x11' function='0x1'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x11' function='0x3'/>
        <address type='pci' domain='0x0000' bus='0x02' slot='0x11' function='0x5'/>
      </forward>
   </network>
   

   図10.10 XML ダンプファイル passthrough の内容