DPDK2.1 linux上开发入门手册

1引言

  本文档主要包含INTEL DPDK安装和配置说明。目的是让用户快速的开发和运行程序。文档描述了如何在不深入细节的情况下在linux应用开发环境上编译和运行一个DPDK应用程序。

1.1文档总览

  以下是DPDK文档列表,建议按照文档顺序阅读:

Release Note:提供版本特有信息,包括支持的型号,限制,修正的问题,一直的问题等等。也提供一些在常见问题解答中被频繁问道的问题的大案。 入门指导(Getting Started Guide(本文档)):描述怎么安装和配置DPDK,目的是让用户快速开发和运行软件。 开发手册(Programmer's Guide):描述: 软件架构和如何在linux环境下运行一个DPDK范例程序 DPDK的内容,开发系统(包括如何在DPDK根目录下使用的编译Makefile的指令来编译开发库和运用程序)和移植一个应用程序参考 软件优化和需要在新的开发环境考虑的问题。 也提供了关键词汇表:   API手册:提供了DPDK上的函数,数据结构和其它编程结构的详细信息。 范例使用手册(Sample Application User Guide):描述了一系列的范例程序,每个章节都描述了一个有特殊功能的示例,提供了编译,运行和使用示例的操作指南。

注意:以上文档都可以从DPDK源码包的同一个位置上分别下载。

2系统必备条件

本章讲的是编译DPDK源码包必须具有的环境。

注意:如果DPDK要用到intel的89XX系列的网卡平台上,请先翻阅89xx网卡系列的入门手册。

2.1X86上BIOS先决条件

  对于主要的平台,没有什么特别的BIOS设置才能用DPDK的基本功能。然而总有例外的,对于HPET高精度时钟,能源管理功能,在40g网卡上高性能的小包收发,BIOS设置需要改一下。请看第5章(其它功能的开启)来获取需要做哪些更改的信息。

2.2编译DPDK

注意:测试是在Fedora18上,编译安装指令在其它系统上可能不一样。在其它linux发行版本上的测试细节请参阅DPDKrelease note。

GNU make coreutils:cmp,sed,grep,arch gcc:在686/x86_64平台上得大于等于4.5.x版本,对于ppc_64 和x86_x32程序,建议用4.8.x版本。一些特殊的编译标识和连接标示默认是打开的,会影响到性能(例如-fsatckprotector),请参阅你所使用版本的说明文档和使用gcc -dumpspecs来查看。 c库:intel的架构上要求glibc-devel.i686 / libc6-dev-i386; glibc-devel.x86_64 for 64-bit,ibm power架构则要求glibc-devel.ppc64 for 64 bit linux内核源码库头文件用于编译内核模块:kernel-devel.x86_64,kernel - devel.ppc64 另外32位和64位编译环境需要的包有:glibc.i686, libgcc.i686, libstdc++.i686 and glibc-devel.i686 for Intel i686/x86_64;glibc.ppc64, libgcc.ppc64, libstdc++.ppc64 and glibc-devel.ppc64 for IBM ppc_64;

注意:x86_32应用程序接口只支持最新的debian发行版和13.10以上版本的unbuntu。唯一支持的gcc版本是4.8+。

注意:python需要2.6或者是2.7,在dpdk安装包中有各种各样的帮助脚本。

可选的工具:

 intel C++编译器(icc)。需要安装一些其它的库,自己看编译器安装的说明文档吧,这个版本已经在icc 12.1上测过 IBM powerLinux工具链。这是一系列的开源开发工具和能够用到power最新linux硬件特征的动态库,要安装的话看ibm的官方文档 编译和使用基于libpcap库的轮询驱动需要libpcap头文件和库(libpcap-devel)。驱动默认是不能用的,要用的话需要在编译时设置config文件中的CONFIG_RTE_LIBRTE_PMD_PCAP=y

2.3运行DPDK程序

要运行dpdk程序,在目标机器上需要一些本地化要求。

2.3.1系统软件

要求:

  内核版本 >= 2.6.33

  当前在使用的内核版本可以通过以下命令获取:

  uname -r

对于在更早的内核版本上使用DPDK需要的补丁细节,可以看DPDK的Release Notes中的DPDK FAQ。也要注意redhat 6.2和6.3使用的2.6.32内核版本需要用到所有必须得补丁。

  glibc >= 2.7(因为cpuset相关的操作)

  c库版本可以通过使用ldd -version命令获取,一个命令使用结果例子如下:

  # ldd --version  ldd (GNU libc) 2.14.90  Copyright (C) 2011 Free Software Foundation, Inc.  This is free software; see the source for copying conditions. There is NO  warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  Written by Roland McGrath and Ulrich Drepper.

内核配置

  在fedora os和其它普通的linux发行版,例如ubuntu,或者是红帽企业版linux,供应商提供的内核配置可以跑大部分DPDK应用。

  对于其它内核版本,要使用DPDK必须使一下选项能支持:

UIO支持 HUGETLBFS(大页内存用到的库) PROC_PAGE_MONITOR支持 要使用HPET就要求HPET和HPET_MMAP配置项能支持。看5.1章《高精度定时器(HPET)功能》细节。

2.3.2在linux上使用大页内存

对于要缓存报文的超大内存池的内存分配必须用hugepage,(HUGETLBFS选项在当前允许的内核上必须是支持的,入2.3所说的)使用大页来分配内存,即使只使用少数页面,性能也是能够得到提升的。因为用到更少的页表缓冲条目(TLBs,高速翻译缓存),可以减少翻译虚拟地址到物理地址的时间,如果不用大页,那么用4k的页较高的TLB丢失率会降低性能。实际上还有一个好处就是不会被交换到磁盘上去。

获取DPDK使用的大页内存

分配大页内存最好是在系统启动时或者是在启动后尽早,以便于申请的内存减少碎片,即内存在物理上尽量是连续的。在内核启动时获取大页内存,需要将一个参数传递给内核。

对于2m的页,仅仅只需要将大页选项发送给内核。例如,申请1024个2m的页:

    hugepages=1024

对于其它尺寸的大页内存,例如1g的页,页大小必须明确的指定,也能设置系统的默认大页内存大小。例如申请4g大小的大内存通过4个1g内存页的形式,需要将以下选项发给内核:

  default_hugepagesz=1G hugepagesz=1G hugepages=4

注意:在intel的架构机器上cpu支持的大页内存的尺寸取决于CPU标识(这些标示可以通过查看/proc/cpuinfo获取),如果pse存在,那么2m页支持,pdpe1gb存在,则1g页支持。在IBM power架构的机器上,支持16M和16G的页。

注意:64位机器,交付时如果平台支持那天生就支持1g页了。

对于2个socket的NUMA系统,申请的大页内存数在系统启动时一般是从两个socket上平均分配(假定两个socket上都有足够的内存),如上,4g就是一个socket上分出2g内存。

可以看内核源码树的Documentation/kernel-parameter.txt文件获取更多的内核选项细节。

可选项:

  2m的页也可以在系统启动后申请,通过echo 内存页数目到/sys/devices/目录下的文件nr_hugepages中。对于单node的系统,使用一下命令获取1024个2m内存页:

  echo 1024 > /sys/kernel/mm/hugepages/hugepages_2048kb/nr_huge

在numa的机器上,必须精确的在每个node上指定分配的页数:

echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepagesecho 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

注意:对于1g的大内存页是不可能在系统启动之后申请分配的。

 2.3.3 linux环境下Xen Domain0支持

当前的内存管理基于linux内核的大内存页机制,在Xen虚拟机监视器上,大页支持无特权账户意味着DPDK程序是作为一个普通用户态程序运行。

然而,Domain0不支持大页的,解决这个限制需要,内核模块rte_dom0_mm加入,使得可以通过IOCTL和MMAP来分配和映射内存。

在DPDK中打开Xen Dom0模式

默认情况下,Xen Dom0在DPDK配置文件中是关闭的,要支持Xen Dom0就需要改变配置项CONFIG_RTE_LIBRTE_XEN_DOM0的值为y,那这个功能在编译时就是打开的。

此外,CONFIG_RTE_EAL_ALLOW_INV_SOCKET_ID选项也应该设为y,避免万一收到错误的socket id。

加载DPDK rte_dom0_mm模块

在Xen Dom0上跑DPDK程序,rte_dom0_mm模块必须带着参数rsv_memsize选项加载入运行中的内核中。模块可以在DPDK目录下的子目录kmod中找到,加载时使用insmod命令,像下面一样操作(假设我们当前处于DPDK的根目录下):

sudo insmod kmod/rte_dom0_mm.ko rsc_memsize=X

X的值可以大于4096(MB)

配置DPDK使用的内存

在加载完rte_dom0_mm.ko内核模块后,用户必须配置DPDK使用的内存大小。通过echo 内存页数目到/sys/devices/目录下的内存大小配置文件中。使用如下命令(假设需要2048MB内存):

echo 2048 >/sys/kernel/mm/dom0_mm/memsize-mB/memsize

用户也可以检查当前已经使用了多少内存:

cat /sys/kernel/mm/dom0-mm/memsize-mB/memsize_revd

Xen Domain0不支持NUMA配置,所以–socket-mem选项对它来说是没用的。

注意:内存大小值不能大于rsv_memsize值

在Xen Domain0上跑DPDK程序

要在Xen Domain0上跑DPDK程序,必须带上额外的选项–xen-dom0

 

3编译DPDK源码包

3.1安装DPDK和查看源码

首先,解压压缩包并进入DPDK目录:

user@host:~$ unzip DPDK-<version>.zipuser@host:~$ cd DPDK-<version>user@host:~/DPDK-<version>$ lsapp/ config/ drivers/ examples/ lib/ LICENSE.GPL LICENSE.LGPL Makefile mk/ sc

解压的DPDK目录下有几个子目录:

lib:DPDK库源码 drivers:DPDK PMD源码 app:DPDK程序源码(自动化测试用) examples:DPDK应用程序范例源码 config,tools,scripts,mk:框架相关的makefile文件,脚本,配置文件等。

3.2在目标机器环境下安装DPDK

安装DPDK的结果格式如下(就是在当前目录下回出现一个新目录,目录名格式):

ARCH-MACHINE-EXECENV-TOOLCHAIN

ARCH:i686, x86_64, ppc_64 MACHINE:native, ivshmem, power8 EXECENV:linuxapp,bsdapp TOOCHAIN:gcc,icc

我在redhat上的是x86_64-native-linuxapp-gcc(intel的ICC编译器没用过...,据说在intel的机器上,用icc性能高一些)

生成的文件取决于32/64位安装包和机器上的编译器。能实现的结果可以在DPDK/config中看到。defconfig_ prefix没必要用到。

注意:提供的配置文件是根据RTE_MACHINE优化的最优选项集,在配置文件中,RTE_MACHINE配置项

被设为native,意味着编译软件会自动匹配编译的平台。要看更多关于设置和可能值的详细星系,请看DPDK Programmers Guide

当使用intel的C++编译器icc,需要针对64位和32位系统分别执行下面的命令。注意shell脚本更新了PATH环境变量,因此在同一个会话中不需要再执行了。另外,确认编译的安装目录因为目录可能不一样:

source /opt/intel/bin/iccvars.sh intel64

source /opt/intel/bin/iccvars.sh ia32

安装和编译,在DPDK根目录下执行make install T=<target>命令。

例如,用icc编译64位系统,执行:

make install T=x86_64-native-linuxapp-icc

用gcc编译32位系统,命令如下:

make install T=i686-native-linuxapp-gcc

用gcc编译64位系统:

make install T=x86_64*gcc

同时使用gcc和icc编译64位系统:

make install T=x86_64-*

注意:通配符*表示可以同时生成多个结果。

准备编译而不是编译它,例如,配置被改变了需要在编译前make一下,使用make config T=<target>命令:make config T=x86_64-native-linuxapp-gcc

提示:任意一个使用到的内核模块,如igb_uio,rte,必须在目标机器上同一个运行的内核上编译。如果你的DPDK不是要装在本机,那么编译前需要将RTE_KERNELDIR指向需要安装的机器的内核版本的一个拷贝。

晕:忘了保存了........,再来一遍

一旦环境配置好了,那么进入配置的目录修改代码并编译。用户如果要修改编译时的配置,那么修改安装目录下的.config文件。它是安装根目录下的config目录中的defconfig文件的一个拷贝。

cd x86_64-native-linuxapp-gccvi .configmake

此外,make clean命令可以清除之前编译产生的文件,以便重新编译。

3.3查看安装完成的DPDK环境目录

一旦编译完成,那么这个DPDK环境目录包含所有的库文件,PMD,所有DPDK应用程序需要用到了DPDK头文件。此外,测试程序和测试PMD程序在对应的build/app目录下,可以用来测试。当前的kmod目录下需要被加载到内核中的木块。

$ ls x86_64-native-linuxapp-gccapp build hostapp include kmod lib Makefile

3.4加载内核模块实现DPDK用户态IO

跑dpdk程序,对应匹配的uio模块需要加载到运行的内核中。很多情况下,linux内核已经有的uio_pci_generic模块可以提供uio能力,可以通过以下命令加载:

sudo modprobe uio_pci_generic

相对这个正式的方式,DPDK还提供kmod子目录下的igb_uio模块实现这个功能。加载如下:

sudo modprobe uio

sudoi insmod kmod/igb_uio.ko

注意:对于一些缺乏对中断支持的设备,例如虚拟设备(VF),igb_uio需要用来替换uio_pci_generic。

从DPDK1.7以上版本提供VFIO支持以后,对于使用VFIO的平台来说,用不用uio就无所谓了。

3.5在家VFIO模块

运行一个使用VFIO的程序,vfio-pci模块必须加载:

sudo modprobe vfio-pci

当然要使用VFIO,内核也必须支持才行。自动3.6.0内核版本以来都包含有VFIO模块且默认都是加载的,但是最好是看看对应使用的linux发行版本的说明文档以防万一。

哎,用VFIO,内核和BIOS都必须支持且被配置使用IO virtualization(例如 intel@VT-d(bios里面的一个选项)

对于非root用户在跑dpdk程序时,应该赋予相应的权限操作VFIO。可以通过DPDK脚本来实现(在tools目录下,名字是setup.sh)

3.6绑定和解绑网卡从内核模块

自从dpdk1.4版本起,dpdk程序不再需要自动的解绑所有支持dpdk且内核驱动正在用的网卡。取而代之的是,dpdk程序要用到的网卡必须在程序运行前绑定到uio_pci_generic, igb_uio或者vfio-pci模块。在linux内核驱动控制下的网卡都会被dpdk的pmd忽略,也不会被程序使用。

提示:dpdk将,也是默认,不再在启动时自动从linux内核驱动解绑每个网卡。任意一个要被dpdk用到的网卡必须在程序运行前先从linux控制下解绑然后绑定到对应的uio_pci_generic, igb_uio or vfio-pci。

绑定网卡到uio_pci_generic, igb_uio or vfio-pci供dpdk使用,以及将网卡返回给linux系统控制,tools子目录下叫dpdk_nic_bind.py脚本可以提供该功能。这个脚本可以列出当前系统内所有网卡的状态信息,也可以从不同linux驱动绑定或者解绑网卡,包括uio和vfio模块。下面是一些展示脚本如何使用的例子。对于脚本完整的功能和参数介绍可以通过使用脚本带上-help或者是-usage参数。要注意的是使用dpdk_nic_bind.py脚本前需要将uio或者是vfio加载到内核中。

提示:对于使用VFIO的设备会有一些限制。主要归结于IOMMU分组如何工作。任何虚拟设备就其本身而言都可以使用VFIO,但是对于物理设备要求绑定到VFIO,或者是其中一些绑定到VFIO而另外的不绑定到任何东西上。

如果你的设备是在一个PCI-to-PCI网桥之后,网桥将作为设备的IOMMU组的一部分。所以当设备在网桥之后工作于VFIO,网桥驱动也必须与网桥PCI设备解绑。

提示:任何用户可以使用脚本查看网卡状态,解绑和绑定网卡,但是需要root权限。

上面这个xen啊,vfio啊,不是很懂,翻译的不是很清楚,也可能翻译错了,想搞明白还是看原文吧。

看系统内网卡的状态:

root@host:DPDK# ./tools/dpdk_nic_bind.py --statusNetwork devices using DPDK-compatible driver============================================0000:82:00.0 '82599EB 10-Gigabit SFI/SFP+ Network Connection' drv=uio_pci_generic unused=ixgbe0000:82:00.1 '82599EB 10-Gigabit SFI/SFP+ Network Connection' drv=uio_pci_generic unused=ixgbeNetwork devices using kernel driver===================================0000:04:00.0 'I350 Gigabit Network Connection' if=em0 drv=igb unused=uio_pci_generic *Active*0000:04:00.1 'I350 Gigabit Network Connection' if=eth1 drv=igb unused=uio_pci_generic0000:04:00.2 'I350 Gigabit Network Connection' if=eth2 drv=igb unused=uio_pci_generic0000:04:00.3 'I350 Gigabit Network Connection' if=eth3 drv=igb unused=uio_pci_genericOther network devices=====================<none>

绑定网卡eth1,04:00.1(eth1的pci号),到uio_pci_generic驱动:

root@host:DPDK# ./tools/dpdk_nic_bind.py --bind=uio_pci_generic 04:00.1

或者是用这种方式:

root@host:DPDK# ./tools/dpdk_nic_bind.py --bind=uio_pci_generic eth1

恢复设备82:00.0,绑定到原有的内核驱动:

root@host:DPDK# ./tools/dpdk_nic_bind.py --bind=ixgbe 82:00.0

4编译和运行范例程序

本章介绍了如何编译和在DPDK环境下运行程序,也指示了范例程序存在哪里。

注意:本章的部分内容可以在第6章描述的使用安装脚本后操作。

4.1编译范例程序

一旦DPDK环境创建完成(例如x86_64-nativelinuxapp-gcc),包含开发程序需要的所有的DPDK库和头文件。

当在linux下编译一个基于dpdk的程序,下面的两个参数要被导出:

RTE_SDK:指向DPDK安装目录

RTE_TARGET:指向DPDK目的环境目录,就是编译dpdk产生的目录,例如x86_64-nativelinuxapp-gcc

下面是创建helloworld程序的例子,这个是在dpdk linux环境在运行的。这个例子可以在${RTE_SDK}/examples目录下找到。

这个目录包含一个main.c文件。这个文件和dpdk目录下的库结合,调用各种初始化dpdk环境的函数,然后加载每个core的入口函数(分发程序)运行。(这个我自己明白但是翻译的不清楚,实际就是在dpdk线程上运行一个入口函数,在函数内再根据所在的逻辑核配置跑对应的功能,入rx,tx,fp)。默认编译产生的可执行二进制文件在build目录下。

user@host:~/DPDK$ cd examples/helloworld/user@host:~/DPDK/examples/helloworld$ export RTE_SDK=$HOME/DPDKuser@host:~/DPDK/examples/helloworld$ export RTE_TARGET=x86_64-native-linuxapp-gccuser@host:~/DPDK/examples/helloworld$ makeCC main.oLD helloworldINSTALL-APP helloworldINSTALL-MAP helloworld.mapuser@host:~/DPDK/examples/helloworld$ ls build/apphelloworld helloworld.map

注意:在上面的例子中,helloworld是在dpdk目录框架下。然而也有可能它不再dpdk目录下以保证dpdk的完整。在下面的例子中,helloworl程序就是从dpdk目录下将helloworld拷贝到一个新的目录下:

user@host:~$ export RTE_SDK=/home/user/DPDKuser@host:~$ cp -r $(RTE_SDK)/examples/helloworld my_rte_appuser@host:~$ cd my_rte_app/user@host:~$ export RTE_TARGET=x86_64-native-linuxapp-gccuser@host:~/my_rte_app$ makeCC main.oLD helloworldINSTALL-APP helloworldINSTALL-MAP helloworld.map

4.2运行一个范例程序

提示:uio驱动和大页内存必须在程序运行前设置。

提示:每个程序使用的网卡必须绑定到内核对应的驱动,实际就是我们家在到内核的dpdk内核模块,如igb_uio等,如3.5所写的,这个动作也要在程序运行前执行。

程序是和dpdk目标环境下的环境抽象层库连接,后者提供了每个dpdk程序通用的一些选项。

下面是需要提供给eal的参数列表:

./rte-app -c COREMASK -n NUM [-b <domain:bus:devid.func>] [--socket-mem=MB,...] [-m MB] [-r NUM] 

EAL选项如下:

-c coremask:16进制的要运行的逻辑核位掩码。注意在不同的平台之间core编号可能不同,需要预先确定好。 -n NUM:每个处理器插槽的内存通道数 -b <domain:bus:devid.func>:网卡黑名单,阻止EAL使用的特殊的PCI设备,支持多个-b选项 -use-device:只使用特殊的网卡设备,可以使用逗号分割的<[domain:]bus:devid.func>值来指定。不能喝-b一起用 -socket-mem:从特定的socket上分配大页内存 -m MB:从大页分配内存数,不区分是那个socket。建议用-socket-mem代替这个选项 -r NUM:内存rank数(说实话,查了那么多资料,还是对这个不是很清楚啊) -v:在启动时显示版本信息 -huge-dir:大页内存挂在的目录 -file-prefix:用于大页文件的前缀名 -proc-type:The type of process instance进程类型(主/备吧,我猜的没有用过多进程的) -xen-dom0:支持程序在Xen Domain0上不使用大页运行 -vmware-tsc-map:使用VMvare的TSC代替本地的RDTSC -base-virtaddr:特定的虚拟基地址 -vfio-intr:VFIO使用的特定的中断类型(即使VFIO不使用也没有影响)

-n和-c是必须得,其它都是可选项

拷贝可执行程序到目的机器上,如下运行程序(假设每个socket有4个内存通道,使用0-3核跑该程序):

user@target:~$ ./helloworld -c f -n 4

 注意:选项-proc-type和-file-prefix EAL用于跑多个dpdk程序,可以看《dpdk范例程序使用手册》中的多进程范例程序一章和dpdk开发手册获取更多细节。

4.2.1程序使用的逻辑核

对于dpdk程序,参数coremask是必须有的。每个bit的掩码都对应linxu展示的逻辑核编号。这些逻辑核编号对应具体得NUMA上的物理核心,不同的平台会不同,建议在不同的平台上运行不同的例子要考虑选择使用的core的分布。

运行dpdk程序初始化EAL时,会将使用的逻辑核和对应的socket打印出来。这些信息也可用通过查看/proc/cpuinfo来获取,例如,执行 cat /proc/cpuinfo,显示的physical id表明了每个核所属的cpu插槽。这个在我们弄明白逻辑核和socket的映射关系时很有用。

注意:更多的逻辑核分布的拓扑结构视图可以通过使用lstopo获取。在Fedora上,该命令可能安装了,像这样运行:

sudo yum install hwloc

./lstopo

提示:在不同的主板上布局不同,逻辑核的分布也会不同,我们需要在选取程序使用的逻辑核之前检查一下

4.2.2程序使用的大页内存

在程序运行时,使用分配的数量的大页内存(就是你分配多少就用多少了,而不是按需去整),这是在没有指定参数-m和-socket-mem时程序在启动时自动执行的。

如果程序使用-m和-socket-mem指定具体的内存数超出时,程序就会挂掉。然而,程序要求使用的内存比分配保留的大页内存数小,特别是用-m选项指定时,程序也可能会挂掉。原有如下:假设现在系统在socket0和socket1上各有1024个2M的大内存页。如果用户申请使用128M内存,那64个页可能不满足以下限制:

内核只在soket1上给程序分配了大页内存。万一程序想要在socket0上创建一个对象,例如队列或者是mempool,程序会报错。要避免这个错误建议使用-socket-mem选项代替-m选项。(就是-m是内核随机分配的内存,不知道在哪个socket上,而-socket-mem是指定socket,我们创建队列,mempool是需要指定使用内存的socke,如果这个socket上内存不足就会报错退出) 这些内存页可能在物理内存上随机的分布在任意一个地方,而dpdk EAL试图分配一个在物理上连续的内存块。在这些物理页不连续时,万一程序想要申请一段很大的mempool是灰报错。

-socket-mem选择用于在特定的socket上申请指定数目的内存页。使用-socket-mem带上每个socket申请的内存数实现。例如,使用-socket-mem=0,512,意味着只在socket1上分配512m内存。同样的,在4个socket的机器上,从socket0和socket2上分配各1g内存,参数应该是-socket-mem=1024,0,1024.在其它没有明确指定的cpusocket上不会分配内存,如socket3.如果dpdk在每个socket上不能申请到足够的内存,EAL就会初始化失败。

4.3其它的范例程序

其它的例子程序在${RTE_SDK}/examples目录下。这些程序的创建和运行与本手册中其它章节描述的差不多。另外就是看《dpdk范例程序使用手册》看具体每个程序的描述信息,编译和执行时的特殊指令,以及一些代码的注释说明。

4.4另外的测试程序

除此之外,有两个程序在库创建时也创建了。源文件在DPDK/app下,在测试和测试pmd时调用。可以在库创建完成后,在build/app下找到。

测试程序提供了DPDK各种功能的多种测试。

PMD测试程序提供了一些不同的包收发测试和像如何使用INTEL® 82599万兆网卡的FLow Director这类特征的例子。

5打开其它功能

5.1高精度时钟功能HPET

5.1.1BIOS支持

要使用HPET那么平台的BIOS必须是支持的,否则使用默认的TSC。一般情况下,开机时按F2可以进入bios设置。用户可以选择HPET选项。在intel的Crystal Forest平台的BIOS上,路径是Advanced -> PCH-IOConfiguration -> High Precision Timer -> (Change fromDisabled to Enabled if necessary).

在系统重启后,用下面的指令确认是否打开HPET:

# grep hpet /proc/timer_list

如果没啥返回,HPET在BIOS上肯定打开了,每次在重启后执行上述命令。

5.1.2linux内核支持

 dpdk使用平台的HPET通过映射时间戳计时器到用户地址空间,诸如此类的,就需要内核的HPET_MMAP选项打开。

提示:在Fedora上,和其它的注入unbuntu发现版上,HPET的内核选项默认是关闭的。在将选项修改后在编译内核,请通过查看发行版文档来获取确切的指令。

5.1.3在DPDK中打开HPET

默认情况下,DPDK的配置文件中HPET支持选项是禁用的。要使用HPET,那么CONFIG_RTE_LIBEAL_USE_HPET选项需要设置成y,会在编译时使用HPET配置。

应用程序要使用rte_get_hpet_cycles() 和rte_get_hpet_hz()这两个接口,使用HPET最为rte_timer库的默认时间源。API rte_eal_hpet_init()需要在程序初始化时调用。这个API的调用确认HPET是可以使用,返回错误值则说明不能用。例如,如果内核的HPET_MMAP是关闭的。程序可以决定采取什么动作,如果HPET在运行时不能用。

注意:程序要使用时间API,但是明确HPET是不能用时,建议使用rte_get_timer_cycles() and rte_get_timer_hz()代替HPET相关的API。这两个API使用的不是TSC就是HPET,取决于程序是否调用了rte_eal_hpet_init(),做了就看系统是否在运行时支持了。

5.2非root权限下运行dpdk程序

 尽管基于dpdk的程序能直接使用到网卡和其它硬件资源,只需要一点小的权限调整即可跑起来而不是作为root用户使用。要实现这些,文件的所有者或者是权限要调整以便确保linux用户账号能够使用dpdk程序:

作为大页挂在点服务的目录,例如:/mnt/huge 在/dev下用户态io设备文件,例如:/dev/uio0,/dev/uio1等等 用户态io sysfs配置和源文件,例如uio0:/sys/class/uio/uio0/device/config /sys/class/uio/uio0/device/resource* 如果使用了HPET,/dev/hpet

注意:在一些安装的linux上,会默认创建一个大页的挂载点/dev/hugepages

5.3电量管理和省电功能

要用到dpdk的电源管理功能就要求该平台的bios支持增强型intel SpeedStep®技术,否则,sys文件/sys/devices/system/cpu/cpu0/cpufreq就不会存在且cpu平率调整的电源管理也不恩能够用。查阅相关的bIOS文档看如何实现吧

举例说明,在一些intel平台上,Enhanced IntelSpeedStep® Technology在BIOS的路径是:

Advanced->Processor Configuration->Enhanced Intel SpeedStep® Tech

此外,为了电源管理C3和C6也需要打开。C3和C6路径如下:Advanced->Processor Configuration->Processor C3 Advanced->ProcessorConfiguration-> Processor C6

5.4使用linux的cpu核心隔离来减少上下文切换的开销

当DPDK程序线程固定在系统的摸一个核上运行时,linux调度器可能会将其它的任务调度到该核上运行。为了防止其它负载调度到dpdk使用的核上,需要使用linux内核参数isolcpus来将这些核从linux调度器中隔离开。

例如,如果dpdk程序跑在逻辑核2,4,6上,下面的这个参数需要加到内核选项(就是那个grub文件)中:

isolcpus=2,4,6

5.5 加载kni模块

要跑dpdk KNI例子程序,需要额外加载一个模块kni。在dpdk编译目录下的kmod中,和加载igb_uio一样,使用ismod加载:

#insmod kmod/rte_kni.ko

注意:请看DPDK范例使用手册的KNI示例章节。

5.6通过intel的VT-d虚拟化技术实现IOMMU直接传输跑dpdk

要让linux内核支持intel® VT-d,需要打开以下内核选项:

• IOMMU_SUPPORT• IOMMU_API• INTEL_IOMMU

此外,要跑使用intel VT-d技术的dpdk程序,在使用igb_uio驱动时必须带上iommu=pt参数。这会让直接内存访问重新映射。如果内核参数NTEL_IOMMU_DEFAULT_ON没有设置,那么内核参数intel_iommu=on也必须使用。这是为了确保intel IOMMU按照预期初始化。

请注意当强制在igb_uio,vfio-pci驱动上使用iommu=pt,确实可以同时使用iommu=pt and iommu=on。

5.740g网卡上小包的高性能处理

最新版本的固件镜像解决了性能增强的问题,固件更新可以获取更高的处理性能。跟本地的intel工程师联系固件更新。支持固件版本FVL3E的基本驱动将在下一个dpdk版本中整合到一起,当前能用到的版本是4.2.6

5.7.1 打开Extended Tag和设置Max Read Request Size

PCI的extended_tag和max_read_request_size对40g网卡的小包处理性能有巨大的影响。打开extended_tag和设置max_read_request_size为小尺寸例如128字节会对小包的处理性能提升有恒大的帮助。

大部分可以在BIOS启动时设置 对于其它BIOS,PCI配置可以通过使用命令setpci,或者是dpdk配置文件的特殊配置 pci设备的地址0xa8处bit7:5处用于设置max_read_request_size,而0xa8处的第八个bit用于开启关闭extended_tag。可以用lspci和setpci来读取读取0xa8对应的值然后回写修改的值。 在一般的linux配置文件中,下面的配置项要zuo修改:

      CONFIG_RTE_PCI_CONFIG      CONFIG_RTE_PCI_EXTENDED_TAG      CONFIG_RTE_PCI_MAX_READ_REQUEST_SIZE

5.7.2 使用16字节大小的rx描述符

i40e的PMD支持16和32字节大小rx描述符,16个字节可以在小包处理性能上提供帮助。要使用16字节的需要修改配置文件中的配置项CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC。

5.7.3高性能和包延迟权衡

由于硬件设计的原因,每个包描述符的回写是需要网卡内部的中断型号来实现。最小时间间隔的中断信号可以通过配置文件的CONFIG_RTE_LIBRTE_I40E_ITR_INTERVAL配置,编译生效。尽管有默认配置,用户可以考虑性能或者是包处理延迟来调整这个参数。

6快速启动脚本

tools目录下的setup.sh脚本可以帮助用户完成以下任务:

创建dpdk库 装载和卸载dpdk igb_uio内核模块 装载和卸载VFIO内核模块 装载和卸载dpdk KNI内核模块 创建和删除NUMA或非NUMA下的大页 网络端口状态视图和分配dpdk使用的端口 赋予非特权用户使用VFIO的权限 运行测试程序和测试pmd程序 查看内存的大页信息 显示/mnt/huge的大页列表 移除创建的dpdk库

那些步骤完成后,用户需要编译自己的程序并连接创建的dpdk EAL库。

6.1脚本的使用

 setup.sh脚本可以暗转给一定的顺序使用,每一步都给说明方便用户完成想要的任务。下面是每一步骤的简短说明:

step1:创建dpdk库

 最开始,用户表虚选择需要创建的dpdk目标类型和创建库是用到的编译选项。

用户必须先有所有的链接库,模块,更新和编译安装,如前面章节中介绍的。

step2:安装环境

用户配置linux系统环境以支持运行dpdk程序。大页可以在numa或非numa系统中建立。任何存在的大页都会被弄走。要用到的内核模块也会在这是插入,dpdk用的网卡端口也会绑定到这个模块。

step3:运行程序

一旦上述步骤完成,用户可能要运行测试程序。测试程序允许用户运行一系列的dpdk功能测试。testpmd测试程序则是测试收发包。

step4:检查系统

这一步提供一些工具查看大页的状态信息

step:系统还原

最后一步是将系统还原到初始的状态。

6.2用例

下面的步骤是展示如何使用setup.sh脚本。脚本的运行需要使用source命令,执行前脚本的一些选项提示用到的值。

提示:setup.sh脚本要运行在root权限下。

user@host:~/rte$ source tools/setup.sh------------------------------------------------------------------------RTE_SDK exported as /home/user/rte------------------------------------------------------------------------Step 1: Select the DPDK environment to build------------------------------------------------------------------------[1] i686-native-linuxapp-gcc[2] i686-native-linuxapp-icc[3] ppc_64-power8-linuxapp-gcc[4] x86_64-ivshmem-linuxapp-gcc[5] x86_64-ivshmem-linuxapp-icc[6] x86_64-native-bsdapp-clang[7] x86_64-native-bsdapp-gcc[8] x86_64-native-linuxapp-clang[9] x86_64-native-linuxapp-gcc[10] x86_64-native-linuxapp-icc------------------------------------------------------------------------

Step 2: Setup linuxapp environment------------------------------------------------------------------------[11] Insert IGB UIO module[12] Insert VFIO module[13] Insert KNI module[14] Setup hugepage mappings for non-NUMA systems[15] Setup hugepage mappings for NUMA systems[16] Display current Ethernet device settings[17] Bind Ethernet device to IGB UIO module[18] Bind Ethernet device to VFIO module[19] Setup VFIO permissions------------------------------------------------------------------------

Step 3: Run test application for linuxapp environment------------------------------------------------------------------------[20] Run test application ($RTE_TARGET/app/test)[21] Run testpmd application in interactive mode ($RTE_TARGET/app/testpmd)------------------------------------------------------------------------Step 4: Other tools------------------------------------------------------------------------[22] List hugepage info from /proc/meminfo------------------------------------------------------------------------Step 5: Uninstall and system cleanup------------------------------------------------------------------------[23] Uninstall all targets[24] Unbind NICs from IGB UIO driver[25] Remove IGB UIO module[26] Remove VFIO module[27] Remove KNI module[28] Remove hugepage mappings[29] Exit ScriptOption:

 

下面是创建x86_64-native-linuxapp-gcc dpdk库的命令使用示范:

Option: 9================== Installing x86_64-native-linuxapp-gccConfiguration done== Build lib...Build completeRTE_TARGET exported as x86_64-native -linuxapp-gcc

 

下面是加载dpdk uio驱动的示例:(感觉不对,25应该按上面说的是卸载驱动啊,2.1没用过,等后面翻译开发手册时再试试吧)

Option: 25Unloading any existing DPDK UIO moduleLoading DPDK UIO module

在numa系统中创建大页的示范。在每个node上分配1024个2m内存页。结果就是程序应该在启动时带上-m 4096参数使用这些内存(实际上即使不提供-m选项,dpdk程序也会自动使用这些内存)

注意:如果显示提示用户删除临时文件,输入y

Option: 15Removing currently reserved hugepagesmounting /mnt/huge and removing directoryInput the number of 2MB pages for each nodeExample: to have 128MB of hugepages available per node,enter '64' to reserve 64 * 2MB pages on each nodeNumber of pages for node0: 1024Number of pages for node1: 1024Reserving hugepagesCreating /mnt/huge and mounting as hugetlbfs

下面是加载测试程序在一个核上跑的示例:

Option: 20Enter hex bitmask of cores to execute test app onExample: to execute app on cores 0 to 7, enter 0xffbitmask: 0x01Launching appEAL: coremask set to 1EAL: Detected lcore 0 on socket 0...EAL: Master core 0 is ready (tid=1b2ad720)RTE>>

 

6.3应用程序

一旦用户setup.sh脚本运行过,EAL创建了,大页也搞好了。就可以创建和运行自己的程序了或者是提供的例子程序。

下面是运行/exaples下的helloword程序示例,使用的是0-3核:

rte@rte-desktop:~/rte/examples$ cd helloworld/rte@rte-desktop:~/rte/examples/helloworld$ makeCC main.oLD helloworldINSTALL-APP helloworldINSTALL-MAP helloworld.maprte@rte-desktop:~/rte/examples/helloworld$ sudo ./build/app/helloworld -c 0xf -n 3[sudo] password for rte:EAL: coremask set to fEAL: Detected lcore 0 as core 0 on socket 0EAL: Detected lcore 1 as core 0 on socket 1EAL: Detected lcore 2 as core 1 on socket 0EAL: Detected lcore 3 as core 1 on socket 1EAL: Setting up hugepage memory...EAL: Ask a virtual area of 0x200000 bytesEAL: Virtual area found at 0x7f0add800000 (size = 0x200000)EAL: Ask a virtual area of 0x3d400000 bytesEAL: Virtual area found at 0x7f0aa0200000 (size = 0x3d400000)EAL: Ask a virtual area of 0x400000 bytesEAL: Virtual area found at 0x7f0a9fc00000 (size = 0x400000)EAL: Ask a virtual area of 0x400000 bytesEAL: Virtual area found at 0x7f0a9f600000 (size = 0x400000)EAL: Ask a virtual area of 0x400000 bytesEAL: Virtual area found at 0x7f0a9f000000 (size = 0x400000)EAL: Ask a virtual area of 0x800000 bytesEAL: Virtual area found at 0x7f0a9e600000 (size = 0x800000)EAL: Ask a virtual area of 0x800000 bytesEAL: Virtual area found at 0x7f0a9dc00000 (size = 0x800000)EAL: Ask a virtual area of 0x400000 bytesEAL: Virtual area found at 0x7f0a9d600000 (size = 0x400000)EAL: Ask a virtual area of 0x400000 bytesEAL: Virtual area found at 0x7f0a9d000000 (size = 0x400000)EAL: Ask a virtual area of 0x400000 bytesEAL: Virtual area found at 0x7f0a9ca00000 (size = 0x400000)EAL: Ask a virtual area of 0x200000 bytesEAL: Virtual area found at 0x7f0a9c600000 (size = 0x200000)EAL: Ask a virtual area of 0x200000 bytesEAL: Virtual area found at 0x7f0a9c200000 (size = 0x200000)EAL: Ask a virtual area of 0x3fc00000 bytesEAL: Virtual area found at 0x7f0a5c400000 (size = 0x3fc00000)EAL: Ask a virtual area of 0x200000 bytesEAL: Virtual area found at 0x7f0a5c000000 (size = 0x200000)EAL: Requesting 1024 pages of size 2MB from socket 0EAL: Requesting 1024 pages of size 2MB from socket 1EAL: Master core 0 is ready (tid=de25b700)EAL: Core 1 is ready (tid=5b7fe700)EAL: Core 3 is ready (tid=5a7fc700)EAL: Core 2 is ready (tid=5affd700)hello from core 1hello from core 2hello from core 3hello from core 0

62人参与, 0条评论 登录后显示评论回复

你需要登录后才能评论 登录/ 注册