1. numa的几个概念（node，socket，core，thread）
对于socket，core和thread会有不少文章介绍，这里简单说一下，具体参见下图：
一句话总结：socket就是主板上的cpu插槽; core就是socket里独立的一组程序执行的硬件单元，比如寄存器，计算单元等; thread：就是超线程hyperthread的概念，逻辑的执行单元，独立的执行上下文，但是共享core内的寄存器和计算单元。
numa体系结构中多了node的概念，这个概念其实是用来解决core的分组的问题，具体参见下图来理解（图中的os cpu可以理解thread，那么core就没有在图中画出），从图中可以看出每个socket里有两个node，共有4个socket，每个socket 2个node，每个node中有8个thread，总共4（socket）× 2（node）× 8 （4core × 2 thread） = 64个thread。
另外每个node有自己的内部cpu，总线和内存，同时还可以访问其他node内的内存，numa的最大的优势就是可以方便的增加cpu的数量，因为node内有自己内部总线，所以增加cpu数量可以通过增加node的数目来实现，如果单纯的增加cpu的数量，会对总线造成很大的压力，所以uma结构不可能支持很多的核。
《此图出自：numa best practices for dell poweredge 12th generation servers》
根据上面提到的，由于每个node内部有自己的cpu总线和内存，所以如果一个虚拟机的vcpu跨不同的node的话，就会导致一个node中的cpu去访问另外一个node中的内存的情况，这就导致内存访问延迟的增加。在有些特殊场景下，比如nfv环境中，对性能有比较高的要求，就非常需要同一个虚拟机的vcpu尽量被分配到同一个node中的pcpu上，所以在openstack的kilo版本中增加了基于numa感知的虚拟机调度的特性。（openstack kilo中nfv相关的功能具体参见：《openstack kilo新特性解读和分析（1）》）
2. 如何查看机器的numa拓扑结构
比较常用的命令就是lscpu，具体输出如下：
dylan@hp3000:~$ lscpu
architecture: x86_64
cpu op-mode(s): 32-bit, 64-bit
byte order: little endian
cpu(s): 48 //共有48个逻辑cpu（threads）
on-line cpu(s) list: 0-47
thread(s) per core: 2 //每个core有2个threads
core(s) per socket: 6 //每个socket有6个cores
socket(s): 4 //共有4个sockets
numa node(s): 4 //共有4个numa nodes
vendor id: genuineintel
cpu family: 6
model: 45
stepping: 7
cpu mhz: 1200.000
bogomips: 4790.83
virtualization: vt-x
l1d cache: 32k //l1 data cache 32k
l1i cache: 32k //l1 instruction cache 32k （牛x机器表现，冯诺依曼 哈弗体系结构）
l2 cache: 256k
l3 cache: 15360k
numa node0 cpu(s): 0-5,24-29
numa node1 cpu(s): 6-11,30-35
numa node2 cpu(s): 12-17,36-41
numa node3 cpu(s): 18-23,42-47从上图输出，可以看出当前机器有4个sockets，每个sockets包含1个numa node，每个numa node中有6个cores，每个cores包含2个thread，所以总的threads数量=4（sockets）×1（node）×6（cores）×2（threads）=48.
另外，也可以通过下面的脚本来打印出当前机器的socket，core和thread的数量。
#!/bin/bash
# simple print cpu topology
# author: kodango
function get_nr_processor()
{
grep '^processor' /proc/cpuinfo | wc -l
}
function get_nr_socket()
{
grep 'physical id' /proc/cpuinfo | awk -f: '{
print $2 | "sort -un"}' | wc -l
}
function get_nr_siblings()
{
grep 'siblings' /proc/cpuinfo | awk -f: '{
print $2 | "sort -un"}'
}
function get_nr_cores_of_socket()
{
grep 'cpu cores' /proc/cpuinfo | awk -f: '{
print $2 | "sort -un"}'
}
echo '===== cpu topology table ====='
echo
echo ' -------------- --------- ----------- '
echo '| processor id | core id | socket id |'
echo ' -------------- --------- ----------- '
while read line; do
if [ -z "$line" ]; then
printf '| %-12s | %-7s | %-9s |\n' $p_id $c_id $s_id
echo ' -------------- --------- ----------- '
continue
fi
if echo "$line" | grep -q "^processor"; then
p_id=`echo "$line" | awk -f: '{print $2}' | tr -d ' '`
fi
if echo "$line" | grep -q "^core id"; then
c_id=`echo "$line" | awk -f: '{print $2}' | tr -d ' '`
fi
if echo "$line" | grep -q "^physical id"; then
s_id=`echo "$line" | awk -f: '{print $2}' | tr -d ' '`
fi
done < /proc/cpuinfo
echo
awk -f: '{
if ($1 ~ /processor/) {
gsub(/ /,"",$2);
p_id=$2;
} else if ($1 ~ /physical id/){
gsub(/ /,"",$2);
s_id=$2;
arr[s_id]=arr[s_id] " " p_id
}
}
end{
for (i in arr)
printf "socket %s:%s\n", i, arr[i];
}' /proc/cpuinfo
echo
echo '===== cpu info summary ====='
echo
nr_processor=`get_nr_processor`
echo "logical processors: $nr_processor"
nr_socket=`get_nr_socket`
echo "physical socket: $nr_socket"
nr_siblings=`get_nr_siblings`
echo "siblings in one socket: $nr_siblings"
nr_cores=`get_nr_cores_of_socket`
echo "cores in one socket: $nr_cores"
let nr_cores*=nr_socket
echo "cores in total: $nr_cores"
if [ "$nr_cores" = "$nr_processor" ]; then
echo "hyper-threading: off"
else
echo "hyper-threading: on"
fi
echo
echo '===== end =====