Neutron DHCP-Agent问题分析定位(2)

作者：闫兴安

1.3.9  哪些网络有问题

for ns in `ipnetns`; do echo $ns, `ip netns exec $ns ifconfig |grep tap`; done

只要一个netns里有超过一个tap口，就有问题。

 

可以看出很多网络都有问题:

 

 

1.3.10           查看binging_failed的端口

for port in`neutron port-list |grep 'fa:16' |awk -F '|' '{print $2}'`; do echo $port,`neutron port-show $port |grep 'binding:vif_type'`;done

3705a584-7eaa-40d9-b0fa-83bfe3aa5a76,| binding:vif_type | binding_failed |

409f5088-27c1-46cc-96c1-d070748909b1,| binding:vif_type | binding_failed |

62080981-f573-4f58-8f88-b6003115c344,| binding:vif_type | binding_failed |

eba62518-fc29-4105-8518-6097084aa358,| binding:vif_type | binding_failed |

 

 

 

 

1.3.11           查看dhcp-agent的日志

日志中出现unable to enable/disable 某个网络。

 

 

从日志看，dhcp-agent中曾经通过Plugin往neutrondb中创建端口失败。注意，这里的OperationalError是远端的，也就是Neutron-server中的报错。

 
 
dhcp-agent最后的log提示同步成功了，之后就没有再进行任何同步。

 
从最后一句，"Synchronizing state compute"看出，dhcp-agent在这个时间点已经与neutron server完成了同步，此时状态是正常的了。

 
DHCP agent还有如下的错误：

这个日志的原因是neutron-server过忙，或者死了。

 

1.3.12           查看neutron-server的日志

cat/var/log/neutron/server.log |grep rpc

3705a584-7eaa-40d9-b0fa-83bfe3aa5a76, | binding:vif_type| binding_failed |
409f5088-27c1-46cc-96c1-d070748909b1, | binding:vif_type| binding_failed |
62080981-f573-4f58-8f88-b6003115c344, | binding:vif_type| binding_failed |
eba62518-fc29-4105-8518-6097084aa358, | binding:vif_type| binding_failed |
经对比，neutron server里的这些device就是这几个binding_failed的端口。
 

1.3.13           新创建网络是否有问题

测试下新创建网络时，DHCP功能是否正常。

创建网络：

网络创建成功了，检测namespace、tap、dnsmasq状态都对。

在这个网络里新建虚机，虚机也能获取IP地址。

1.3.14           总结问题现象

通过上面对环境的观察，看到如下现象：

1)      某个网络在某些网络节点上，dhcp namespace里存在两个 tap口。

2)      每个dhcp节点上，一个网络，dnsmasq进程只有一个，但是有两个节点用了相同的dhcp IP。

3)      不少网络都有此问题。总共21个网络，有18个网络有这个问题。

4)      有4个port出现binding failed现象，都出现在9-74这台上。

5)      新创建网络，没有出现binding failed现象，而且dhcp状态也都正确。

6)      dhcp-agent进程状态为active。

7)      查看dhcp-agent日志，发现日志在6天前开始就没有更新。

8)      查看dhcp-agent日志，发现日志停止前曾出现使能dhcp（创建dhcp port)失败的现象。

9)      日志中24号前出现大量出现连mq连不上的问题，在8月24之后解决了，日志不再报此问题。