<font face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" size="2">Ok, this happens again and again!<br>Like this LXD is not usable in production. I cannot restart LXD every few days.<br><br>I'll answer Fajar's questions from below here:<br><br>By "inbound" I mean connections from the host/internet to he container. Those work and keep working. I have port forwarding enabled.<br>By "outbound" I mean connections from the container to the host/internet. The latter keep failing after some time (several days or so).<br><br>On the host:<br>I can ping the container just fine.<br><br>In the container:<br>I can ping lxdbr0:<br><br>root@taskd:~# ping 10.0.8.1                                                                                                                       <br>PING 10.0.8.1 (10.0.8.1) 56(84) bytes of data.                                                                                                    <br>64 bytes from 10.0.8.1: icmp_seq=1 ttl=64 time=0.202 ms                                                                                           <br>64 bytes from 10.0.8.1: icmp_seq=2 ttl=64 time=0.121 ms                                                                                           <br>64 bytes from 10.0.8.1: icmp_seq=3 ttl=64 time=0.144 ms<br><br>And "tcpdump -i lxdbr0" on the host shows:<br>11:29:23.570390 IP 10.0.8.54 > 10.0.8.1: ICMP echo request, id 12901, seq 1, length 64<br>11:29:23.570459 IP 10.0.8.1 > 10.0.8.54: ICMP echo reply, id 12901, seq 1, length 64<br>11:29:24.569336 IP 10.0.8.54 > 10.0.8.1: ICMP echo request, id 12901, seq 2, length 64<br>11:29:24.569386 IP 10.0.8.1 > 10.0.8.54: ICMP echo reply, id 12901, seq 2, length 64<br>11:29:25.568580 IP 10.0.8.54 > 10.0.8.1: ICMP echo request, id 12901, seq 3, length 64<br>11:29:25.568630 IP 10.0.8.1 > 10.0.8.54: ICMP echo reply, id 12901, seq 3, length 64<br><br>However, I cannot ping an outside IP:<br>root@taskd:~# ping 8.8.8.8                                                                                                                        <br>PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.<br><br>On the host I see:<br>11:30:14.343238 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 12902, seq 1, length 64<br>11:30:15.350848 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 12902, seq 2, length 64<br>11:30:16.352577 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 12902, seq 3, length 64<br>11:30:17.352640 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 12902, seq 4, length 64<br>11:30:18.352628 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 12902, seq 5, length 64<br><br>When trying to ping google.com I see:<br>11:30:52.847738 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 12903, seq 1, length 64<br>11:30:53.854716 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 12903, seq 2, length 64<br>11:30:54.862632 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 12903, seq 3, length 64<br>11:30:55.870632 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 12903, seq 4, length 64<br>11:30:56.878594 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 12903, seq 5, length 64<br><br>But at the same time I can ping google.com from the host!<br><br>After running<br><br>service lxd stop<br>service lxd-bridge stop<br>service lxd start<br><br>on the host, everything works again.<br><br>Here the same "tcpdump -i lxdbr0" as above:<br>12:11:44.317375 IP 10.0.8.54 > 10.0.8.1: ICMP echo request, id 13076, seq 1, length 64<br>12:11:44.317477 IP 10.0.8.1 > 10.0.8.54: ICMP echo reply, id 13076, seq 1, length 64<br>12:11:45.316620 IP 10.0.8.54 > 10.0.8.1: ICMP echo request, id 13076, seq 2, length 64<br>12:11:45.316680 IP 10.0.8.1 > 10.0.8.54: ICMP echo reply, id 13076, seq 2, length 64<br>12:11:46.316587 IP 10.0.8.54 > 10.0.8.1: ICMP echo request, id 13076, seq 3, length 64<br>12:11:46.316645 IP 10.0.8.1 > 10.0.8.54: ICMP echo reply, id 13076, seq 3, length 64<br><br>12:11:55.044655 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 13077, seq 1, length 64<br>12:11:55.045254 IP google-public-dns-a.google.com > 10.0.8.54: ICMP echo reply, id 13077, seq 1, length 64<br>12:11:56.044626 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 13077, seq 2, length 64<br>12:11:56.045285 IP google-public-dns-a.google.com > 10.0.8.54: ICMP echo reply, id 13077, seq 2, length 64<br>12:11:57.044617 IP 10.0.8.54 > google-public-dns-a.google.com: ICMP echo request, id 13077, seq 3, length 64<br>12:11:57.045264 IP google-public-dns-a.google.com > 10.0.8.54: ICMP echo reply, id 13077, seq 3, length 64<br><br>12:12:15.553335 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 13078, seq 1, length 64<br>12:12:15.554093 IP zrh04s08-in-f14.1e100.net > 10.0.8.54: ICMP echo reply, id 13078, seq 1, length 64<br>12:12:16.554574 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 13078, seq 2, length 64<br>12:12:16.555275 IP zrh04s08-in-f14.1e100.net > 10.0.8.54: ICMP echo reply, id 13078, seq 2, length 64<br>12:12:17.553578 IP 10.0.8.54 > zrh04s08-in-f14.1e100.net: ICMP echo request, id 13078, seq 3, length 64<br>12:12:17.554337 IP zrh04s08-in-f14.1e100.net > 10.0.8.54: ICMP echo reply, id 13078, seq 3, length 64<br><br>The ARP requests I have removed, because they are the same in both cases.<br><br>What could be happening to LXD after it's been running for a while??<br><br>Thanks<br><br><font color="#990099">-----"lxc-users" <lxc-users-bounces@lists.linuxcontainers.org> wrote: -----</font><div class="iNotesHistory" style="padding-left:5px;"><div style="padding-right:0px;padding-left:5px;border-left:solid black 2px;">To: LXC users mailing-list <lxc-users@lists.linuxcontainers.org><br>From: "Fajar A. Nugraha" <list@fajar.net><br>Sent by: "lxc-users" <lxc-users-bounces@lists.linuxcontainers.org><br>Date: 05/30/2016 7:14<br>Subject: Re: [lxc-users] LXD containers lose outbound network<br><br><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Sun, May 29, 2016 at 1:30 PM,  <span dir="ltr"><<a href="mailto:david.andel@bli.uzh.ch" target="_blank">david.andel@bli.uzh.ch</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><font face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" size="2">Hi<br><br>My LXD has the following network configuration:<br><br>root@qumind:~# egrep -v '(^#|^$)' /etc/default/lxd-bridge <br>USE_LXD_BRIDGE="true"<br>LXD_BRIDGE="lxdbr0"<br>UPDATE_PROFILE="true"<br>LXD_CONFILE=""<br>LXD_DOMAIN="lxd"<br>LXD_IPV4_ADDR="10.0.8.1"<br>LXD_IPV4_NETMASK="255.255.255.0"<br>LXD_IPV4_NETWORK="<a href="http://10.0.8.0/24" target="_blank">10.0.8.0/24</a>"<br>LXD_IPV4_DHCP_RANGE="10.0.8.2,10.0.8.254"<br>LXD_IPV4_DHCP_MAX="253"<br>LXD_IPV4_NAT="true"<br>LXD_IPV6_ADDR=""<br>LXD_IPV6_MASK=""<br>LXD_IPV6_NETWORK=""<br>LXD_IPV6_NAT="false"<br>LXD_IPV6_PROXY="false"<br><br>And the network works fine at first. However, after some time outbound connections fail, while inbound connections continue working.<br>It affects all LXD containers.<br></font></blockquote><div><br></div><div>What do you mean "outbound" and "inbound"?</div><div><br></div><div>From that setup, you have a NAT network. So others servers in your LAN shouldn't be able to access your containers, unless you also setup port forwarding (which you didn't mention). So "inbound" can't mean "other servers in your LAN accessing your container" in your case.</div><div><br></div><div>If by "inbound" you mean "even the host can't access the container", then something is definitely wrong. I'd start by using simple "ping" test when that happens, coupled with "tcpdump" on both the host (lxdbr0 and veth*) and container (eth0) side.</div><div><br> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><font face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" size="2"><br>And it is not enough to just run <br><br>root@qumind:~# service lxd-bridge stop<br>Job for lxd-bridge.service canceled.<br>root@qumind:~# service lxd restart<br><br>while the containers are running. The behaviour stays the same.<br><br></font></blockquote><div><br></div><div>Obviously. You can't delete a bridge that has interfaces attached (which is the case when containers are running)</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><font face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" size="2">I have to stop the containers first, then restart the LXD bridge and start the containers again.<br>Only then the outbound connections work again - until I have to restart it all again.<br><br>What could be the culprit?<br></font></blockquote><div><br></div><div><br></div><div>Start with the basics:</div><div>- test host <-> container networking first. Use "ping" and "tcpdump" to help</div><div>- look for error/weird messages at syslog, e.g. "iptables" or "conntrack"</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><font face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" size="2">Thanks<br><br>PS:<br>To stop all running containers I am using <br>for i in $(lxc list | grep RUNNING | awk -F'|' '{print $2}' | tr -d [:blank:]); do lxc stop $i; done<br>I think it would be convenient to be able to just say <br>lxc stop all<br><span></span><div></div></font><br></blockquote><div><br></div><div>"service lxd stop" would stop all running containers before stopping lxd. And "service lxd start" after that will start containers that were previously started, as well as containers with boot.autostart: "true"</div><div><br></div><div>-- </div><div>Fajar</div></div></div></div> <div><font face="Courier New,Courier,monospace" size="2">_______________________________________________<br>lxc-users mailing list<br>lxc-users@lists.linuxcontainers.org<br><a href="http://lists.linuxcontainers.org/listinfo/lxc-users">http://lists.linuxcontainers.org/listinfo/lxc-users</a></font></div></lxc-users-bounces@lists.linuxcontainers.org></list@fajar.net></div></div><div></div></font>