<div dir="ltr">Cross posting to juju lists. It is my understanding that if you add ceph units to your juju environment or setup an NFS export that kubernetes can make use of both of those. Someone from the containers team would know more.<br><br><div class="gmail_quote"><div dir="ltr">On Thu, Feb 16, 2017 at 3:08 PM Eric <<a href="mailto:naisanza@gmail.com">naisanza@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class="gmail_msg">That's is what I've also been trying to do<div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Kubernetes has a list of supported persistent volume types, of which the only one's that aren't cloud-based that I've tried are NFS, CephFS, Glusterfs, and HostPath</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg"><a href="https://kubernetes.io/docs/user-guide/persistent-volumes/#types-of-persistent-volumes" class="gmail_msg" target="_blank">https://kubernetes.io/docs/user-guide/persistent-volumes/#types-of-persistent-volumes</a><br class="gmail_msg"></div><div class="gmail_msg"><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">With LXC + ZFS you can't:</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">- provide a raw block device (/dev/sad) to heketi, or a loopback device (/dev/loop0). so glusterfs is out of the picture (<a href="https://github.com/heketi/heketi/issues/665" class="gmail_msg" target="_blank">https://github.com/heketi/heketi/issues/665</a>)</div><div class="gmail_msg">- cephfs is like glusterfs, so cephfs is out</div><div class="gmail_msg">- NFS requires kernel modules, so nfs is out </div><div class="gmail_msg">- HostPath doesn't work over multiple nodes</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">So your only option is to use KVM</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">I use Proxmox. I knew LXC/LXD wasn't going to be able to fulfill what I needed to do on a single server, so I looked for a hypervisor that had a polished UI for creating both LXC and KVM VM</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">I'm still going to go with glusterfs, which will also need heketi, and will be running it in a fedora kvm. And the using it as a persistent volume for kubernetes </div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg"><br class="gmail_msg"></div></div></div><div class="gmail_extra gmail_msg"><br class="gmail_msg"><div class="gmail_quote gmail_msg">On Wed, Feb 15, 2017 at 4:16 AM, Butch Landingin <span dir="ltr" class="gmail_msg"><<a href="mailto:butchland@gmail.com" class="gmail_msg" target="_blank">butchland@gmail.com</a>></span> wrote:<br class="gmail_msg"><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg">Hi all,<br class="gmail_msg"><br class="gmail_msg"></div>I've been trying out Canonical Kubernetes via conjure-up and juju charms on<br class="gmail_msg"></div><div class="gmail_msg">a local LXD cluster. Following the tutorials, I've set up the cluster running on lxd with a zfs file system.<br class="gmail_msg"></div><br class="gmail_msg"></div>Everything's been great and I've pretty much exhausted the tutorials (running microbot, etc).<br class="gmail_msg"><br class="gmail_msg"></div>I'm now at the point where I want to try provisioning some persistent volumes or even trying<br class="gmail_msg"></div>dynamic storage allocation.  <br class="gmail_msg"></div><br class="gmail_msg">By this time, I'm 99 percent sure the answer is no (and I've searched extensively) , <br class="gmail_msg">but is there anyway to create Kubernetes persistent volumes on a multi node set up (not using hostpath) <br class="gmail_msg">on a local LXD cluster?<br class="gmail_msg"></div><br class="gmail_msg"></div>If there isn't,  does Canonical have this in their roadmap?<br class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Best regards,<br class="gmail_msg"></div><div class="gmail_msg">Butch<br class="gmail_msg"></div><div class="gmail_msg"><br class="gmail_msg"></div></div></div></div></div></div></div></div></div>
<br class="gmail_msg">_______________________________________________<br class="gmail_msg">
lxc-users mailing list<br class="gmail_msg">
<a href="mailto:lxc-users@lists.linuxcontainers.org" class="gmail_msg" target="_blank">lxc-users@lists.linuxcontainers.org</a><br class="gmail_msg">
<a href="http://lists.linuxcontainers.org/listinfo/lxc-users" rel="noreferrer" class="gmail_msg" target="_blank">http://lists.linuxcontainers.org/listinfo/lxc-users</a><br class="gmail_msg"></blockquote></div><br class="gmail_msg"></div>
_______________________________________________<br class="gmail_msg">
lxc-users mailing list<br class="gmail_msg">
<a href="mailto:lxc-users@lists.linuxcontainers.org" class="gmail_msg" target="_blank">lxc-users@lists.linuxcontainers.org</a><br class="gmail_msg">
<a href="http://lists.linuxcontainers.org/listinfo/lxc-users" rel="noreferrer" class="gmail_msg" target="_blank">http://lists.linuxcontainers.org/listinfo/lxc-users</a></blockquote></div></div>