tools/k8s/heat/scripts/k8s_vm_install.sh

   1 #!/bin/bash -x
   2 ################################################################################
   3 #   Copyright (c) 2019 AT&T Intellectual Property.                             #
   4 #                                                                              #
   5 #   Licensed under the Apache License, Version 2.0 (the "License");            #
   6 #   you may not use this file except in compliance with the License.           #
   7 #   You may obtain a copy of the License at                                    #
   8 #                                                                              #
   9 #       http://www.apache.org/licenses/LICENSE-2.0                             #
  10 #                                                                              #
  11 #   Unless required by applicable law or agreed to in writing, software        #
  12 #   distributed under the License is distributed on an "AS IS" BASIS,          #
  13 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.   #
  14 #   See the License for the specific language governing permissions and        #
  15 #   limitations under the License.                                             #
  16 ################################################################################
  17
  18
  19 # first parameter: number of expected running pods
  20 # second parameter: namespace (all-namespaces means all namespaces)
  21 # third parameter: [optional] keyword
  22 wait_for_pods_running () {
  23   NS="$2"
  24   CMD="kubectl get pods --all-namespaces "
  25   if [ "$NS" != "all-namespaces" ]; then
  26     CMD="kubectl get pods -n $2 "
  27   fi
  28   KEYWORD="Running"
  29   if [ "$#" == "3" ]; then
  30     KEYWORD="${3}.*Running"
  31   fi
  32
  33   CMD2="$CMD | grep \"$KEYWORD\" | wc -l"
  34   NUMPODS=$(eval "$CMD2")
  35   echo "waiting for $NUMPODS/$1 pods running in namespace [$NS] with keyword [$KEYWORD]"
  36   while [  $NUMPODS -lt $1 ]; do
  37     sleep 5
  38     NUMPODS=$(eval "$CMD2")
  39     echo "> waiting for $NUMPODS/$1 pods running in namespace [$NS] with keyword [$KEYWORD]"
  40   done
  41 }
  42
  43
  44 # first parameter: interface name
  45 start_ipv6_if () {
  46   # enable ipv6 interface
  47   # standard Ubuntu cloud image does not have dual interface configuration or ipv6
  48   IPv6IF="$1"
  49   if ifconfig -a $IPv6IF; then
  50     echo "" >> /etc/network/interfaces.d/50-cloud-init.cfg
  51     echo "allow-hotplug ${IPv6IF}" >> /etc/network/interfaces.d/50-cloud-init.cfg
  52     echo "iface ${IPv6IF} inet6 auto" >> /etc/network/interfaces.d/50-cloud-init.cfg
  53     ifconfig ${IPv6IF} up
  54   fi
  55 }
  56
  57 echo "k8s_vm_install.sh"
  58 set -x
  59 export DEBIAN_FRONTEND=noninteractive
  60 echo "__host_private_ip_addr__ $(hostname)" >> /etc/hosts
  61 printenv
  62
  63 IPV6IF=""
  64
  65 rm -rf /opt/config
  66 mkdir -p /opt/config
  67 echo "__docker_version__" > /opt/config/docker_version.txt
  68 echo "__k8s_version__" > /opt/config/k8s_version.txt
  69 echo "__k8s_cni_version__" > /opt/config/k8s_cni_version.txt
  70 echo "__helm_version__" > /opt/config/helm_version.txt
  71 echo "__host_private_ip_addr__" > /opt/config/host_private_ip_addr.txt
  72 echo "__k8s_mst_floating_ip_addr__" > /opt/config/k8s_mst_floating_ip_addr.txt
  73 echo "__k8s_mst_private_ip_addr__" > /opt/config/k8s_mst_private_ip_addr.txt
  74 echo "__mtu__" > /opt/config/mtu.txt
  75 echo "__cinder_volume_id__" > /opt/config/cinder_volume_id.txt
  76 echo "__stack_name__" > /opt/config/stack_name.txt
  77
  78 # assume we are setting up AUX cluster VM if hostname contains "aux"
  79 ISAUX='false'
  80 if [[ $(cat /opt/config/stack_name.txt) == *aux* ]]; then
  81   ISAUX='true'
  82 fi
  83
  84 modprobe -- ip_vs
  85 modprobe -- ip_vs_rr
  86 modprobe -- ip_vs_wrr
  87 modprobe -- ip_vs_sh
  88 modprobe -- nf_conntrack_ipv4
  89 modprobe -- nf_conntrack_ipv6
  90 modprobe -- nf_conntrack_proto_sctp
  91
  92 if [ ! -z "$IPV6IF" ]; then
  93   start_ipv6_if $IPV6IF
  94 fi
  95
  96 # disable swap
  97 #SWAPFILES=$(grep swap /etc/fstab | sed '/^[ \t]*#/ d' |cut -f1 -d' ')
  98 SWAPFILES=$(grep swap /etc/fstab | sed '/^[ \t]*#/ d' | sed 's/[\t ]/ /g' | tr -s " " | cut -f1 -d' ')
  99 if [ ! -z $SWAPFILES ]; then
 100   for SWAPFILE in $SWAPFILES
 101   do
 102     if [ ! -z $SWAPFILE ]; then
 103       echo "disabling swap file $SWAPFILE"
 104       if [[ $SWAPFILE == UUID* ]]; then
 105         UUID=$(echo $SWAPFILE | cut -f2 -d'=')
 106         swapoff -U $UUID
 107       else
 108         swapoff $SWAPFILE
 109       fi
 110       sed -i "\%$SWAPFILE%d" /etc/fstab
 111     fi
 112   done
 113 fi
 114
 115
 116 DOCKERV=$(cat /opt/config/docker_version.txt)
 117 KUBEV=$(cat /opt/config/k8s_version.txt)
 118 KUBECNIV=$(cat /opt/config/k8s_cni_version.txt)
 119
 120 KUBEVERSION="${KUBEV}-00"
 121 CNIVERSION="${KUBECNIV}-00"
 122 DOCKERVERSION="${DOCKERV}"
 123
 124 # adjust package version tag
 125 UBUNTU_RELEASE=$(lsb_release -r | sed 's/^[a-zA-Z:\t ]\+//g')
 126 if [[ ${UBUNTU_RELEASE} == 16.* ]]; then
 127   echo "Installing on Ubuntu $UBUNTU_RELEASE (Xenial Xerus) host"
 128   if [ ! -z "${DOCKERV}" ]; then
 129     DOCKERVERSION="${DOCKERV}-0ubuntu1~16.04.5"
 130   fi
 131 elif [[ ${UBUNTU_RELEASE} == 18.* ]]; then
 132   echo "Installing on Ubuntu $UBUNTU_RELEASE (Bionic Beaver)"
 133   if [ ! -z "${DOCKERV}" ]; then
 134     DOCKERVERSION="${DOCKERV}-0ubuntu1~18.04.5"
 135   fi
 136 else
 137   echo "Unsupported Ubuntu release ($UBUNTU_RELEASE) detected.  Exit."
 138   exit
 139 fi
 140
 141
 142 curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
 143 echo 'deb http://apt.kubernetes.io/ kubernetes-xenial main' > /etc/apt/sources.list.d/kubernetes.list
 144
 145 # tell apt to retry 3 times if failed
 146 mkdir -p /etc/apt/apt.conf.d
 147 echo "APT::Acquire::Retries \"3\";" > /etc/apt/apt.conf.d/80-retries
 148
 149 # install low latency kernel, docker.io, and kubernetes
 150 apt-get update
 151
 152 RES=$(apt-get install -y virt-what curl jq netcat 2>&1)
 153 if [[ $RES == */var/lib/dpkg/lock* ]]; then
 154   echo "Fail to get dpkg lock.  Wait for any other package installation"
 155   echo "process to finish, then rerun this script"
 156   exit -1
 157 fi
 158
 159 if ! echo $(virt-what) | grep "virtualbox"; then
 160   # this version of low latency kernel causes virtualbox VM to hang.
 161   # install if identifying the VM not being a virtualbox VM.
 162   apt-get install -y linux-image-4.15.0-45-lowlatency
 163 fi
 164
 165 APTOPTS="--allow-downgrades --allow-change-held-packages --allow-unauthenticated --ignore-hold "
 166
 167 # remove infrastructure stack if present
 168 # note the order of the packages being removed.
 169 for PKG in kubeadm docker.io; do
 170   INSTALLED_VERSION=$(dpkg --list |grep ${PKG} |tr -s " " |cut -f3 -d ' ')
 171   if [ ! -z ${INSTALLED_VERSION} ]; then
 172     if [ "${PKG}" == "kubeadm" ]; then
 173       kubeadm reset -f
 174       rm -rf ~/.kube
 175       apt-get -y $APTOPTS remove kubeadm kubelet kubectl kubernetes-cni
 176     else
 177       apt-get -y $APTOPTS remove "${PKG}"
 178     fi
 179   fi
 180 done
 181 apt-get -y autoremove
 182
 183 # install docker
 184 if [ -z ${DOCKERVERSION} ]; then
 185   apt-get install -y $APTOPTS docker.io
 186 else
 187   apt-get install -y $APTOPTS docker.io=${DOCKERVERSION}
 188 fi
 189 cat > /etc/docker/daemon.json <<EOF
 190 {
 191   "exec-opts": ["native.cgroupdriver=systemd"],
 192   "log-driver": "json-file",
 193   "log-opts": {
 194     "max-size": "100m"
 195   },
 196   "storage-driver": "overlay2"
 197 }
 198 EOF
 199 mkdir -p /etc/systemd/system/docker.service.d
 200 systemctl enable docker.service
 201 systemctl daemon-reload
 202 systemctl restart docker
 203
 204 if [ -z ${CNIVERSION} ]; then
 205   apt-get install -y $APTOPTS kubernetes-cni
 206 else
 207   apt-get install -y $APTOPTS kubernetes-cni=${CNIVERSION}
 208 fi
 209
 210 if [ -z ${KUBEVERSION} ]; then
 211   apt-get install -y $APTOPTS kubeadm kubelet kubectl
 212 else
 213   apt-get install -y $APTOPTS kubeadm=${KUBEVERSION} kubelet=${KUBEVERSION} kubectl=${KUBEVERSION}
 214 fi
 215
 216 apt-mark hold docker.io kubernetes-cni kubelet kubeadm kubectl
 217
 218
 219 # test access to k8s docker registry
 220 kubeadm config images pull --kubernetes-version=${KUBEV}
 221
 222
 223 NODETYPE="master"
 224 # non-master nodes have hostnames ending with -[0-9][0-9]
 225 if [ "$NODETYPE" == "master" ]; then
 226   # below are steps for initializating master node, only run on the master node.
 227   # minion node join will be triggered from the caller of the stack creation as ssh command.
 228
 229   # create kubenetes config file
 230   if [[ ${KUBEV} == 1.13.* ]]; then
 231     cat <<EOF >/root/config.yaml
 232 apiVersion: kubeadm.k8s.io/v1alpha3
 233 kubernetesVersion: v${KUBEV}
 234 kind: ClusterConfiguration
 235 apiServerExtraArgs:
 236   feature-gates: SCTPSupport=true
 237 networking:
 238   dnsDomain: cluster.local
 239   podSubnet: 10.244.0.0/16
 240   serviceSubnet: 10.96.0.0/12
 241 ---
 242 apiVersion: kubeproxy.config.k8s.io/v1alpha1
 243 kind: KubeProxyConfiguration
 244 mode: ipvs
 245 EOF
 246
 247   elif [[ ${KUBEV} == 1.14.* ]]; then
 248     cat <<EOF >/root/config.yaml
 249 apiVersion: kubeadm.k8s.io/v1beta1
 250 kubernetesVersion: v${KUBEV}
 251 kind: ClusterConfiguration
 252 apiServerExtraArgs:
 253   feature-gates: SCTPSupport=true
 254 networking:
 255   dnsDomain: cluster.local
 256   podSubnet: 10.244.0.0/16
 257   serviceSubnet: 10.96.0.0/12
 258 ---
 259 apiVersion: kubeproxy.config.k8s.io/v1alpha1
 260 kind: KubeProxyConfiguration
 261 mode: ipvs
 262 EOF
 263   elif [[ ${KUBEV} == 1.16.* ]]; then
 264     cat <<EOF >/root/config.yaml
 265 apiVersion: kubeadm.k8s.io/v1beta2
 266 kubernetesVersion: v${KUBEV}
 267 kind: ClusterConfiguration
 268 apiServer:
 269   extraArgs:
 270     feature-gates: SCTPSupport=true
 271 networking:
 272   dnsDomain: cluster.local
 273   podSubnet: 10.244.0.0/16
 274   serviceSubnet: 10.96.0.0/12
 275 ---
 276 apiVersion: kubeproxy.config.k8s.io/v1alpha1
 277 kind: KubeProxyConfiguration
 278 mode: ipvs
 279 EOF
 280   else
 281     echo "Unsupported Kubernetes version requested.  Bail."
 282     exit
 283   fi
 284
 285   # create a RBAC file for helm (tiller)
 286   cat <<EOF > /root/rbac-config.yaml
 287 apiVersion: v1
 288 kind: ServiceAccount
 289 metadata:
 290   name: tiller
 291   namespace: kube-system
 292 ---
 293 apiVersion: rbac.authorization.k8s.io/v1
 294 kind: ClusterRoleBinding
 295 metadata:
 296   name: tiller
 297 roleRef:
 298   apiGroup: rbac.authorization.k8s.io
 299   kind: ClusterRole
 300   name: cluster-admin
 301 subjects:
 302   - kind: ServiceAccount
 303     name: tiller
 304     namespace: kube-system
 305 EOF
 306
 307
 308   # start cluster (make sure CIDR is enabled with the flag)
 309   kubeadm init --config /root/config.yaml
 310
 311   # set up kubectl credential and config
 312   cd /root
 313   rm -rf .kube
 314   mkdir -p .kube
 315   cp -i /etc/kubernetes/admin.conf /root/.kube/config
 316   chown root:root /root/.kube/config
 317
 318   # at this point we should be able to use kubectl
 319   kubectl get pods --all-namespaces
 320
 321   # install flannel
 322   kubectl apply -f "https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml"
 323
 324   # waiting for all 8 kube-system pods to be in running state
 325   # (at this point, minions have not joined yet)
 326   wait_for_pods_running 8 kube-system
 327
 328   # if running a single node cluster, need to enable master node to run pods
 329   kubectl taint nodes --all node-role.kubernetes.io/master-
 330
 331   cd /root
 332   # install RBAC for Helm
 333   kubectl create -f rbac-config.yaml
 334
 335   # install Helm
 336   HELMV=$(cat /opt/config/helm_version.txt)
 337   HELMVERSION=${HELMV}
 338   if [ ! -e helm-v${HELMVERSION}-linux-amd64.tar.gz ]; then
 339     wget https://storage.googleapis.com/kubernetes-helm/helm-v${HELMVERSION}-linux-amd64.tar.gz
 340   fi
 341   cd /root && rm -rf Helm && mkdir Helm && cd Helm
 342   tar -xvf ../helm-v${HELMVERSION}-linux-amd64.tar.gz
 343   mv linux-amd64/helm /usr/local/bin/helm
 344
 345   rm -rf /root/.helm
 346   if [[ ${KUBEV} == 1.16.* ]]; then
 347     # helm init uses API extensions/v1beta1 which is depreciated by Kubernetes
 348     # 1.16.0.  Until upstream (helm) provides a fix, this is the work-around.
 349     helm init --service-account tiller --override spec.selector.matchLabels.'name'='tiller',spec.selector.matchLabels.'app'='helm' --output yaml > helm-init.yaml
 350     sed 's@apiVersion: extensions/v1beta1@apiVersion: apps/v1@' ./helm-init.yaml > helm-init-patched.yaml
 351     kubectl apply -f ./helm-init-patched.yaml
 352   else
 353     helm init --service-account tiller
 354   fi
 355   helm init -c
 356   export HELM_HOME="/root/.helm"
 357
 358   # waiting for tiller pod to be in running state
 359   while ! helm version; do
 360     echo "Waiting for Helm to be ready"
 361     sleep 15
 362   done
 363
 364   echo "Preparing a master node (lowser ID) for using local FS for PV"
 365   PV_NODE_NAME=$(kubectl get nodes |grep master | cut -f1 -d' ' | sort | head -1)
 366   kubectl label --overwrite nodes $PV_NODE_NAME local-storage=enable
 367   if [ "$PV_NODE_NAME" == "$(hostname)" ]; then
 368     mkdir -p /opt/data/dashboard-data
 369   fi
 370
 371   echo "Done with master node setup"
 372 fi
 373
 374
 375 # add rancodev CI tool hostnames
 376 if [[ ! -z "${__RUNRICENV_GERRIT_IP__}" && ! -z "${__RUNRICENV_GERRIT_HOST__}" ]]; then
 377   echo "${__RUNRICENV_GERRIT_IP__} ${__RUNRICENV_GERRIT_HOST__}" >> /etc/hosts
 378 fi
 379 if [[ ! -z "${__RUNRICENV_DOCKER_IP__}" && ! -z "${__RUNRICENV_DOCKER_HOST__}" ]]; then
 380   echo "${__RUNRICENV_DOCKER_IP__} ${__RUNRICENV_DOCKER_HOST__}" >> /etc/hosts
 381 fi
 382 if [[ ! -z "${__RUNRICENV_HELMREPO_IP__}" && ! -z "${__RUNRICENV_HELMREPO_HOST__}" ]]; then
 383   echo "${__RUNRICENV_HELMREPO_IP__} ${__RUNRICENV_HELMREPO_HOST__}" >> /etc/hosts
 384 fi
 385
 386 if [[ "${__RUNRICENV_HELMREPO_CERT_LEN__}" -gt "100" ]]; then
 387   cat <<EOF >/etc/ca-certificates/update.d/helm.crt
 388 ${__RUNRICENV_HELMREPO_CERT__}
 389 EOF
 390 fi
 391
 392 # add cert for accessing docker registry in Azure
 393 if [[ "${__RUNRICENV_DOCKER_CERT_LEN__}" -gt "100" ]]; then
 394   mkdir -p /etc/docker/certs.d/${__RUNRICENV_DOCKER_HOST__}:${__RUNRICENV_DOCKER_PORT__}
 395   cat <<EOF >/etc/docker/ca.crt
 396 ${__RUNRICENV_DOCKER_CERT__}
 397 EOF
 398   cp /etc/docker/ca.crt /etc/docker/certs.d/${__RUNRICENV_DOCKER_HOST__}:${__RUNRICENV_DOCKER_PORT__}/ca.crt
 399
 400   service docker restart
 401   systemctl enable docker.service
 402   docker login -u ${__RUNRICENV_DOCKER_USER__} -p ${__RUNRICENV_DOCKER_PASS__} ${__RUNRICENV_DOCKER_HOST__}:${__RUNRICENV_DOCKER_PORT__}
 403   docker pull ${__RUNRICENV_DOCKER_HOST__}:${__RUNRICENV_DOCKER_PORT__}/whoami:0.0.1
 404 fi
 405
 406 if [ "$(uname -r)" != "4.15.0-45-lowlatency" ]; then reboot; fi