test/common/kube_proxy_api_functions.sh

   1 #!/bin/bash
   2
   3 #  ============LICENSE_START===============================================
   4 #  Copyright (C) 2020 Nordix Foundation. All rights reserved.
   5 #  ========================================================================
   6 #  Licensed under the Apache License, Version 2.0 (the "License");
   7 #  you may not use this file except in compliance with the License.
   8 #  You may obtain a copy of the License at
   9 #
  10 #       http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #  Unless required by applicable law or agreed to in writing, software
  13 #  distributed under the License is distributed on an "AS IS" BASIS,
  14 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #  See the License for the specific language governing permissions and
  16 #  limitations under the License.
  17 #  ============LICENSE_END=================================================
  18 #
  19
  20 # This is a script that contains container/service managemnt functions for Kube Http Proxy
  21 # This http proxy is to provide full access for the test script to all adressable kube object in a clister
  22
  23 ################ Test engine functions ################
  24
  25 # Create the image var used during the test
  26 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  27 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  28 __KUBEPROXY_imagesetup() {
  29         __check_and_create_image_var KUBEPROXY "KUBE_PROXY_IMAGE" "KUBE_PROXY_IMAGE_BASE" "KUBE_PROXY_IMAGE_TAG" LOCAL "$KUBE_PROXY_DISPLAY_NAME"
  30 }
  31
  32 # Pull image from remote repo or use locally built image
  33 # arg: <pull-policy-override> <pull-policy-original>
  34 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
  35 # <pull-policy-original> Shall be used for images that does not allow overriding
  36 # Both var may contain: 'remote', 'remote-remove' or 'local'
  37 __KUBEPROXY_imagepull() {
  38         echo -e $RED"Image for app KUBEPROXY shall never be pulled from remote repo"$ERED
  39 }
  40
  41 # Build image (only for simulator or interfaces stubs owned by the test environment)
  42 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  43 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  44 __KUBEPROXY_imagebuild() {
  45         cd ../http-https-proxy
  46         echo " Building KUBEPROXY - $KUBE_PROXY_DISPLAY_NAME - image: $KUBE_PROXY_IMAGE"
  47         docker build  --build-arg NEXUS_PROXY_REPO=$NEXUS_PROXY_REPO -t $KUBE_PROXY_IMAGE . &> .dockererr
  48         if [ $? -eq 0 ]; then
  49                 echo -e  $GREEN"  Build Ok"$EGREEN
  50                 __retag_and_push_image KUBE_PROXY_IMAGE
  51                 if [ $? -ne 0 ]; then
  52                         exit 1
  53                 fi
  54         else
  55                 echo -e $RED"  Build Failed"$ERED
  56                 ((RES_CONF_FAIL++))
  57                 cat .dockererr
  58                 echo -e $RED"Exiting...."$ERED
  59                 exit 1
  60         fi
  61 }
  62
  63 # Generate a string for each included image using the app display name and a docker images format string
  64 # If a custom image repo is used then also the source image from the local repo is listed
  65 # arg: <docker-images-format-string> <file-to-append>
  66 __KUBEPROXY_image_data() {
  67         echo -e "$KUBE_PROXY_DISPLAY_NAME\t$(docker images --format $1 $KUBE_PROXY_IMAGE)" >>   $2
  68         if [ ! -z "$KUBE_PROXY_IMAGE_SOURCE" ]; then
  69                 echo -e "-- source image --\t$(docker images --format $1 $KUBE_PROXY_IMAGE_SOURCE)" >>   $2
  70         fi
  71 }
  72
  73 # Scale kubernetes resources to zero
  74 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
  75 # This function is called for apps fully managed by the test script
  76 __KUBEPROXY_kube_scale_zero() {
  77         __kube_scale_all_resources $KUBE_SIM_NAMESPACE autotest KUBEPROXY
  78 }
  79
  80 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
  81 # This function is called for prestarted apps not managed by the test script.
  82 __KUBEPROXY_kube_scale_zero_and_wait() {
  83         echo -e $RED" KUBEPROXY app is not scaled in this state"$ERED
  84 }
  85
  86 # Delete all kube resouces for the app
  87 # This function is called for apps managed by the test script.
  88 __KUBEPROXY_kube_delete_all() {
  89         __kube_delete_all_resources $KUBE_SIM_NAMESPACE autotest KUBEPROXY
  90 }
  91
  92 # Store docker logs
  93 # This function is called for apps managed by the test script.
  94 # args: <log-dir> <file-prexix>
  95 __KUBEPROXY_store_docker_logs() {
  96         if [ $RUNMODE == "KUBE" ]; then
  97                 kubectl  logs -l "autotest=KUBEPROXY" -n $KUBE_SIM_NAMESPACE --tail=-1 > $1$2_kubeproxy.log 2>&1
  98         else
  99                 docker logs $KUBE_PROXY_APP_NAME > $1$2_kubeproxy.log 2>&1
 100         fi
 101 }
 102
 103 # Initial setup of protocol, host and ports
 104 # This function is called for apps managed by the test script.
 105 # args: -
 106 __KUBEPROXY_initial_setup() {
 107         use_kube_proxy_http
 108 }
 109
 110 #######################################################
 111
 112 ## Access to Kube http proxy
 113 # Direct access
 114 KUBE_PROXY_HTTPX="http"
 115
 116
 117 # Set http as the protocol to use for all communication to the Kube http proxy
 118 # args: -
 119 # (Function for test scripts)
 120 use_kube_proxy_http() {
 121         echo -e $BOLD"$KUBE_PROXY_DISPLAY_NAME protocol setting"$EBOLD
 122         echo -e " Using $BOLD http $EBOLD towards Kube http proxy"
 123
 124         KUBE_PROXY_HTTPX="http"
 125
 126         echo -e $YELLOW" This setting cannot be changed once the kube proxy is started"$EYELLOW
 127         echo ""
 128 }
 129
 130 # Set https as the protocol to use for all communication to the Kube http proxy
 131 # args: -
 132 # (Function for test scripts)
 133 use_kube_proxy_https() {
 134         echo -e $BOLD"$KUBE_PROXY_DISPLAY_NAME protocol setting"$EBOLD
 135         echo -e " Using $BOLD https $EBOLD towards Kube http proxy"
 136
 137         KUBE_PROXY_HTTPX="https"
 138
 139         echo -e $YELLOW" This setting cannot be changed once the kube proxy is started"$EYELLOW
 140         echo ""
 141 }
 142
 143 #########################
 144 ### Kube Http Proxy functions
 145 #########################
 146
 147 # Export env vars for config files, docker compose and kube resources
 148 # args: -
 149 __kube_proxy_vars() {
 150
 151         export KUBE_PROXY_WEB_EXTERNAL_PORT
 152         export KUBE_PROXY_WEB_INTERNAL_PORT
 153         export KUBE_PROXY_EXTERNAL_PORT
 154         export KUBE_PROXY_INTERNAL_PORT
 155
 156         export KUBE_PROXY_WEB_EXTERNAL_SECURE_PORT
 157         export KUBE_PROXY_WEB_INTERNAL_SECURE_PORT
 158         export KUBE_PROXY_EXTERNAL_SECURE_PORT
 159         export KUBE_PROXY_INTERNAL_SECURE_PORT
 160
 161         export KUBE_SIM_NAMESPACE
 162         export KUBE_PROXY_IMAGE
 163
 164         export KUBE_PROXY_APP_NAME
 165         export KUBE_PROXY_DOCKER_EXTERNAL_PORT
 166         export KUBE_PROXY_DOCKER_EXTERNAL_SECURE_PORT
 167         export KUBE_PROXY_WEB_DOCKER_EXTERNAL_PORT
 168         export KUBE_PROXY_WEB_DOCKER_EXTERNAL_SECURE_PORT
 169         export DOCKER_SIM_NWNAME
 170
 171         export KUBE_PROXY_DISPLAY_NAME
 172 }
 173
 174 # Start the Kube Http Proxy in the simulator group
 175 # args: -
 176 # (Function for test scripts)
 177 start_kube_proxy() {
 178
 179         echo -e $BOLD"Starting $KUBE_PROXY_DISPLAY_NAME"$EBOLD
 180
 181         if [ $RUNMODE == "KUBE" ]; then
 182
 183                 # Check if app shall be fully managed by the test script
 184                 __check_included_image "KUBEPROXY"
 185                 retcode_i=$?
 186
 187                 # Check if app shall only be used by the testscipt
 188                 __check_prestarted_image "KUBEPROXY"
 189                 retcode_p=$?
 190
 191                 if [ $retcode_i -ne 0 ] && [ $retcode_p -ne 0 ]; then
 192                         echo -e $RED"The $KUBE_PROXY_APP_NAME app is not included as managed nor prestarted in this test script"$ERED
 193                         echo -e $RED"The $KUBE_PROXY_APP_NAME will not be started"$ERED
 194                         exit
 195                 fi
 196                 if [ $retcode_i -eq 0 ] && [ $retcode_p -eq 0 ]; then
 197                         echo -e $RED"The $KUBE_PROXY_APP_NAME app is included both as managed and prestarted in this test script"$ERED
 198                         echo -e $RED"The $KUBE_PROXY_APP_NAME will not be started"$ERED
 199                         exit
 200                 fi
 201
 202                 # Check if app shall be used - not managed - by the test script
 203                 if [ $retcode_p -eq 0 ]; then
 204                         echo -e " Using existing $KUBE_PROXY_APP_NAME deployment and service"
 205                         echo " Setting KUBEPROXY replicas=1"
 206                         __kube_scale deployment $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE 1
 207                 fi
 208
 209                 if [ $retcode_i -eq 0 ]; then
 210                         echo -e " Creating $KUBE_PROXY_APP_NAME deployment and service"
 211
 212                         __kube_proxy_vars
 213
 214                         export KUBE_PROXY_APP_NAME
 215
 216                         __kube_create_namespace $KUBE_SIM_NAMESPACE
 217
 218                         # Create service
 219                         input_yaml=$SIM_GROUP"/"$KUBE_PROXY_COMPOSE_DIR"/"svc.yaml
 220                         output_yaml=$PWD/tmp/proxy_svc.yaml
 221                         __kube_create_instance service $KUBE_PROXY_APP_NAME $input_yaml $output_yaml
 222
 223                         # Create app
 224                         input_yaml=$SIM_GROUP"/"$KUBE_PROXY_COMPOSE_DIR"/"app.yaml
 225                         output_yaml=$PWD/tmp/proxy_app.yaml
 226                         __kube_create_instance app $KUBE_PROXY_APP_NAME $input_yaml $output_yaml
 227
 228                 fi
 229
 230                 echo " Retrieving host and ports for service..."
 231
 232                 #Finding host of the proxy
 233                 echo "  Trying to find svc hostname..."
 234                 CLUSTER_KUBE_PROXY_HOST=$(__kube_cmd_with_timeout "kubectl get svc $KUBE_PROXY_APP_NAME -n $KUBE_SIM_NAMESPACE  -o jsonpath={.status.loadBalancer.ingress[0].hostname}")
 235
 236
 237                 if [ "$CLUSTER_KUBE_PROXY_HOST" == "localhost" ]; then
 238                         #Local host found
 239                         echo -e $YELLOW" The test environment svc $KUBE_PROXY_APP_NAME host is: $CLUSTER_KUBE_PROXY_HOST"$EYELLOW
 240                         CLUSTER_KUBE_PROXY_HOST="127.0.0.1"
 241                 else
 242                         if [ -z "$CLUSTER_KUBE_PROXY_HOST" ]; then
 243                                 #Host of proxy not found, trying to find the ip....
 244                                 echo "  Trying to find svc ip..."
 245                                 CLUSTER_KUBE_PROXY_HOST=$(__kube_cmd_with_timeout "kubectl get svc $KUBE_PROXY_APP_NAME -n $KUBE_SIM_NAMESPACE  -o jsonpath={.status.loadBalancer.ingress[0].ip}")
 246                                 if [ ! -z "$CLUSTER_KUBE_PROXY_HOST" ]; then
 247                                         #Host ip found
 248                                         echo -e $YELLOW" The test environment svc $KUBE_PROXY_APP_NAME ip is: $CLUSTER_KUBE_PROXY_HOST."$EYELLOW
 249                                 fi
 250                         else
 251                                 #Host or ip of proxy found
 252                                 echo -e $YELLOW" The test environment host/ip is: $CLUSTER_KUBE_PROXY_HOST."$EYELLOW
 253                         fi
 254                 fi
 255
 256                 PORT_KEY_PREFIX=""
 257                 if [ $KUBE_PROXY_HTTPX == "https" ]; then
 258                         PORT_KEY_PREFIX="s"  #add suffix to port key name to get https ports
 259                 fi
 260                 if [ -z "$CLUSTER_KUBE_PROXY_HOST" ]; then
 261                         #Host/ip of proxy not found, try to use the cluster and the nodeports of the proxy
 262                         CLUSTER_KUBE_PROXY_HOST=$(kubectl config view -o jsonpath={.clusters[0].cluster.server} | awk -F[/:] '{print $4}')
 263                         echo -e $YELLOW" The test environment cluster ip is: $CLUSTER_KUBE_PROXY_HOST."$EYELLOW
 264                         CLUSTER_KUBE_PROXY_PORT=$(__kube_get_service_nodeport $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE "http$PORT_KEY_PREFIX")  # port for proxy access
 265                         KUBE_PROXY_WEB_NODEPORT=$(__kube_get_service_nodeport $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE "web$PORT_KEY_PREFIX")  # web port, only for alive test
 266                         echo " Cluster ip/host, cluster http$PORT_KEY_PREFIX nodeport, cluster web$PORT_KEY_PREFIX nodeport: $CLUSTER_KUBE_PROXY_HOST $CLUSTER_KUBE_PROXY_PORT $KUBE_PROXY_WEB_NODEPORT"
 267                 else
 268                         #Find the service ports of the proxy
 269                         CLUSTER_KUBE_PROXY_PORT=$(__kube_get_service_port $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE "http$PORT_KEY_PREFIX")  # port for proxy access
 270                         KUBE_PROXY_WEB_NODEPORT=$(__kube_get_service_port $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE "web$PORT_KEY_PREFIX")  # web port, only for alive test
 271                         echo " Proxy ip/host, proxy http$PORT_KEY_PREFIX port, proxy web$PORT_KEY_PREFIX port: $CLUSTER_KUBE_PROXY_HOST $CLUSTER_KUBE_PROXY_PORT $KUBE_PROXY_WEB_NODEPORT"
 272                 fi
 273
 274                 KUBE_PROXY_WEB_PATH=$KUBE_PROXY_HTTPX"://"$CLUSTER_KUBE_PROXY_HOST":"$KUBE_PROXY_WEB_NODEPORT
 275
 276                 export KUBE_PROXY_PATH=  # Make sure proxy is empty when checking the proxy itself
 277                 __check_service_start $KUBE_PROXY_APP_NAME $KUBE_PROXY_WEB_PATH$KUBE_PROXY_ALIVE_URL
 278
 279                 # Set proxy for all subsequent calls for all services etc
 280                 export KUBE_PROXY_PATH=$KUBE_PROXY_HTTPX"://"$CLUSTER_KUBE_PROXY_HOST":"$CLUSTER_KUBE_PROXY_PORT
 281                 export KUBE_PROXY_HTTPX
 282
 283                 KP_PORT1=$(__kube_get_service_nodeport $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE "http")
 284                 KP_PORT2=$(__kube_get_service_nodeport $KUBE_PROXY_APP_NAME $KUBE_SIM_NAMESPACE "https")
 285
 286                 echo " $KUBE_PROXY_DISPLAY_NAME node ports (http/https): $KP_PORT1 $KP_PORT2"
 287
 288         else
 289                 # Check if docker app shall be fully managed by the test script
 290                 __check_included_image 'KUBEPROXY'
 291                 if [ $? -eq 1 ]; then
 292                         echo -e $RED"The Kube Proxy app is not included in this test script"$ERED
 293                         echo -e $RED"The Kube Proxy will not be started"$ERED
 294                         exit
 295                 fi
 296
 297                 __kube_proxy_vars
 298
 299                 __start_container $KUBE_PROXY_COMPOSE_DIR "" NODOCKERARGS 1 $KUBE_PROXY_APP_NAME
 300
 301                 if [ $KUBE_PROXY_HTTPX == "http" ]; then
 302                         export KUBE_PROXY_WEB_PATH=$KUBE_PROXY_HTTPX"://"$LOCALHOST_NAME":"$KUBE_PROXY_WEB_DOCKER_EXTERNAL_PORT
 303                 else
 304                         export KUBE_PROXY_WEB_PATH=$KUBE_PROXY_HTTPX"://"$LOCALHOST_NAME":"$KUBE_PROXY_WEB_DOCKER_EXTERNAL_SECURE_PORT
 305                 fi
 306
 307                 export KUBE_PROXY_PATH=  # Make sure proxy is empty when checking the proxy itself
 308         __check_service_start $KUBE_PROXY_APP_NAME $KUBE_PROXY_WEB_PATH$KUBE_PROXY_ALIVE_URL
 309
 310                 if [ $KUBE_PROXY_HTTPX == "http" ]; then
 311                         export KUBE_PROXY_PATH=$KUBE_PROXY_HTTPX"://"$LOCALHOST_NAME":"$KUBE_PROXY_DOCKER_EXTERNAL_PORT
 312                 else
 313                         export KUBE_PROXY_PATH=$KUBE_PROXY_HTTPX"://"$LOCALHOST_NAME":"$KUBE_PROXY_DOCKER_EXTERNAL_SECURE_PORT
 314                 fi
 315
 316                 echo " $KUBE_PROXY_DISPLAY_NAME localhost ports (http/https): $KUBE_PROXY_DOCKER_EXTERNAL_PORT $KUBE_PROXY_DOCKER_EXTERNAL_SECURE_PORT"
 317
 318
 319         fi
 320         echo ""
 321
 322 }
 323