test/common/consul_cbs_functions.sh

   1 #!/bin/bash
   2
   3 #  ============LICENSE_START===============================================
   4 #  Copyright (C) 2020 Nordix Foundation. All rights reserved.
   5 #  ========================================================================
   6 #  Licensed under the Apache License, Version 2.0 (the "License");
   7 #  you may not use this file except in compliance with the License.
   8 #  You may obtain a copy of the License at
   9 #
  10 #       http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #  Unless required by applicable law or agreed to in writing, software
  13 #  distributed under the License is distributed on an "AS IS" BASIS,
  14 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #  See the License for the specific language governing permissions and
  16 #  limitations under the License.
  17 #  ============LICENSE_END=================================================
  18 #
  19
  20 # This is a script that contains container/service management functions and test functions for Consul/CBS
  21
  22 ################ Test engine functions ################
  23
  24 # Create the image var used during the test
  25 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  26 # <image-tag-suffix> is present only for that exist with staging, snapshot,release tags
  27 __CONSUL_imagesetup() {
  28         __check_and_create_image_var CONSUL "CONSUL_IMAGE" "CONSUL_IMAGE_BASE" "CONSUL_IMAGE_TAG" REMOTE_PROXY "$CONSUL_DISPLAY_NAME"
  29
  30 }
  31
  32 # Create the image var used during the test
  33 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  34 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  35 __CBS_imagesetup() {
  36         __check_and_create_image_var  CBS "CBS_IMAGE" "CBS_IMAGE_BASE" "CBS_IMAGE_TAG" REMOTE_RELEASE_ONAP "$CBS_DISPLAY_NAME"
  37
  38 }
  39
  40 # Pull image from remote repo or use locally built image
  41 # arg: <pull-policy-override> <pull-policy-original>
  42 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
  43 # <pull-policy-original> Shall be used for images that does not allow overriding
  44 # Both var may contain: 'remote', 'remote-remove' or 'local'
  45 __CONSUL_imagepull() {
  46         __check_and_pull_image $2 "$CONSUL_DISPLAY_NAME" $CONSUL_APP_NAME CONSUL_IMAGE
  47 }
  48
  49 # Pull image from remote repo or use locally built image
  50 # arg: <pull-policy-override> <pull-policy-original>
  51 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
  52 # <pull-policy-original> Shall be used for images that does not allow overriding
  53 # Both var may contain: 'remote', 'remote-remove' or 'local'
  54 __CBS_imagepull() {
  55         __check_and_pull_image $2 "$CBS_DISPLAY_NAME" $CBS_APP_NAME CBS_IMAGE
  56 }
  57
  58 # Build image (only for simulator or interfaces stubs owned by the test environment)
  59 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  60 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  61 __CONSUL_imagebuild() {
  62         echo -e $RED" Image for app CONSUL shall never be built"$ERED
  63 }
  64
  65 # Build image (only for simulator or interfaces stubs owned by the test environment)
  66 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  67 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  68 __CBS_imagebuild() {
  69         echo -e $RED" Image for app CBS shall never be built"$ERED
  70 }
  71
  72 # Generate a string for each included image using the app display name and a docker images format string
  73 # If a custom image repo is used then also the source image from the local repo is listed
  74 # arg: <docker-images-format-string> <file-to-append>
  75 __CONSUL_image_data() {
  76         echo -e "$CONSUL_DISPLAY_NAME\t$(docker images --format $1 $CONSUL_IMAGE)" >>   $2
  77         if [ ! -z "$CONSUL_IMAGE_SOURCE" ]; then
  78                 echo -e "-- source image --\t$(docker images --format $1 $CONSUL_IMAGE_SOURCE)" >>   $2
  79         fi
  80 }
  81
  82 # Generate a string for each included image using the app display name and a docker images format string
  83 # If a custom image repo is used then also the source image from the local repo is listed
  84 # arg: <docker-images-format-string> <file-to-append>
  85 __CBS_image_data() {
  86         echo -e "$CBS_DISPLAY_NAME\t$(docker images --format $1 $CBS_IMAGE)" >>   $2
  87         if [ ! -z "$CBS_IMAGE_SOURCE" ]; then
  88                 echo -e "-- source image --\t$(docker images --format $1 $CBS_IMAGE_SOURCE)" >>   $2
  89         fi
  90 }
  91
  92 # Scale kubernetes resources to zero
  93 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
  94 # This function is called for apps fully managed by the test script
  95 __CONSUL_kube_scale_zero() {
  96         echo -e $RED" Image for app CONSUL is not used in kube"$ERED
  97 }
  98
  99 # Scale kubernetes resources to zero
 100 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
 101 # This function is called for apps fully managed by the test script
 102 __CBS_kube_scale_zero() {
 103         echo -e $RED" Image for app CBS is not used in kube"$ERED
 104 }
 105
 106 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
 107 # This function is called for prestarted apps not managed by the test script.
 108 __CONSUL_kube_scale_zero_and_wait() {
 109         echo -e $RED" CONSUL app is not used in kube"$ERED
 110 }
 111
 112 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
 113 # This function is called for prestarted apps not managed by the test script.
 114 __CBS_kube_scale_zero_and_wait() {
 115         echo -e $RED" CBS app is not used in kube"$ERED
 116 }
 117
 118 # Delete all kube resouces for the app
 119 # This function is called for apps managed by the test script.
 120 __CONSUL_kube_delete_all() {
 121         echo -e $RED" CONSUL app is not used in kube"$ERED
 122 }
 123
 124 # Delete all kube resouces for the app
 125 # This function is called for apps managed by the test script.
 126 __CBS_kube_delete_all() {
 127         echo -e $RED" CBS app is not used in kube"$ERED
 128 }
 129
 130 # Store docker logs
 131 # This function is called for apps managed by the test script.
 132 # args: <log-dir> <file-prexix>
 133 __CONSUL_store_docker_logs() {
 134         if [ $RUNMODE == "KUBE" ]; then
 135                 :
 136         else
 137                 docker logs $CONSUL_APP_NAME > $1/$2_consul.log 2>&1
 138         fi
 139 }
 140
 141 # Store docker logs
 142 # This function is called for apps managed by the test script.
 143 # args: <log-dir> <file-prexix>
 144 __CBS_store_docker_logs() {
 145         if [ $RUNMODE == "KUBE" ]; then
 146                 :
 147         else
 148                 docker logs $CBS_APP_NAME > $1$2_cbs.log 2>&1
 149                 body="$(__do_curl $LOCALHOST_HTTP:$CBS_EXTERNAL_PORT/service_component_all/$POLICY_AGENT_APP_NAME)"
 150                 echo "$body" > $1$2_consul_config.json 2>&1
 151         fi
 152 }
 153
 154 # Initial setup of protocol, host and ports
 155 # This function is called for apps managed by the test script.
 156 # args: -
 157 __CONSUL_initial_setup() {
 158         CONSUL_SERVICE_PATH="http://"$CONSUL_APP_NAME":"$CONSUL_INTERNAL_PORT
 159 }
 160
 161 # Initial setup of protocol, host and ports
 162 # This function is called for apps managed by the test script.
 163 # args: -
 164 __CBS_initial_setup() {
 165         CBS_SERVICE_PATH="http://"$CBS_APP_NAME":"$CBS_INTERNAL_PORT
 166 }
 167
 168 # Set app short-name, app name and namespace for logging runtime statistics of kubernets pods or docker containers
 169 # For docker, the namespace shall be excluded
 170 # This function is called for apps managed by the test script as well as for prestarted apps.
 171 # args: -
 172 __CONSUL_statisics_setup() {
 173         echo ""
 174 }
 175
 176 # Set app short-name, app name and namespace for logging runtime statistics of kubernets pods or docker containers
 177 # For docker, the namespace shall be excluded
 178 # This function is called for apps managed by the test script as well as for prestarted apps.
 179 # args: -
 180 __CBS_statisics_setup() {
 181         echo ""
 182 }
 183 #######################################################
 184
 185
 186 ####################
 187 ### Consul functions
 188 ####################
 189
 190 # Function to load config from a file into consul for the Policy Agent
 191 # arg: <json-config-file>
 192 # (Function for test scripts)
 193 consul_config_app() {
 194
 195         echo -e $BOLD"Configuring Consul"$EBOLD
 196
 197         if [ $# -ne 1 ]; then
 198                 ((RES_CONF_FAIL++))
 199         __print_err "need one arg,  <json-config-file>" $@
 200                 exit 1
 201         fi
 202
 203         echo " Loading config for "$POLICY_AGENT_APP_NAME" from "$1
 204
 205         curlString="$CONSUL_SERVICE_PATH/v1/kv/${POLICY_AGENT_CONFIG_KEY}?dc=dc1 -X PUT -H Accept:application/json -H Content-Type:application/json -H X-Requested-With:XMLHttpRequest --data-binary @"$1
 206
 207         result=$(__do_curl "$curlString")
 208         if [ $? -ne 0 ]; then
 209                 echo -e $RED" FAIL - json config could not be loaded to consul" $ERED
 210                 ((RES_CONF_FAIL++))
 211                 return 1
 212         fi
 213         body="$(__do_curl $CBS_SERVICE_PATH/service_component_all/$POLICY_AGENT_CONFIG_KEY)"
 214         echo $body > "./tmp/.output"$1
 215
 216         if [ $? -ne 0 ]; then
 217                 echo -e $RED" FAIL - json config could not be loaded from consul/cbs, contents cannot be checked." $ERED
 218                 ((RES_CONF_FAIL++))
 219                 return 1
 220         else
 221                 targetJson=$(< $1)
 222                 targetJson="{\"config\":"$targetJson"}"
 223                 echo "TARGET JSON: $targetJson" >> $HTTPLOG
 224                 res=$(python3 ../common/compare_json.py "$targetJson" "$body")
 225                 if [ $res -ne 0 ]; then
 226                         echo -e $RED" FAIL - policy json config read from consul/cbs is not equal to the intended json config...." $ERED
 227                         ((RES_CONF_FAIL++))
 228                         return 1
 229                 else
 230                         echo -e $GREEN" Config loaded ok to consul"$EGREEN
 231                 fi
 232         fi
 233
 234         echo ""
 235
 236 }
 237
 238 # Function to perpare the consul configuration according to the current simulator configuration
 239 # args: SDNC|NOSDNC <output-file>
 240 # (Function for test scripts)
 241 prepare_consul_config() {
 242         echo -e $BOLD"Prepare Consul config"$EBOLD
 243
 244         echo " Writing consul config for "$POLICY_AGENT_APP_NAME" to file: "$2
 245
 246         if [ $# != 2 ];  then
 247                 ((RES_CONF_FAIL++))
 248         __print_err "need two args,  SDNC|NOSDNC <output-file>" $@
 249                 exit 1
 250         fi
 251
 252         if [ $1 == "SDNC" ]; then
 253                 echo -e " Config$BOLD including SDNC$EBOLD configuration"
 254         elif [ $1 == "NOSDNC" ];  then
 255                 echo -e " Config$BOLD excluding SDNC$EBOLD configuration"
 256         else
 257                 ((RES_CONF_FAIL++))
 258         __print_err "need two args,  SDNC|NOSDNC <output-file>" $@
 259                 exit 1
 260         fi
 261
 262         config_json="\n            {"
 263         if [ $1 == "SDNC" ]; then
 264                 config_json=$config_json"\n   \"controller\": ["
 265                 config_json=$config_json"\n                     {"
 266                 config_json=$config_json"\n                       \"name\": \"$SDNC_APP_NAME\","
 267                 config_json=$config_json"\n                       \"baseUrl\": \"$SDNC_SERVICE_PATH\","
 268                 config_json=$config_json"\n                       \"userName\": \"$SDNC_USER\","
 269                 config_json=$config_json"\n                       \"password\": \"$SDNC_PWD\""
 270                 config_json=$config_json"\n                     }"
 271                 config_json=$config_json"\n   ],"
 272         fi
 273
 274         config_json=$config_json"\n   \"streams_publishes\": {"
 275         config_json=$config_json"\n                            \"dmaap_publisher\": {"
 276         config_json=$config_json"\n                              \"type\": \"message-router\","
 277         config_json=$config_json"\n                              \"dmaap_info\": {"
 278         config_json=$config_json"\n                                \"topic_url\": \"$MR_SERVICE_PATH$MR_WRITE_URL\""
 279         config_json=$config_json"\n                              }"
 280         config_json=$config_json"\n                            }"
 281         config_json=$config_json"\n   },"
 282         config_json=$config_json"\n   \"streams_subscribes\": {"
 283         config_json=$config_json"\n                             \"dmaap_subscriber\": {"
 284         config_json=$config_json"\n                               \"type\": \"message-router\","
 285         config_json=$config_json"\n                               \"dmaap_info\": {"
 286         config_json=$config_json"\n                                   \"topic_url\": \"$MR_SERVICE_PATH$MR_READ_URL\""
 287         config_json=$config_json"\n                                 }"
 288         config_json=$config_json"\n                               }"
 289         config_json=$config_json"\n   },"
 290
 291         config_json=$config_json"\n   \"ric\": ["
 292
 293         if [ $RUNMODE == "KUBE" ]; then
 294                 result=$(kubectl get pods -n $KUBE_A1SIM_NAMESPACE -o jsonpath='{.items[?(@.metadata.labels.autotest=="RICSIM")].metadata.name}')
 295                 rics=""
 296                 ric_cntr=0
 297                 if [ $? -eq 0 ] && [ ! -z "$result" ]; then
 298                         for im in $result; do
 299                                 if [[ $im != *"-0" ]]; then
 300                                         ric_subdomain=$(kubectl get pod $im -n $KUBE_A1SIM_NAMESPACE -o jsonpath='{.spec.subdomain}')
 301                                         rics=$rics" "$im"."$ric_subdomain"."$KUBE_A1SIM_NAMESPACE
 302                                         let ric_cntr=ric_cntr+1
 303                                 fi
 304                         done
 305                 fi
 306                 if [ $ric_cntr -eq 0 ]; then
 307                         echo $YELLOW"Warning: No rics found for the configuration"$EYELLOW
 308                 fi
 309         else
 310                 rics=$(docker ps --filter "name=$RIC_SIM_PREFIX" --filter "network=$DOCKER_SIM_NWNAME" --filter "status=running" --format {{.Names}})
 311                 if [ $? -ne 0 ] || [ -z "$rics" ]; then
 312                         echo -e $RED" FAIL - the names of the running RIC Simulator cannot be retrieved." $ERED
 313                         ((RES_CONF_FAIL++))
 314                         return 1
 315                 fi
 316         fi
 317         cntr=0
 318         for ric in $rics; do
 319                 if [ $cntr -gt 0 ]; then
 320                         config_json=$config_json"\n          ,"
 321                 fi
 322                 config_json=$config_json"\n          {"
 323                 if [ $RUNMODE == "KUBE" ]; then
 324                         ric_id=${ric%.*.*} #extract pod id from full hosthame
 325                         ric_id=$(echo "$ric_id" | tr '-' '_')
 326                 else
 327                         ric_id=$ric
 328                 fi
 329                 echo " Found a1 sim: "$ric_id
 330                 config_json=$config_json"\n            \"name\": \"$ric_id\","
 331                 config_json=$config_json"\n            \"baseUrl\": \"$RIC_SIM_HTTPX://$ric:$RIC_SIM_PORT\","
 332                 if [ $1 == "SDNC" ]; then
 333                         config_json=$config_json"\n            \"controller\": \"$SDNC_APP_NAME\","
 334                 fi
 335                 config_json=$config_json"\n            \"managedElementIds\": ["
 336                 config_json=$config_json"\n              \"me1_$ric_id\","
 337                 config_json=$config_json"\n              \"me2_$ric_id\""
 338                 config_json=$config_json"\n            ]"
 339                 config_json=$config_json"\n          }"
 340                 let cntr=cntr+1
 341         done
 342
 343         config_json=$config_json"\n           ]"
 344         config_json=$config_json"\n}"
 345
 346         if [ $RUNMODE == "KUBE" ]; then
 347                 config_json="{\"config\":"$config_json"}"
 348         fi
 349
 350         printf "$config_json">$2
 351
 352         echo ""
 353 }
 354
 355 # Start Consul and CBS
 356 # args: -
 357 # (Function for test scripts)
 358 start_consul_cbs() {
 359
 360         echo -e $BOLD"Starting $CONSUL_DISPLAY_NAME and $CBS_DISPLAY_NAME"$EBOLD
 361         __check_included_image 'CONSUL'
 362         if [ $? -eq 1 ]; then
 363                 echo -e $RED"The Consul image has not been checked for this test run due to arg to the test script"$ERED
 364                 echo -e $RED"Consul will not be started"$ERED
 365                 exit
 366         fi
 367         export CONSUL_APP_NAME
 368         export CONSUL_INTERNAL_PORT
 369         export CONSUL_EXTERNAL_PORT
 370         export CBS_APP_NAME
 371         export CBS_INTERNAL_PORT
 372         export CBS_EXTERNAL_PORT
 373         export CONSUL_HOST
 374         export CONSUL_DISPLAY_NAME
 375         export CBS_DISPLAY_NAME
 376
 377         __start_container $CONSUL_CBS_COMPOSE_DIR "" NODOCKERARGS 2 $CONSUL_APP_NAME $CBS_APP_NAME
 378
 379         __check_service_start $CONSUL_APP_NAME $CONSUL_SERVICE_PATH$CONSUL_ALIVE_URL
 380         __check_service_start $CBS_APP_NAME $CBS_SERVICE_PATH$CBS_ALIVE_URL
 381
 382         echo ""
 383 }
 384