test/common/consul_cbs_functions.sh

   1 #!/bin/bash
   2
   3 #  ============LICENSE_START===============================================
   4 #  Copyright (C) 2020 Nordix Foundation. All rights reserved.
   5 #  ========================================================================
   6 #  Licensed under the Apache License, Version 2.0 (the "License");
   7 #  you may not use this file except in compliance with the License.
   8 #  You may obtain a copy of the License at
   9 #
  10 #       http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #  Unless required by applicable law or agreed to in writing, software
  13 #  distributed under the License is distributed on an "AS IS" BASIS,
  14 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #  See the License for the specific language governing permissions and
  16 #  limitations under the License.
  17 #  ============LICENSE_END=================================================
  18 #
  19
  20 # This is a script that contains container/service management functions and test functions for Consul/CBS
  21
  22 ################ Test engine functions ################
  23
  24 # Create the image var used during the test
  25 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  26 # <image-tag-suffix> is present only for that exist with staging, snapshot,release tags
  27 __CONSUL_imagesetup() {
  28         __check_and_create_image_var CONSUL "CONSUL_IMAGE" "CONSUL_IMAGE_BASE" "CONSUL_IMAGE_TAG" REMOTE_PROXY "$CONSUL_DISPLAY_NAME"
  29
  30 }
  31
  32 # Create the image var used during the test
  33 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  34 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  35 __CBS_imagesetup() {
  36         __check_and_create_image_var  CBS "CBS_IMAGE" "CBS_IMAGE_BASE" "CBS_IMAGE_TAG" REMOTE_RELEASE_ONAP "$CBS_DISPLAY_NAME"
  37
  38 }
  39
  40 # Pull image from remote repo or use locally built image
  41 # arg: <pull-policy-override> <pull-policy-original>
  42 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
  43 # <pull-policy-original> Shall be used for images that does not allow overriding
  44 # Both var may contain: 'remote', 'remote-remove' or 'local'
  45 __CONSUL_imagepull() {
  46         __check_and_pull_image $2 "$CONSUL_DISPLAY_NAME" $CONSUL_APP_NAME CONSUL_IMAGE
  47 }
  48
  49 # Pull image from remote repo or use locally built image
  50 # arg: <pull-policy-override> <pull-policy-original>
  51 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
  52 # <pull-policy-original> Shall be used for images that does not allow overriding
  53 # Both var may contain: 'remote', 'remote-remove' or 'local'
  54 __CBS_imagepull() {
  55         __check_and_pull_image $2 "$CBS_DISPLAY_NAME" $CBS_APP_NAME CBS_IMAGE
  56 }
  57
  58 # Build image (only for simulator or interfaces stubs owned by the test environment)
  59 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  60 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  61 __CONSUL_imagebuild() {
  62         echo -e $RED" Image for app CONSUL shall never be built"$ERED
  63 }
  64
  65 # Build image (only for simulator or interfaces stubs owned by the test environment)
  66 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  67 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  68 __CBS_imagebuild() {
  69         echo -e $RED" Image for app CBS shall never be built"$ERED
  70 }
  71
  72 # Generate a string for each included image using the app display name and a docker images format string
  73 # If a custom image repo is used then also the source image from the local repo is listed
  74 # arg: <docker-images-format-string> <file-to-append>
  75 __CONSUL_image_data() {
  76         echo -e "$CONSUL_DISPLAY_NAME\t$(docker images --format $1 $CONSUL_IMAGE)" >>   $2
  77         if [ ! -z "$CONSUL_IMAGE_SOURCE" ]; then
  78                 echo -e "-- source image --\t$(docker images --format $1 $CONSUL_IMAGE_SOURCE)" >>   $2
  79         fi
  80 }
  81
  82 # Generate a string for each included image using the app display name and a docker images format string
  83 # If a custom image repo is used then also the source image from the local repo is listed
  84 # arg: <docker-images-format-string> <file-to-append>
  85 __CBS_image_data() {
  86         echo -e "$CBS_DISPLAY_NAME\t$(docker images --format $1 $CBS_IMAGE)" >>   $2
  87         if [ ! -z "$CBS_IMAGE_SOURCE" ]; then
  88                 echo -e "-- source image --\t$(docker images --format $1 $CBS_IMAGE_SOURCE)" >>   $2
  89         fi
  90 }
  91
  92 # Scale kubernetes resources to zero
  93 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
  94 # This function is called for apps fully managed by the test script
  95 __CONSUL_kube_scale_zero() {
  96         echo -e $RED" Image for app CONSUL is not used in kube"$ERED
  97 }
  98
  99 # Scale kubernetes resources to zero
 100 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
 101 # This function is called for apps fully managed by the test script
 102 __CBS_kube_scale_zero() {
 103         echo -e $RED" Image for app CBS is not used in kube"$ERED
 104 }
 105
 106 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
 107 # This function is called for prestarted apps not managed by the test script.
 108 __CONSUL_kube_scale_zero_and_wait() {
 109         echo -e $RED" CONSUL app is not used in kube"$ERED
 110 }
 111
 112 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
 113 # This function is called for prestarted apps not managed by the test script.
 114 __CBS_kube_scale_zero_and_wait() {
 115         echo -e $RED" CBS app is not used in kube"$ERED
 116 }
 117
 118 # Delete all kube resouces for the app
 119 # This function is called for apps managed by the test script.
 120 __CONSUL_kube_delete_all() {
 121         echo -e $RED" CONSUL app is not used in kube"$ERED
 122 }
 123
 124 # Delete all kube resouces for the app
 125 # This function is called for apps managed by the test script.
 126 __CBS_kube_delete_all() {
 127         echo -e $RED" CBS app is not used in kube"$ERED
 128 }
 129
 130 # Store docker logs
 131 # This function is called for apps managed by the test script.
 132 # args: <log-dir> <file-prexix>
 133 __CONSUL_store_docker_logs() {
 134         if [ $RUNMODE == "KUBE" ]; then
 135                 :
 136         else
 137                 docker logs $CONSUL_APP_NAME > $1/$2_consul.log 2>&1
 138         fi
 139 }
 140
 141 # Store docker logs
 142 # This function is called for apps managed by the test script.
 143 # args: <log-dir> <file-prexix>
 144 __CBS_store_docker_logs() {
 145         if [ $RUNMODE == "KUBE" ]; then
 146                 :
 147         else
 148                 docker logs $CBS_APP_NAME > $1$2_cbs.log 2>&1
 149                 body="$(__do_curl $LOCALHOST_HTTP:$CBS_EXTERNAL_PORT/service_component_all/$POLICY_AGENT_APP_NAME)"
 150                 echo "$body" > $1$2_consul_config.json 2>&1
 151         fi
 152 }
 153
 154 # Initial setup of protocol, host and ports
 155 # This function is called for apps managed by the test script.
 156 # args: -
 157 __CONSUL_initial_setup() {
 158         CONSUL_SERVICE_PATH="http://"$CONSUL_APP_NAME":"$CONSUL_INTERNAL_PORT
 159 }
 160
 161 # Initial setup of protocol, host and ports
 162 # This function is called for apps managed by the test script.
 163 # args: -
 164 __CBS_initial_setup() {
 165         CBS_SERVICE_PATH="http://"$CBS_APP_NAME":"$CBS_INTERNAL_PORT
 166 }
 167
 168 #######################################################
 169
 170
 171 ####################
 172 ### Consul functions
 173 ####################
 174
 175 # Function to load config from a file into consul for the Policy Agent
 176 # arg: <json-config-file>
 177 # (Function for test scripts)
 178 consul_config_app() {
 179
 180         echo -e $BOLD"Configuring Consul"$EBOLD
 181
 182         if [ $# -ne 1 ]; then
 183                 ((RES_CONF_FAIL++))
 184         __print_err "need one arg,  <json-config-file>" $@
 185                 exit 1
 186         fi
 187
 188         echo " Loading config for "$POLICY_AGENT_APP_NAME" from "$1
 189
 190         curlString="$CONSUL_SERVICE_PATH/v1/kv/${POLICY_AGENT_CONFIG_KEY}?dc=dc1 -X PUT -H Accept:application/json -H Content-Type:application/json -H X-Requested-With:XMLHttpRequest --data-binary @"$1
 191
 192         result=$(__do_curl "$curlString")
 193         if [ $? -ne 0 ]; then
 194                 echo -e $RED" FAIL - json config could not be loaded to consul" $ERED
 195                 ((RES_CONF_FAIL++))
 196                 return 1
 197         fi
 198         body="$(__do_curl $CBS_SERVICE_PATH/service_component_all/$POLICY_AGENT_CONFIG_KEY)"
 199         echo $body > "./tmp/.output"$1
 200
 201         if [ $? -ne 0 ]; then
 202                 echo -e $RED" FAIL - json config could not be loaded from consul/cbs, contents cannot be checked." $ERED
 203                 ((RES_CONF_FAIL++))
 204                 return 1
 205         else
 206                 targetJson=$(< $1)
 207                 targetJson="{\"config\":"$targetJson"}"
 208                 echo "TARGET JSON: $targetJson" >> $HTTPLOG
 209                 res=$(python3 ../common/compare_json.py "$targetJson" "$body")
 210                 if [ $res -ne 0 ]; then
 211                         echo -e $RED" FAIL - policy json config read from consul/cbs is not equal to the intended json config...." $ERED
 212                         ((RES_CONF_FAIL++))
 213                         return 1
 214                 else
 215                         echo -e $GREEN" Config loaded ok to consul"$EGREEN
 216                 fi
 217         fi
 218
 219         echo ""
 220
 221 }
 222
 223 # Function to perpare the consul configuration according to the current simulator configuration
 224 # args: SDNC|NOSDNC <output-file>
 225 # (Function for test scripts)
 226 prepare_consul_config() {
 227         echo -e $BOLD"Prepare Consul config"$EBOLD
 228
 229         echo " Writing consul config for "$POLICY_AGENT_APP_NAME" to file: "$2
 230
 231         if [ $# != 2 ];  then
 232                 ((RES_CONF_FAIL++))
 233         __print_err "need two args,  SDNC|NOSDNC <output-file>" $@
 234                 exit 1
 235         fi
 236
 237         if [ $1 == "SDNC" ]; then
 238                 echo -e " Config$BOLD including SDNC$EBOLD configuration"
 239         elif [ $1 == "NOSDNC" ];  then
 240                 echo -e " Config$BOLD excluding SDNC$EBOLD configuration"
 241         else
 242                 ((RES_CONF_FAIL++))
 243         __print_err "need two args,  SDNC|NOSDNC <output-file>" $@
 244                 exit 1
 245         fi
 246
 247         config_json="\n            {"
 248         if [ $1 == "SDNC" ]; then
 249                 config_json=$config_json"\n   \"controller\": ["
 250                 config_json=$config_json"\n                     {"
 251                 config_json=$config_json"\n                       \"name\": \"$SDNC_APP_NAME\","
 252                 config_json=$config_json"\n                       \"baseUrl\": \"$SDNC_SERVICE_PATH\","
 253                 config_json=$config_json"\n                       \"userName\": \"$SDNC_USER\","
 254                 config_json=$config_json"\n                       \"password\": \"$SDNC_PWD\""
 255                 config_json=$config_json"\n                     }"
 256                 config_json=$config_json"\n   ],"
 257         fi
 258
 259         config_json=$config_json"\n   \"streams_publishes\": {"
 260         config_json=$config_json"\n                            \"dmaap_publisher\": {"
 261         config_json=$config_json"\n                              \"type\": \"message-router\","
 262         config_json=$config_json"\n                              \"dmaap_info\": {"
 263         config_json=$config_json"\n                                \"topic_url\": \"$MR_SERVICE_PATH$MR_WRITE_URL\""
 264         config_json=$config_json"\n                              }"
 265         config_json=$config_json"\n                            }"
 266         config_json=$config_json"\n   },"
 267         config_json=$config_json"\n   \"streams_subscribes\": {"
 268         config_json=$config_json"\n                             \"dmaap_subscriber\": {"
 269         config_json=$config_json"\n                               \"type\": \"message-router\","
 270         config_json=$config_json"\n                               \"dmaap_info\": {"
 271         config_json=$config_json"\n                                   \"topic_url\": \"$MR_SERVICE_PATH$MR_READ_URL\""
 272         config_json=$config_json"\n                                 }"
 273         config_json=$config_json"\n                               }"
 274         config_json=$config_json"\n   },"
 275
 276         config_json=$config_json"\n   \"ric\": ["
 277
 278         if [ $RUNMODE == "KUBE" ]; then
 279                 result=$(kubectl get pods -n $KUBE_A1SIM_NAMESPACE -o jsonpath='{.items[?(@.metadata.labels.autotest=="RICSIM")].metadata.name}')
 280                 rics=""
 281                 ric_cntr=0
 282                 if [ $? -eq 0 ] && [ ! -z "$result" ]; then
 283                         for im in $result; do
 284                                 if [[ $im != *"-0" ]]; then
 285                                         ric_subdomain=$(kubectl get pod $im -n $KUBE_A1SIM_NAMESPACE -o jsonpath='{.spec.subdomain}')
 286                                         rics=$rics" "$im"."$ric_subdomain"."$KUBE_A1SIM_NAMESPACE
 287                                         let ric_cntr=ric_cntr+1
 288                                 fi
 289                         done
 290                 fi
 291                 if [ $ric_cntr -eq 0 ]; then
 292                         echo $YELLOW"Warning: No rics found for the configuration"$EYELLOW
 293                 fi
 294         else
 295                 rics=$(docker ps --filter "name=$RIC_SIM_PREFIX" --filter "network=$DOCKER_SIM_NWNAME" --filter "status=running" --format {{.Names}})
 296                 if [ $? -ne 0 ] || [ -z "$rics" ]; then
 297                         echo -e $RED" FAIL - the names of the running RIC Simulator cannot be retrieved." $ERED
 298                         ((RES_CONF_FAIL++))
 299                         return 1
 300                 fi
 301         fi
 302         cntr=0
 303         for ric in $rics; do
 304                 if [ $cntr -gt 0 ]; then
 305                         config_json=$config_json"\n          ,"
 306                 fi
 307                 config_json=$config_json"\n          {"
 308                 if [ $RUNMODE == "KUBE" ]; then
 309                         ric_id=${ric%.*.*} #extract pod id from full hosthame
 310                         ric_id=$(echo "$ric_id" | tr '-' '_')
 311                 else
 312                         ric_id=$ric
 313                 fi
 314                 echo " Found a1 sim: "$ric_id
 315                 config_json=$config_json"\n            \"name\": \"$ric_id\","
 316                 config_json=$config_json"\n            \"baseUrl\": \"$RIC_SIM_HTTPX://$ric:$RIC_SIM_PORT\","
 317                 if [ $1 == "SDNC" ]; then
 318                         config_json=$config_json"\n            \"controller\": \"$SDNC_APP_NAME\","
 319                 fi
 320                 config_json=$config_json"\n            \"managedElementIds\": ["
 321                 config_json=$config_json"\n              \"me1_$ric_id\","
 322                 config_json=$config_json"\n              \"me2_$ric_id\""
 323                 config_json=$config_json"\n            ]"
 324                 config_json=$config_json"\n          }"
 325                 let cntr=cntr+1
 326         done
 327
 328         config_json=$config_json"\n           ]"
 329         config_json=$config_json"\n}"
 330
 331         if [ $RUNMODE == "KUBE" ]; then
 332                 config_json="{\"config\":"$config_json"}"
 333         fi
 334
 335         printf "$config_json">$2
 336
 337         echo ""
 338 }
 339
 340 # Start Consul and CBS
 341 # args: -
 342 # (Function for test scripts)
 343 start_consul_cbs() {
 344
 345         echo -e $BOLD"Starting $CONSUL_DISPLAY_NAME and $CBS_DISPLAY_NAME"$EBOLD
 346         __check_included_image 'CONSUL'
 347         if [ $? -eq 1 ]; then
 348                 echo -e $RED"The Consul image has not been checked for this test run due to arg to the test script"$ERED
 349                 echo -e $RED"Consul will not be started"$ERED
 350                 exit
 351         fi
 352         export CONSUL_APP_NAME
 353         export CONSUL_INTERNAL_PORT
 354         export CONSUL_EXTERNAL_PORT
 355         export CBS_APP_NAME
 356         export CBS_INTERNAL_PORT
 357         export CBS_EXTERNAL_PORT
 358         export CONSUL_HOST
 359         export CONSUL_DISPLAY_NAME
 360         export CBS_DISPLAY_NAME
 361
 362         __start_container $CONSUL_CBS_COMPOSE_DIR "" NODOCKERARGS 2 $CONSUL_APP_NAME $CBS_APP_NAME
 363
 364         __check_service_start $CONSUL_APP_NAME $CONSUL_SERVICE_PATH$CONSUL_ALIVE_URL
 365         __check_service_start $CBS_APP_NAME $CBS_SERVICE_PATH$CBS_ALIVE_URL
 366
 367         echo ""
 368 }
 369