test/common/ricsim_api_functions.sh

   1 #!/bin/bash
   2
   3 #  ============LICENSE_START===============================================
   4 #  Copyright (C) 2020 Nordix Foundation. All rights reserved.
   5 #  ========================================================================
   6 #  Licensed under the Apache License, Version 2.0 (the "License");
   7 #  you may not use this file except in compliance with the License.
   8 #  You may obtain a copy of the License at
   9 #
  10 #       http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #  Unless required by applicable law or agreed to in writing, software
  13 #  distributed under the License is distributed on an "AS IS" BASIS,
  14 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #  See the License for the specific language governing permissions and
  16 #  limitations under the License.
  17 #  ============LICENSE_END=================================================
  18 #
  19
  20 # This is a script that contains container/service management functions and test functions for RICSIM A1 simulators
  21
  22 ################ Test engine functions ################
  23
  24 # Create the image var used during the test
  25 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
  26 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
  27 __RICSIM_imagesetup() {
  28         __check_and_create_image_var RICSIM "RIC_SIM_IMAGE" "RIC_SIM_IMAGE_BASE" "RIC_SIM_IMAGE_TAG" $1 "$RIC_SIM_DISPLAY_NAME"
  29 }
  30
  31 # Pull image from remote repo or use locally built image
  32 # arg: <pull-policy-override> <pull-policy-original>
  33 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
  34 # <pull-policy-original> Shall be used for images that does not allow overriding
  35 # Both var may contain: 'remote', 'remote-remove' or 'local'
  36 __RICSIM_imagepull() {
  37         __check_and_pull_image $1 "$RIC_SIM_DISPLAY_NAME" $RIC_SIM_PREFIX"_"$RIC_SIM_BASE RIC_SIM_IMAGE
  38 }
  39
  40 # Generate a string for each included image using the app display name and a docker images format string
  41 # If a custom image repo is used then also the source image from the local repo is listed
  42 # arg: <docker-images-format-string> <file-to-append>
  43 __RICSIM_image_data() {
  44         echo -e "$RIC_SIM_DISPLAY_NAME\t$(docker images --format $1 $RIC_SIM_IMAGE)" >>   $2
  45         if [ ! -z "$RIC_SIM_IMAGE_SOURCE" ]; then
  46                 echo -e "-- source image --\t$(docker images --format $1 $RIC_SIM_IMAGE_SOURCE)" >>   $2
  47         fi
  48 }
  49
  50 # Scale kubernetes resources to zero
  51 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
  52 # This function is called for apps fully managed by the test script
  53 __RICSIM_kube_scale_zero() {
  54         __kube_scale_all_resources $KUBE_A1SIM_NAMESPACE autotest RICSIM
  55 }
  56
  57 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
  58 # This function is called for prestarted apps not managed by the test script.
  59 __RICSIM_kube_scale_zero_and_wait() {
  60         #__kube_scale_and_wait_all_resources $KUBE_A1SIM_NAMESPACE app $KUBE_A1SIM_NAMESPACE"-"$RIC_SIM_PREFIX
  61         __kube_scale_and_wait_all_resources $KUBE_A1SIM_NAMESPACE app # the values of the app label is not known
  62 }
  63
  64 # Delete all kube resouces for the app
  65 # This function is called for apps managed by the test script.
  66 __RICSIM_kube_delete_all() {
  67         __kube_delete_all_resources $KUBE_A1SIM_NAMESPACE autotest RICSIM
  68 }
  69
  70 # Store docker logs
  71 # This function is called for apps managed by the test script.
  72 # args: <log-dir> <file-prexix>
  73 __RICSIM_store_docker_logs() {
  74         if [ $RUNMODE == "KUBE" ]; then
  75                 for podname in $(kubectl get pods -n $KUBE_A1SIM_NAMESPACE -l "autotest=RICSIM" -o custom-columns=":metadata.name"); do
  76                         kubectl logs -n $KUBE_A1SIM_NAMESPACE $podname --tail=-1 > $1$2_$podname.log 2>&1
  77                 done
  78         else
  79
  80                 rics=$(docker ps --filter "name=$RIC_SIM_PREFIX" --filter "network=$DOCKER_SIM_NWNAME" --filter "status=running" --format {{.Names}})
  81                 for ric in $rics; do
  82                         docker logs $ric > $1$2_$ric.log 2>&1
  83                 done
  84         fi
  85 }
  86
  87 # Initial setup of protocol, host and ports
  88 # This function is called for apps managed by the test script.
  89 # args: -
  90 __RICSIM_initial_setup() {
  91         use_simulator_http
  92 }
  93
  94 # Set app short-name, app name and namespace for logging runtime statistics of kubernets pods or docker containers
  95 # For docker, the namespace shall be excluded
  96 # This function is called for apps managed by the test script as well as for prestarted apps.
  97 # args: -
  98 __RICSIM_statisics_setup() {
  99         for ((RICSIM_INSTANCE=10; RICSIM_INSTANCE>0; RICSIM_INSTANCE-- )); do
 100                 if [ $RUNMODE == "KUBE" ]; then
 101                         RICSIM_INSTANCE_KUBE=$(($RICSIM_INSTANCE-1))
 102                         echo -n " RICSIM_G1_$RICSIM_INSTANCE_KUBE ${RIC_SIM_PREFIX}-g1-$RICSIM_INSTANCE_KUBE $KUBE_A1SIM_NAMESPACE "
 103                         echo -n " RICSIM_G2_$RICSIM_INSTANCE_KUBE ${RIC_SIM_PREFIX}-g2-$RICSIM_INSTANCE_KUBE $KUBE_A1SIM_NAMESPACE "
 104                         echo -n " RICSIM_G3_$RICSIM_INSTANCE_KUBE ${RIC_SIM_PREFIX}-g3-$RICSIM_INSTANCE_KUBE $KUBE_A1SIM_NAMESPACE "
 105                 else
 106                         echo -n " RICSIM_G1_$RICSIM_INSTANCE ${RIC_SIM_PREFIX}_g1_$RICSIM_INSTANCE "
 107                         echo -n " RICSIM_G2_$RICSIM_INSTANCE ${RIC_SIM_PREFIX}_g2_$RICSIM_INSTANCE "
 108                         echo -n " RICSIM_G3_$RICSIM_INSTANCE ${RIC_SIM_PREFIX}_g3_$RICSIM_INSTANCE "
 109                 fi
 110         done
 111 }
 112
 113 #######################################################
 114
 115
 116 RIC_SIM_HTTPX="http"
 117 RIC_SIM_HOST=$RIC_SIM_HTTPX"://"$LOCALHOST_NAME
 118 RIC_SIM_PORT=$RIC_SIM_INTERNAL_PORT
 119
 120
 121 #Vars for A1 interface version and container count
 122 G1_A1_VERSION=""
 123 G2_A1_VERSION=""
 124 G3_A1_VERSION=""
 125 G4_A1_VERSION=""
 126 G5_A1_VERSION=""
 127 G1_COUNT=0
 128 G2_COUNT=0
 129 G3_COUNT=0
 130 G4_COUNT=0
 131 G5_COUNT=0
 132
 133
 134 ###########################
 135 ### RIC Simulator functions
 136 ###########################
 137
 138 use_simulator_http() {
 139         echo -e $BOLD"RICSIM protocol setting"$EBOLD
 140         echo -e " Using $BOLD http $EBOLD towards the simulators"
 141         RIC_SIM_HTTPX="http"
 142         RIC_SIM_HOST=$RIC_SIM_HTTPX"://"$LOCALHOST_NAME
 143         RIC_SIM_PORT=$RIC_SIM_INTERNAL_PORT
 144         echo ""
 145 }
 146
 147 use_simulator_https() {
 148         echo -e $BOLD"RICSIM protocol setting"$EBOLD
 149         echo -e " Using $BOLD https $EBOLD towards the simulators"
 150         RIC_SIM_HTTPX="https"
 151         RIC_SIM_HOST=$RIC_SIM_HTTPX"://"$LOCALHOST_NAME
 152         RIC_SIM_PORT=$RIC_SIM_INTERNAL_SECURE_PORT
 153         echo ""
 154 }
 155
 156 # Start one group (ricsim_g1, ricsim_g2 .. ricsim_g5) with a number of RIC Simulators using a given A interface
 157 # 'ricsim' may be set on command line to other prefix
 158 # args:  ricsim_g1|ricsim_g2|ricsim_g3|ricsim_g4|ricsim_g5 <count> <interface-id>
 159 # (Function for test scripts)
 160 start_ric_simulators() {
 161
 162         echo -e $BOLD"Starting $RIC_SIM_DISPLAY_NAME"$EBOLD
 163
 164         if [ $RUNMODE == "KUBE" ]; then
 165
 166                 # Check if app shall be fully managed by the test script
 167                 __check_included_image "RICSIM"
 168                 retcode_i=$?
 169
 170                 # Check if app shall only be used by the testscipt
 171                 __check_prestarted_image "RICSIM"
 172                 retcode_p=$?
 173
 174                 if [ $retcode_i -ne 0 ] && [ $retcode_p -ne 0 ]; then
 175                         echo -e $RED"The $1 app is not included as managed nor prestarted in this test script"$ERED
 176                         echo -e $RED"The $1 will not be started"$ERED
 177                         exit
 178                 fi
 179                 if [ $retcode_i -eq 0 ] && [ $retcode_p -eq 0 ]; then
 180                         echo -e $RED"The $1 stub app is included both as managed and prestarted in this test script"$ERED
 181                         echo -e $RED"The $1 will not be started"$ERED
 182                         exit
 183                 fi
 184
 185                 if [ $retcode_p -eq 0 ]; then
 186                         echo -e " Using existing $1 statefulset and service"
 187                         echo " Using existing simulator deployment and service for statefulset $1"
 188                         echo " Setting $1 replicas=$2"
 189                         __kube_scale statefulset $1 $KUBE_A1SIM_NAMESPACE $2
 190                         echo ""
 191                         return
 192                 fi
 193         fi
 194
 195         RIC1=$RIC_SIM_PREFIX"_g1"
 196         RIC2=$RIC_SIM_PREFIX"_g2"
 197         RIC3=$RIC_SIM_PREFIX"_g3"
 198         RIC4=$RIC_SIM_PREFIX"_g4"
 199         RIC5=$RIC_SIM_PREFIX"_g5"
 200
 201         if [ $# != 3 ]; then
 202                 ((RES_CONF_FAIL++))
 203                 __print_err "need three args,  $RIC1|$RIC2|$RIC3|$RIC4|$RIC5 <count> <interface-id>" $@
 204                 exit 1
 205         fi
 206
 207         echo " $2 simulators using basename: $1 on interface: $3"
 208         #Set env var for simulator count and A1 interface vesion for the given group
 209         if [ $1 == "$RIC1" ]; then
 210                 G1_COUNT=$2
 211                 G1_A1_VERSION=$3
 212         elif [ $1 == "$RIC2" ]; then
 213                 G2_COUNT=$2
 214                 G2_A1_VERSION=$3
 215         elif [ $1 == "$RIC3" ]; then
 216                 G3_COUNT=$2
 217                 G3_A1_VERSION=$3
 218         elif [ $1 == "$RIC4" ]; then
 219                 G4_COUNT=$2
 220                 G4_A1_VERSION=$3
 221         elif [ $1 == "$RIC5" ]; then
 222                 G5_COUNT=$2
 223                 G5_A1_VERSION=$3
 224         else
 225                 ((RES_CONF_FAIL++))
 226                 __print_err "need three args, $RIC1|$RIC2|$RIC3|$RIC4|$RIC5 <count> <interface-id>" $@
 227                 exit 1
 228         fi
 229
 230         if [ $RUNMODE == "KUBE" ]; then
 231
 232                 if [ $retcode_i -eq 0 ]; then
 233
 234                         #export needed env var for statefulset
 235                         export RIC_SIM_SET_NAME=$(echo "$1" | tr '_' '-')  #kube does not accept underscore in names
 236                         export KUBE_A1SIM_NAMESPACE
 237                         export RIC_SIM_IMAGE
 238                         #Adding 1 more instance, instance 0 is never used. This is done to keep test scripts compatible
 239                         # with docker that starts instance index on 1.....
 240                         export RIC_SIM_COUNT=$(($2+1))
 241                         export A1_VERSION=$3
 242                         export RIC_SIM_INTERNAL_PORT
 243                         export RIC_SIM_INTERNAL_SECURE_PORT
 244
 245                         echo -e " Creating $POLICY_AGENT_APP_NAME app and expose service"
 246
 247                         #Check if nonrtric namespace exists, if not create it
 248                         __kube_create_namespace $KUBE_A1SIM_NAMESPACE
 249
 250                         # Create service
 251                         input_yaml=$SIM_GROUP"/"$RIC_SIM_COMPOSE_DIR"/"svc.yaml
 252                         output_yaml=$PWD/tmp/ric_${1}_svc.yaml
 253                         __kube_create_instance service $RIC_SIM_SET_NAME $input_yaml $output_yaml
 254
 255                         # Create app
 256                         input_yaml=$SIM_GROUP"/"$RIC_SIM_COMPOSE_DIR"/"app.yaml
 257                         output_yaml=$PWD/tmp/pa_${1}_app.yaml
 258                         __kube_create_instance app $RIC_SIM_SET_NAME $input_yaml $output_yaml
 259
 260                         #Using only instance from index 1 to keep compatability with docker
 261                         for (( count=1; count<${RIC_SIM_COUNT}; count++ )); do
 262                                 host=$(__find_sim_host $RIC_SIM_SET_NAME"-"$count)
 263                                 __check_service_start $RIC_SIM_SET_NAME"-"$count $host"/"
 264                         done
 265                 fi
 266         else
 267
 268                 __check_included_image 'RICSIM'
 269                 if [ $? -eq 1 ]; then
 270                         echo -e $RED"The Near-RT RIC Simulator app is not included as managed in this test script"$ERED
 271                         echo -e $RED"Near-RT RIC Simulator will not be started"$ERED
 272                         exit 1
 273                 fi
 274
 275                 # Create .env file to compose project, all ric container will get this prefix
 276                 echo "COMPOSE_PROJECT_NAME="$RIC_SIM_PREFIX > $SIM_GROUP/$RIC_SIM_COMPOSE_DIR/.env
 277
 278                 export G1_A1_VERSION
 279                 export G2_A1_VERSION
 280                 export G3_A1_VERSION
 281                 export G4_A1_VERSION
 282                 export G5_A1_VERSION
 283                 export RIC_SIM_INTERNAL_PORT
 284                 export RIC_SIM_INTERNAL_SECURE_PORT
 285                 export RIC_SIM_CERT_MOUNT_DIR
 286                 export DOCKER_SIM_NWNAME
 287                 export RIC_SIM_DISPLAY_NAME
 288
 289                 docker_args="--scale g1=$G1_COUNT --scale g2=$G2_COUNT --scale g3=$G3_COUNT --scale g4=$G4_COUNT --scale g5=$G5_COUNT"
 290                 app_data=""
 291                 cntr=1
 292                 while [ $cntr -le $2 ]; do
 293                         app=$1"_"$cntr
 294                         app_data="$app_data $app"
 295                         let cntr=cntr+1
 296                 done
 297
 298                 __start_container $RIC_SIM_COMPOSE_DIR "" "$docker_args" $2 $app_data
 299
 300                 cntr=1
 301                 while [ $cntr -le $2 ]; do
 302                         app=$1"_"$cntr
 303                         __check_service_start $app $RIC_SIM_HTTPX"://"$app:$RIC_SIM_PORT$RIC_SIM_ALIVE_URL
 304                         let cntr=cntr+1
 305                 done
 306
 307         fi
 308         echo ""
 309         return 0
 310 }
 311
 312 # Translate ric name to kube host name
 313 # args: <ric-name>
 314 # For test scripts
 315 get_kube_sim_host() {
 316         name=$(echo "$1" | tr '_' '-')  #kube does not accept underscore in names
 317         #example gnb_1_2 -> gnb-1-2
 318         set_name=$(echo $name | rev | cut -d- -f2- | rev) # Cut index part of ric name to get the name of statefulset
 319         # example gnb-g1-2 -> gnb-g1 where gnb-g1-2 is the ric name and gnb-g1 is the set name
 320         echo $name"."$set_name"."$KUBE_A1SIM_NAMESPACE
 321 }
 322
 323 # Helper function to get a the port and host name of a specific ric simulator
 324 # args: <ric-id>
 325 # (Not for test scripts)
 326 __find_sim_host() {
 327         if [ $RUNMODE == "KUBE" ]; then
 328                 ricname=$(echo "$1" | tr '_' '-') # Kube does not accept underscore in names as docker do
 329                 ric_setname="${ricname%-*}"  #Extract the stateful set name
 330                 echo $RIC_SIM_HTTPX"://"$ricname.$ric_setname.$KUBE_A1SIM_NAMESPACE":"$RIC_SIM_PORT
 331         else
 332                 echo $RIC_SIM_HTTPX"://"$1":"$RIC_SIM_PORT
 333
 334         fi
 335 }
 336
 337 # Generate a UUID to use as prefix for policy ids
 338 generate_policy_uuid() {
 339         UUID=$(python3 -c 'import sys,uuid; sys.stdout.write(uuid.uuid4().hex)')
 340         #Reduce length to make space for serial id, uses 'a' as marker where the serial id is added
 341         UUID=${UUID:0:${#UUID}-4}"a"
 342 }
 343
 344 # Excute a curl cmd towards a ricsimulator and check the response code.
 345 # args: <expected-response-code> <curl-cmd-string>
 346 __execute_curl_to_sim() {
 347         echo ${FUNCNAME[1]} "line: "${BASH_LINENO[1]} >> $HTTPLOG
 348         proxyflag=""
 349         if [ ! -z "$KUBE_PROXY_PATH" ]; then
 350                 if [ $KUBE_PROXY_HTTPX == "http" ]; then
 351                         proxyflag=" --proxy $KUBE_PROXY_PATH"
 352                 else
 353                         proxyflag=" --proxy-insecure --proxy $KUBE_PROXY_PATH"
 354                 fi
 355         fi
 356         echo " CMD: $2 $proxyflag" >> $HTTPLOG
 357         res="$($2 $proxyflag)"
 358         echo " RESP: $res" >> $HTTPLOG
 359         retcode=$?
 360     if [ $retcode -ne 0 ]; then
 361                 ((RES_CONF_FAIL++))
 362                 echo " RETCODE: "$retcode
 363         echo -e $RED" FAIL - fatal error when executing curl."$ERED
 364         return 1
 365     fi
 366     status=${res:${#res}-3}
 367     if [ $status -eq $1 ]; then
 368         echo -e $GREEN" OK"$EGREEN
 369         return 0
 370     fi
 371     echo -e $RED" FAIL - expected http response: "$1" but got http response: "$status $ERED
 372         ((RES_CONF_FAIL++))
 373     return 1
 374 }
 375
 376 # Tests if a variable value in the ricsimulator is equal to a target value and and optional timeout.
 377 # Arg: <ric-id> <variable-name> <target-value> - This test set pass or fail depending on if the variable is
 378 # equal to the target or not.
 379 # Arg: <ric-id> <variable-name> <target-value> <timeout-in-sec>  - This test waits up to the timeout seconds
 380 # before setting pass or fail depending on if the variable value becomes equal to the target
 381 # value or not.
 382 # (Function for test scripts)
 383 sim_equal() {
 384
 385         if [ $# -eq 3 ] || [ $# -eq 4 ]; then
 386                 host=$(__find_sim_host $1)
 387                 __var_test $1 "$host/counter/" $2 "=" $3 $4
 388                 return 0
 389         else
 390                 __print_err "needs three or four args: <ric-id> <sim-param> <target-value> [ timeout ]"
 391                 return 1
 392         fi
 393 }
 394
 395 # Print a variable value from the RIC sim.
 396 # args: <ric-id> <variable-name>
 397 # (Function for test scripts)
 398 sim_print() {
 399
 400         if [ $# != 2 ]; then
 401         __print_err "need two args, <ric-id> <sim-param>" $@
 402                 exit 1
 403         fi
 404         host=$(__find_sim_host $1)
 405         echo -e $BOLD"INFO(${BASH_LINENO[0]}): $1, $2 = $(__do_curl $host/counter/$2)"$EBOLD
 406 }
 407
 408 # Tests if a variable value in the RIC simulator contains the target string and and optional timeout
 409 # Arg: <ric-id> <variable-name> <target-value> - This test set pass or fail depending on if the variable contains
 410 # the target or not.
 411 # Arg: <ric-id> <variable-name> <target-value> <timeout-in-sec>  - This test waits up to the timeout seconds
 412 # before setting pass or fail depending on if the variable value contains the target
 413 # value or not.
 414 # (Function for test scripts)
 415 sim_contains_str() {
 416
 417         if [ $# -eq 3 ] || [ $# -eq 4 ]; then
 418                 host=$(__find_sim_host $1)
 419                 __var_test $1 "$host/counter/" $2 "contain_str" $3 $4
 420                 return 0
 421         else
 422                 __print_err "needs three or four args: <ric-id> <sim-param> <target-value> [ timeout ]"
 423                 return 1
 424         fi
 425 }
 426
 427 # Simulator API: Put a policy type in a ric
 428 # args: <response-code> <ric-id> <policy-type-id> <policy-type-file>
 429 # (Function for test scripts)
 430 sim_put_policy_type() {
 431         __log_conf_start $@
 432         if [ $# -ne 4 ]; then
 433                 __print_err "<response-code> <ric-id> <policy-type-id> <policy-type-file>" $@
 434                 return 1
 435         fi
 436         host=$(__find_sim_host $2)
 437     curlString="curl -X PUT -skw %{http_code} "$host"/policytype?id="$3" -H Content-Type:application/json --data-binary @"$4
 438         __execute_curl_to_sim $1 "$curlString"
 439         return $?
 440 }
 441
 442 # Simulator API: Delete a policy type in a ric
 443 # <response-code> <ric-id> <policy-type-id>
 444 # (Function for test scripts)
 445 sim_delete_policy_type() {
 446         __log_conf_start $@
 447         if [ $# -ne 3 ]; then
 448                 __print_err "<response-code> <ric-id> <policy_type_id>" $@
 449                 return 1
 450         fi
 451         host=$(__find_sim_host $2)
 452     curlString="curl -X DELETE -skw %{http_code} "$host"/policytype?id="$3
 453     __execute_curl_to_sim $1 "$curlString"
 454         return $?
 455 }
 456
 457 # Simulator API: Delete instances (and status), for one ric
 458 # <response-code> <ric-id>
 459 # (Function for test scripts)
 460 sim_post_delete_instances() {
 461         __log_conf_start $@
 462         if [ $# -ne 2 ]; then
 463                 __print_err "<response-code> <ric-id>" $@
 464                 return 1
 465         fi
 466         host=$(__find_sim_host $2)
 467     curlString="curl -X POST -skw %{http_code} "$host"/deleteinstances"
 468     __execute_curl_to_sim $1 "$curlString"
 469         return $?
 470 }
 471
 472 # Simulator API: Delete all (instances/types/statuses/settings), for one ric
 473 # <response-code> <ric-id>
 474 # (Function for test scripts)
 475 sim_post_delete_all() {
 476         __log_conf_start $@
 477         if [ $# -ne 2 ]; then
 478                 __print_err "<response-code> <numericic-id>" $@
 479                 return 1
 480         fi
 481         host=$(__find_sim_host $2)
 482     curlString="curl -X POST -skw %{http_code} "$host"/deleteall"
 483     __execute_curl_to_sim $1 "$curlString"
 484         return $?
 485 }
 486
 487 # Simulator API: Set (or reset) response code for next A1 message, for one ric
 488 # <response-code> <ric-id> [<forced_response_code>]
 489 # (Function for test scripts)
 490 sim_post_forcedresponse() {
 491         __log_conf_start $@
 492         if [ $# -ne 3 ]; then
 493                 __print_err "<response-code> <ric-id> <forced_response_code>" $@
 494                 return 1
 495         fi
 496         host=$(__find_sim_host $2)
 497     curlString="curl -X POST -skw %{http_code} "$host"/forceresponse"
 498         if [ $# -eq 3 ]; then
 499                 curlString=$curlString"?code="$3
 500         fi
 501     __execute_curl_to_sim $1 "$curlString"
 502         return $?
 503 }
 504
 505 # Simulator API: Set (or reset) A1 response delay, for one ric
 506 # <response-code> <ric-id> [<delay-in-seconds>]
 507 # (Function for test scripts)
 508 sim_post_forcedelay() {
 509         __log_conf_start $@
 510         if [ $# -ne 3 ]; then
 511                 __print_err "<response-code> <ric-id> [<delay-in-seconds>]" $@
 512                 return 1
 513         fi
 514         host=$(__find_sim_host $2)
 515     curlString="curl -X POST -skw %{http_code} $host/forcedelay"
 516         if [ $# -eq 3 ]; then
 517                 curlString=$curlString"?delay="$3
 518         fi
 519     __execute_curl_to_sim $1 "$curlString"
 520         return $?
 521 }