test/auto-test/FTC3001.sh

   1 #!/usr/bin/env bash
   2
   3 #  ============LICENSE_START===============================================
   4 #  Copyright (C) 2020 Nordix Foundation. All rights reserved.
   5 #  ========================================================================
   6 #  Licensed under the Apache License, Version 2.0 (the "License");
   7 #  you may not use this file except in compliance with the License.
   8 #  You may obtain a copy of the License at
   9 #
  10 #       http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #  Unless required by applicable law or agreed to in writing, software
  13 #  distributed under the License is distributed on an "AS IS" BASIS,
  14 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #  See the License for the specific language governing permissions and
  16 #  limitations under the License.
  17 #  ============LICENSE_END=================================================
  18 #
  19
  20 TC_ONELINE_DESCR="App test DMAAP Meditor and DMAAP Adapter with 100 jobs,types and topics"
  21
  22 #App names to include in the test when running docker, space separated list
  23 DOCKER_INCLUDED_IMAGES="ICS DMAAPMED DMAAPADP KUBEPROXY MR DMAAPMR CR KAFKAPC HTTPPROXY"
  24
  25 #App names to include in the test when running kubernetes, space separated list
  26 KUBE_INCLUDED_IMAGES=" ICS DMAAPMED DMAAPADP KUBEPROXY MR DMAAPMR CR KAFKAPC HTTPPROXY"
  27
  28 #Prestarted app (not started by script) to include in the test when running kubernetes, space separated list
  29 KUBE_PRESTARTED_IMAGES=""
  30
  31 #Ignore image in DOCKER_INCLUDED_IMAGES, KUBE_INCLUDED_IMAGES if
  32 #the image is not configured in the supplied env_file
  33 #Used for images not applicable to all supported profile
  34 CONDITIONALLY_IGNORED_IMAGES=""
  35
  36 #Supported test environment profiles
  37 SUPPORTED_PROFILES="ORAN-E-RELEASE ORAN-F-RELEASE ORAN-G-RELEASE"
  38 #Supported run modes
  39 SUPPORTED_RUNMODES="DOCKER KUBE"
  40
  41 . ../common/testcase_common.sh $@
  42
  43 setup_testenvironment
  44
  45 #### TEST BEGIN ####
  46
  47 #Local vars in test script
  48 ##########################
  49 FLAT_A1_EI="1"
  50 NUM_CR=1 # Number of callback receivers, max 1
  51 ## Note: The number jobs must be a multiple of the number of CRs in order to calculate the number of expected event in each CR
  52 NUM_JOBS=100  # Mediator and adapter gets same number of jobs for every type
  53 if [ $NUM_CR -gt 1 ]; then
  54     __log_conf_fail_general "Max number of callback receivers is one in this test"
  55 fi
  56
  57 clean_environment
  58
  59 #use_cr_https
  60 use_cr_http
  61 use_ics_rest_https
  62 use_mr_https
  63 use_dmaapadp_https
  64 use_dmaapmed_https
  65
  66 start_kube_proxy
  67
  68 start_cr $NUM_CR
  69
  70 start_ics NOPROXY $SIM_GROUP/$ICS_COMPOSE_DIR/$ICS_CONFIG_FILE
  71
  72 set_ics_trace
  73
  74 start_mr
  75
  76 start_kafkapc
  77
  78 for ((i=1; i<=$NUM_JOBS; i++))
  79 do
  80     kafkapc_api_create_topic 201 "unauthenticated.dmaapadp_kafka.text$i" "text/plain"
  81
  82     kafkapc_api_start_sending 200 "unauthenticated.dmaapadp_kafka.text$i"
  83 done
  84
  85 adp_med_type_list=""
  86 adp_config_data='{"types": ['
  87 for ((i=1; i<=$NUM_JOBS; i++))
  88 do
  89     if [ $i -ne 1 ]; then
  90         adp_config_data=$adp_config_data','
  91     fi
  92     adp_config_data=$adp_config_data'{"id": "ADPKafkaType'$i'","kafkaInputTopic": "unauthenticated.dmaapadp_kafka.text'$i'","useHttpProxy": false}'
  93     adp_med_type_list="$adp_med_type_list ADPKafkaType$i "
  94 done
  95 adp_config_data=$adp_config_data']}'
  96 echo $adp_config_data > tmp/adp_config_data.json
  97
  98 start_dmaapadp NOPROXY $SIM_GROUP/$DMAAP_ADP_COMPOSE_DIR/$DMAAP_ADP_CONFIG_FILE_TEMPLATE tmp/adp_config_data.json
  99
 100 set_dmaapadp_trace
 101
 102 if [[ "$DMAAP_MED_FEATURE_LEVEL" == *"KAFKATYPES"* ]]; then
 103     for ((i=1; i<=$NUM_JOBS; i++))
 104     do
 105         kafkapc_api_create_topic 201 "unauthenticated.dmaapmed_kafka.text$i" "text/plain"
 106
 107         kafkapc_api_start_sending 200 "unauthenticated.dmaapmed_kafka.text$i"
 108     done
 109 fi
 110
 111 med_config_data='{"types": ['
 112 for ((i=1; i<=$NUM_JOBS; i++))
 113 do
 114     if [ $i -ne 1 ]; then
 115         med_config_data=$med_config_data','
 116     fi
 117     med_config_data=$med_config_data'{"id": "MEDKafkaType'$i'","kafkaInputTopic": "unauthenticated.dmaapmed_kafka.text'$i'"}'
 118     adp_med_type_list="$adp_med_type_list MEDKafkaType$i "
 119 done
 120 med_config_data=$med_config_data']}'
 121 echo $med_config_data > tmp/med_config_data.json
 122
 123 start_dmaapmed NOPROXY tmp/med_config_data.json
 124
 125 ics_equal json:data-producer/v1/info-producers 2 60
 126
 127 # Check producers
 128 ics_api_idc_get_job_ids 200 NOTYPE NOWNER EMPTY
 129 if [[ "$DMAAP_ADP_FEATURE_LEVEL" == *"GENERATED_PROD_NAME"* ]]; then
 130     if [ $RUNMODE == "KUBE" ]; then
 131         __NAME="https:__$DMAAP_ADP_APP_NAME.$KUBE_NONRTRIC_NAMESPACE:$DMAAP_ADP_EXTERNAL_SECURE_PORT"
 132     else
 133         __NAME="https:__$DMAAP_ADP_APP_NAME:$DMAAP_ADP_INTERNAL_SECURE_PORT"
 134     fi
 135     ics_api_edp_get_producer_ids_2 200 NOTYPE $__NAME DMaaP_Mediator_Producer
 136 else
 137     ics_api_edp_get_producer_ids_2 200 NOTYPE DmaapGenericInfoProducer DMaaP_Mediator_Producer
 138 fi
 139
 140 ics_api_idc_get_type_ids 200 $adp_med_type_list
 141
 142
 143 # Create jobs for adapter kafka - CR stores data as MD5 hash
 144 start_timer "Create adapter (kafka) jobs: $NUM_JOBS"
 145 for ((i=1; i<=$NUM_JOBS; i++))
 146 do
 147     # Max buffer timeout for is about 160 sec for Adator jobs"
 148     adp_timeout=$(($i*1000))
 149     adp_config_data='{"filter":"Message*","maxConcurrency": 1,"bufferTimeout": {"maxSize": 100,"maxTimeMiliseconds": '$adp_timeout'}}'
 150     echo $adp_config_data > tmp/adp_config_data.json
 151
 152     cr_index=$(($i%$NUM_CR))
 153     service_text="CR_SERVICE_TEXT_PATH_"$cr_index
 154     service_app="CR_SERVICE_APP_PATH_"$cr_index
 155     ics_api_idc_put_job 201 job-adp-kafka-$i "ADPKafkaType$i" ${!service_text}/job-adp-kafka-data$i"?storeas=md5" info-owner-adp-kafka-$i ${!service_app}/callbacks-null tmp/adp_config_data.json
 156
 157 done
 158 print_timer
 159
 160 if [[ "$DMAAP_MED_FEATURE_LEVEL" == *"KAFKATYPES"* ]]; then
 161     # Create jobs for mediator kafka - CR stores data as MD5 hash
 162     start_timer "Create mediator (kafka) jobs: $NUM_JOBS"
 163     for ((i=1; i<=$NUM_JOBS; i++))
 164     do
 165         med_timeout=$(($i*5000))
 166         med_config_data='{"bufferTimeout": {"maxSize": 100,"maxTimeMiliseconds": '$med_timeout'}}'
 167         echo $med_config_data > tmp/med_config_data.json
 168         cr_index=$(($i%$NUM_CR))
 169         service_text="CR_SERVICE_TEXT_PATH_"$cr_index
 170         service_app="CR_SERVICE_APP_PATH_"$cr_index
 171         ics_api_idc_put_job 201 job-med-kafka-$i "MEDKafkaType$i" ${!service_text}/job-med-kafka-data$i"?storeas=md5" info-owner-med-kafka-$i ${!service_app}/callbacks-null     tmp/med_config_data.json
 172     done
 173     print_timer
 174 fi
 175
 176 # Check job status
 177 for ((i=1; i<=$NUM_JOBS; i++))
 178 do
 179     ics_api_a1_get_job_status 200 job-adp-kafka-$i ENABLED 30
 180     if [[ "$DMAAP_MED_FEATURE_LEVEL" == *"KAFKATYPES"* ]]; then
 181         ics_api_a1_get_job_status 200 job-med-kafka-$i ENABLED 30
 182     fi
 183 done
 184
 185
 186 EXPECTED_DATA_DELIV=0 #Total delivered msg per CR
 187 EXPECTED_BATCHES_DELIV=0 #Total delivered batches per CR
 188 DATA_DELIV_JOBS=0 #Total delivered msg per job per CR
 189
 190 sleep_wait 60
 191
 192 start_timer "Data delivery adapter kafka, 2 strings per job (short buffer timeouts)"
 193 # Send small text via message-router to adapter
 194 for ((i=1; i<=$NUM_JOBS; i++))
 195 do
 196     kafkapc_api_post_msg 200 "unauthenticated.dmaapadp_kafka.text"$i "text/plain" 'Message-------1'$i
 197     kafkapc_api_post_msg 200 "unauthenticated.dmaapadp_kafka.text"$i "text/plain" 'Discard-------3'$i #Should be filtered out
 198     kafkapc_api_post_msg 200 "unauthenticated.dmaapadp_kafka.text"$i "text/plain" 'Message-------3'$i
 199 done
 200 for ((i=1; i<=$NUM_JOBS; i++))
 201 do
 202     kafkapc_equal topics/unauthenticated.dmaapadp_kafka.text$i/counters/sent 3 30
 203 done
 204
 205 # Wait for data recetption, adapter kafka
 206 EXPECTED_DATA_DELIV=$(($NUM_JOBS*2/$NUM_CR+$EXPECTED_DATA_DELIV))
 207 EXPECTED_BATCHES_DELIV=$(($NUM_JOBS/$NUM_CR+$EXPECTED_BATCHES_DELIV))
 208
 209 adp_timeout=$(($NUM_JOBS*1*2+60))  #NUM_JOBS*MIN_BUFFERTIMEOUT*2+60_SEC_DELAY
 210 for ((i=0; i<$NUM_CR; i++))
 211 do
 212     cr_equal $i received_callbacks $EXPECTED_DATA_DELIV $adp_timeout
 213     cr_greater_or_equal $i received_callback_batches $EXPECTED_BATCHES_DELIV
 214 done
 215 print_timer
 216
 217 # Check received data callbacks from adapter
 218 for ((i=1; i<=$NUM_JOBS; i++))
 219 do
 220     cr_index=$(($i%$NUM_CR))
 221     cr_api_check_single_genric_event_md5 200 $cr_index job-adp-kafka-data$i  'Message-------1'$i
 222     cr_api_check_single_genric_event_md5 200 $cr_index job-adp-kafka-data$i  'Message-------3'$i
 223 done
 224
 225 if [[ "$DMAAP_MED_FEATURE_LEVEL" == *"KAFKATYPES"* ]]; then
 226
 227     PREV_DATA_DELIV=$(cr_read 0 received_callbacks)
 228     PREV_BATCHES_DELIV=$(cr_read 0 received_callback_batches)
 229     start_timer "Data delivery mediator kafka, 2 strings per job (long buffer timeouts)"
 230     # Send small text via message-router to mediator
 231     for ((i=1; i<=$NUM_JOBS; i++))
 232     do
 233         kafkapc_api_post_msg 200 "unauthenticated.dmaapmed_kafka.text$i" "text/plain" 'Message-------0'$i
 234         kafkapc_api_post_msg 200 "unauthenticated.dmaapmed_kafka.text$i" "text/plain" 'Message-------2'$i
 235     done
 236     for ((i=1; i<=$NUM_JOBS; i++))
 237     do
 238         kafkapc_equal topics/unauthenticated.dmaapmed_kafka.text$i/counters/sent 2 30
 239     done
 240
 241     # Wait for data recetption, adapter kafka
 242
 243     EXPECTED_DATA_DELIV=$(($NUM_JOBS*2/$NUM_CR+$PREV_DATA_DELIV))
 244     EXPECTED_BATCHES_DELIV=$(($NUM_JOBS/$NUM_CR+$PREV_BATCHES_DELIV))
 245
 246     med_timeout=$(($NUM_JOBS*5*2+60)) #NUM_JOBS*MIN_BUFFERTIMEOUT*2+60_SEC_DELAY
 247     for ((i=0; i<$NUM_CR; i++))
 248     do
 249         cr_equal $i received_callbacks $EXPECTED_DATA_DELIV $med_timeout
 250         cr_greater_or_equal $i received_callback_batches $EXPECTED_BATCHES_DELIV
 251     done
 252
 253     print_timer
 254
 255     # Check received data callbacks from mediator
 256     for ((i=1; i<=$NUM_JOBS; i++))
 257     do
 258         cr_index=$(($i%$NUM_CR))
 259         cr_api_check_single_genric_event_md5 200 $cr_index job-med-kafka-data$i  'Message-------0'$i
 260         cr_api_check_single_genric_event_md5 200 $cr_index job-med-kafka-data$i  'Message-------2'$i
 261     done
 262 fi
 263
 264 #### TEST COMPLETE ####
 265
 266 store_logs          END
 267
 268 print_result
 269
 270 auto_clean_environment