Merge "Uplift of PMS source from ONAP"
[nonrtric.git] / test / common / consul_cbs_functions.sh
1 #!/bin/bash
2
3 #  ============LICENSE_START===============================================
4 #  Copyright (C) 2020 Nordix Foundation. All rights reserved.
5 #  ========================================================================
6 #  Licensed under the Apache License, Version 2.0 (the "License");
7 #  you may not use this file except in compliance with the License.
8 #  You may obtain a copy of the License at
9 #
10 #       http://www.apache.org/licenses/LICENSE-2.0
11 #
12 #  Unless required by applicable law or agreed to in writing, software
13 #  distributed under the License is distributed on an "AS IS" BASIS,
14 #  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
15 #  See the License for the specific language governing permissions and
16 #  limitations under the License.
17 #  ============LICENSE_END=================================================
18 #
19
20 # This is a script that contains container/service management functions and test functions for Consul/CBS
21
22 ################ Test engine functions ################
23
24 # Create the image var used during the test
25 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
26 # <image-tag-suffix> is present only for that exist with staging, snapshot,release tags
27 __CONSUL_imagesetup() {
28         __check_and_create_image_var CONSUL "CONSUL_IMAGE" "CONSUL_IMAGE_BASE" "CONSUL_IMAGE_TAG" REMOTE_PROXY "$CONSUL_DISPLAY_NAME"
29
30 }
31
32 # Create the image var used during the test
33 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
34 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
35 __CBS_imagesetup() {
36         __check_and_create_image_var  CBS "CBS_IMAGE" "CBS_IMAGE_BASE" "CBS_IMAGE_TAG" REMOTE_RELEASE_ONAP "$CBS_DISPLAY_NAME"
37
38 }
39
40 # Pull image from remote repo or use locally built image
41 # arg: <pull-policy-override> <pull-policy-original>
42 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
43 # <pull-policy-original> Shall be used for images that does not allow overriding
44 # Both var may contain: 'remote', 'remote-remove' or 'local'
45 __CONSUL_imagepull() {
46         __check_and_pull_image $2 "$CONSUL_DISPLAY_NAME" $CONSUL_APP_NAME CONSUL_IMAGE
47 }
48
49 # Pull image from remote repo or use locally built image
50 # arg: <pull-policy-override> <pull-policy-original>
51 # <pull-policy-override> Shall be used for images allowing overriding. For example use a local image when test is started to use released images
52 # <pull-policy-original> Shall be used for images that does not allow overriding
53 # Both var may contain: 'remote', 'remote-remove' or 'local'
54 __CBS_imagepull() {
55         __check_and_pull_image $2 "$CBS_DISPLAY_NAME" $CBS_APP_NAME CBS_IMAGE
56 }
57
58 # Build image (only for simulator or interfaces stubs owned by the test environment)
59 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
60 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
61 __CONSUL_imagebuild() {
62         echo -e $RED" Image for app CONSUL shall never be built"$ERED
63 }
64
65 # Build image (only for simulator or interfaces stubs owned by the test environment)
66 # arg: <image-tag-suffix> (selects staging, snapshot, release etc)
67 # <image-tag-suffix> is present only for images with staging, snapshot,release tags
68 __CBS_imagebuild() {
69         echo -e $RED" Image for app CBS shall never be built"$ERED
70 }
71
72 # Generate a string for each included image using the app display name and a docker images format string
73 # If a custom image repo is used then also the source image from the local repo is listed
74 # arg: <docker-images-format-string> <file-to-append>
75 __CONSUL_image_data() {
76         echo -e "$CONSUL_DISPLAY_NAME\t$(docker images --format $1 $CONSUL_IMAGE)" >>   $2
77         if [ ! -z "$CONSUL_IMAGE_SOURCE" ]; then
78                 echo -e "-- source image --\t$(docker images --format $1 $CONSUL_IMAGE_SOURCE)" >>   $2
79         fi
80 }
81
82 # Generate a string for each included image using the app display name and a docker images format string
83 # If a custom image repo is used then also the source image from the local repo is listed
84 # arg: <docker-images-format-string> <file-to-append>
85 __CBS_image_data() {
86         echo -e "$CBS_DISPLAY_NAME\t$(docker images --format $1 $CBS_IMAGE)" >>   $2
87         if [ ! -z "$CBS_IMAGE_SOURCE" ]; then
88                 echo -e "-- source image --\t$(docker images --format $1 $CBS_IMAGE_SOURCE)" >>   $2
89         fi
90 }
91
92 # Scale kubernetes resources to zero
93 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
94 # This function is called for apps fully managed by the test script
95 __CONSUL_kube_scale_zero() {
96         echo -e $RED" Image for app CONSUL is not used in kube"$ERED
97 }
98
99 # Scale kubernetes resources to zero
100 # All resources shall be ordered to be scaled to 0, if relevant. If not relevant to scale, then do no action.
101 # This function is called for apps fully managed by the test script
102 __CBS_kube_scale_zero() {
103         echo -e $RED" Image for app CBS is not used in kube"$ERED
104 }
105
106 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
107 # This function is called for prestarted apps not managed by the test script.
108 __CONSUL_kube_scale_zero_and_wait() {
109         echo -e $RED" CONSUL app is not used in kube"$ERED
110 }
111
112 # Scale kubernetes resources to zero and wait until this has been accomplished, if relevant. If not relevant to scale, then do no action.
113 # This function is called for prestarted apps not managed by the test script.
114 __CBS_kube_scale_zero_and_wait() {
115         echo -e $RED" CBS app is not used in kube"$ERED
116 }
117
118 # Delete all kube resouces for the app
119 # This function is called for apps managed by the test script.
120 __CONSUL_kube_delete_all() {
121         echo -e $RED" CONSUL app is not used in kube"$ERED
122 }
123
124 # Delete all kube resouces for the app
125 # This function is called for apps managed by the test script.
126 __CBS_kube_delete_all() {
127         echo -e $RED" CBS app is not used in kube"$ERED
128 }
129
130 # Store docker logs
131 # This function is called for apps managed by the test script.
132 # args: <log-dir> <file-prexix>
133 __CONSUL_store_docker_logs() {
134         docker logs $CONSUL_APP_NAME > $1/$2_consul.log 2>&1
135 }
136
137 # Store docker logs
138 # This function is called for apps managed by the test script.
139 # args: <log-dir> <file-prexix>
140 __CBS_store_docker_logs() {
141         docker logs $CBS_APP_NAME > $1$2_cbs.log 2>&1
142         body="$(__do_curl $LOCALHOST_HTTP:$CBS_EXTERNAL_PORT/service_component_all/$POLICY_AGENT_APP_NAME)"
143         echo "$body" > $1$2_consul_config.json 2>&1
144 }
145
146 #######################################################
147
148 CONSUL_PATH="http://$LOCALHOST:$CONSUL_EXTERNAL_PORT"
149
150 ####################
151 ### Consul functions
152 ####################
153
154 # Function to load config from a file into consul for the Policy Agent
155 # arg: <json-config-file>
156 # (Function for test scripts)
157 consul_config_app() {
158
159         echo -e $BOLD"Configuring Consul"$EBOLD
160
161         if [ $# -ne 1 ]; then
162                 ((RES_CONF_FAIL++))
163         __print_err "need one arg,  <json-config-file>" $@
164                 exit 1
165         fi
166
167         echo " Loading config for "$POLICY_AGENT_APP_NAME" from "$1
168
169         curlString="$LOCALHOST_HTTP:${CONSUL_EXTERNAL_PORT}/v1/kv/${POLICY_AGENT_CONFIG_KEY}?dc=dc1 -X PUT -H Accept:application/json -H Content-Type:application/json -H X-Requested-With:XMLHttpRequest --data-binary @"$1
170         result=$(__do_curl "$curlString")
171         if [ $? -ne 0 ]; then
172                 echo -e $RED" FAIL - json config could not be loaded to consul" $ERED
173                 ((RES_CONF_FAIL++))
174                 return 1
175         fi
176         body="$(__do_curl $LOCALHOST_HTTP:$CBS_EXTERNAL_PORT/service_component_all/$POLICY_AGENT_CONFIG_KEY)"
177         echo $body > "./tmp/.output"$1
178
179         if [ $? -ne 0 ]; then
180                 echo -e $RED" FAIL - json config could not be loaded from consul/cbs, contents cannot be checked." $ERED
181                 ((RES_CONF_FAIL++))
182                 return 1
183         else
184                 targetJson=$(< $1)
185                 targetJson="{\"config\":"$targetJson"}"
186                 echo "TARGET JSON: $targetJson" >> $HTTPLOG
187                 res=$(python3 ../common/compare_json.py "$targetJson" "$body")
188                 if [ $res -ne 0 ]; then
189                         echo -e $RED" FAIL - policy json config read from consul/cbs is not equal to the intended json config...." $ERED
190                         ((RES_CONF_FAIL++))
191                         return 1
192                 else
193                         echo -e $GREEN" Config loaded ok to consul"$EGREEN
194                 fi
195         fi
196
197         echo ""
198
199 }
200
201 # Function to perpare the consul configuration according to the current simulator configuration
202 # args: SDNC|NOSDNC <output-file>
203 # (Function for test scripts)
204 prepare_consul_config() {
205         echo -e $BOLD"Prepare Consul config"$EBOLD
206
207         echo " Writing consul config for "$POLICY_AGENT_APP_NAME" to file: "$2
208
209         if [ $# != 2 ];  then
210                 ((RES_CONF_FAIL++))
211         __print_err "need two args,  SDNC|NOSDNC <output-file>" $@
212                 exit 1
213         fi
214
215         if [ $1 == "SDNC" ]; then
216                 echo -e " Config$BOLD including SDNC$EBOLD configuration"
217         elif [ $1 == "NOSDNC" ];  then
218                 echo -e " Config$BOLD excluding SDNC$EBOLD configuration"
219         else
220                 ((RES_CONF_FAIL++))
221         __print_err "need two args,  SDNC|NOSDNC <output-file>" $@
222                 exit 1
223         fi
224
225         config_json="\n            {"
226         if [ $1 == "SDNC" ]; then
227                 config_json=$config_json"\n   \"controller\": ["
228                 config_json=$config_json"\n                     {"
229                 config_json=$config_json"\n                       \"name\": \"$SDNC_APP_NAME\","
230                 config_json=$config_json"\n                       \"baseUrl\": \"$SDNC_SERVICE_PATH\","
231                 config_json=$config_json"\n                       \"userName\": \"$SDNC_USER\","
232                 config_json=$config_json"\n                       \"password\": \"$SDNC_PWD\""
233                 config_json=$config_json"\n                     }"
234                 config_json=$config_json"\n   ],"
235         fi
236
237         config_json=$config_json"\n   \"streams_publishes\": {"
238         config_json=$config_json"\n                            \"dmaap_publisher\": {"
239         config_json=$config_json"\n                              \"type\": \"message-router\","
240         config_json=$config_json"\n                              \"dmaap_info\": {"
241         config_json=$config_json"\n                                \"topic_url\": \"$MR_SERVICE_PATH$MR_WRITE_URL\""
242         config_json=$config_json"\n                              }"
243         config_json=$config_json"\n                            }"
244         config_json=$config_json"\n   },"
245         config_json=$config_json"\n   \"streams_subscribes\": {"
246         config_json=$config_json"\n                             \"dmaap_subscriber\": {"
247         config_json=$config_json"\n                               \"type\": \"message-router\","
248         config_json=$config_json"\n                               \"dmaap_info\": {"
249         config_json=$config_json"\n                                   \"topic_url\": \"$MR_SERVICE_PATH$MR_READ_URL\""
250         config_json=$config_json"\n                                 }"
251         config_json=$config_json"\n                               }"
252         config_json=$config_json"\n   },"
253
254         config_json=$config_json"\n   \"ric\": ["
255
256         if [ $RUNMODE == "KUBE" ]; then
257                 result=$(kubectl get pods -n $KUBE_NONRTRIC_NAMESPACE -o jsonpath='{.items[?(@.metadata.labels.autotest=="RICSIM")].metadata.name}')
258                 rics=""
259                 ric_cntr=0
260                 if [ $? -eq 0 ] && [ ! -z "$result" ]; then
261                         for im in $result; do
262                                 if [[ $im != *"-0" ]]; then
263                                         ric_subdomain=$(kubectl get pod $im -n $KUBE_NONRTRIC_NAMESPACE -o jsonpath='{.spec.subdomain}')
264                                         rics=$rics" "$im"."$ric_subdomain".nonrtric"
265                                         let ric_cntr=ric_cntr+1
266                                 fi
267                         done
268                 fi
269                 if [ $ric_cntr -eq 0 ]; then
270                         echo $YELLOW"Warning: No rics found for the configuration"$EYELLOW
271                 fi
272         else
273                 rics=$(docker ps --filter "name=$RIC_SIM_PREFIX" --filter "network=$DOCKER_SIM_NWNAME" --filter "status=running" --format {{.Names}})
274                 if [ $? -ne 0 ] || [ -z "$rics" ]; then
275                         echo -e $RED" FAIL - the names of the running RIC Simulator cannot be retrieved." $ERED
276                         ((RES_CONF_FAIL++))
277                         return 1
278                 fi
279         fi
280         cntr=0
281         for ric in $rics; do
282                 if [ $cntr -gt 0 ]; then
283                         config_json=$config_json"\n          ,"
284                 fi
285                 config_json=$config_json"\n          {"
286                 if [ $RUNMODE == "KUBE" ]; then
287                         ric_id=${ric%.*.*} #extract pod id from full hosthame
288                         ric_id=$(echo "$ric_id" | tr '-' '_')
289                 else
290                         ric_id=$ric
291                 fi
292                 echo " Found a1 sim: "$ric_id
293                 config_json=$config_json"\n            \"name\": \"$ric_id\","
294                 config_json=$config_json"\n            \"baseUrl\": \"$RIC_SIM_HTTPX://$ric:$RIC_SIM_PORT\","
295                 if [ $1 == "SDNC" ]; then
296                         config_json=$config_json"\n            \"controller\": \"$SDNC_APP_NAME\","
297                 fi
298                 config_json=$config_json"\n            \"managedElementIds\": ["
299                 config_json=$config_json"\n              \"me1_$ric_id\","
300                 config_json=$config_json"\n              \"me2_$ric_id\""
301                 config_json=$config_json"\n            ]"
302                 config_json=$config_json"\n          }"
303                 let cntr=cntr+1
304         done
305
306         config_json=$config_json"\n           ]"
307         config_json=$config_json"\n}"
308
309         if [ $RUNMODE == "KUBE" ]; then
310                 config_json="{\"config\":"$config_json"}"
311         fi
312
313         printf "$config_json">$2
314
315         echo ""
316 }
317
318 # Start Consul and CBS
319 # args: -
320 # (Function for test scripts)
321 start_consul_cbs() {
322
323         echo -e $BOLD"Starting $CONSUL_DISPLAY_NAME and $CBS_DISPLAY_NAME"$EBOLD
324         __check_included_image 'CONSUL'
325         if [ $? -eq 1 ]; then
326                 echo -e $RED"The Consul image has not been checked for this test run due to arg to the test script"$ERED
327                 echo -e $RED"Consul will not be started"$ERED
328                 exit
329         fi
330         export CONSUL_APP_NAME
331         export CONSUL_INTERNAL_PORT
332         export CONSUL_EXTERNAL_PORT
333         export CBS_APP_NAME
334         export CBS_INTERNAL_PORT
335         export CBS_EXTERNAL_PORT
336         export CONSUL_HOST
337         export CONSUL_DISPLAY_NAME
338         export CBS_DISPLAY_NAME
339
340         __start_container $CONSUL_CBS_COMPOSE_DIR "" NODOCKERARGS 2 $CONSUL_APP_NAME $CBS_APP_NAME
341
342         __check_service_start $CONSUL_APP_NAME "http://"$LOCALHOST_NAME":"$CONSUL_EXTERNAL_PORT$CONSUL_ALIVE_URL
343         __check_service_start $CBS_APP_NAME "http://"$LOCALHOST_NAME":"$CBS_EXTERNAL_PORT$CBS_ALIVE_URL
344
345         echo ""
346 }
347