test/auto-test/README.md

   1
   2 ## Automated test Description
   3 This auto-test repo stores test script for automated test cases for Policy Agent.
   4 Each of the testcase script will bring up a containerized test enviroment for Policy Agent,
   5 CBS, consul, and simulator(TBD).
   6
   7 ### Overview
   8
   9 Right now, test cases are written in bash scripts. \
  10 Each test case script(ex. `FTC1.sh)` will call functions defined in `../common`. \
  11 The environment vriables are set in`test_env.sh`. \
  12 The automated test support both local build Policy Agent image testing and remote image stored in Nexus.
  13 ```
  14 # Local image
  15 export POLICY_AGENT_LOCAL_IMAGE=o-ran-sc/nonrtric-policy-agent
  16 # Remote image
  17 export POLICY_AGENT_REMOTE_IMAGE=nexus3.o-ran-sc.org:10004/o-ran-sc/nonrtric-policy-agent
  18 ```
  19 ### Test Cases Description(more TBD)
  20 `FTC1.sh`: Test policy-agent can refresh configurations from consul
  21
  22 ### Logs
  23 All log files are stored at `logs/<testcase id>`. \
  24 The logs include the application.log and the container log from Policy Agent, the container logs from each simulator and the
  25 test case log (same as the screen output). \
  26 In the test cases the logs are stored with a prefix so the logs can be stored at different steps during the test.
  27 All test cases contains an entry to save all logs with prefix 'END' at the end of each test case.
  28
  29 ### Manual
  30 Test case command:
  31 ```
  32 ./<testcase-id>.sh local | remote
  33
  34 Discription:
  35 local: test image: POLICY_AGENT_LOCAL_IMAGE=o-ran-sc/nonrtric-policy-agent
  36 remote: test image: nexus3.o-ran-sc.org:10004/o-ran-sc/nonrtric-policy-agent
  37 ```
  38
  39 ### Test case file
  40 A test case file contains a number of steps to verify a certain functionality.
  41 A description of the test case should be given to the ``TC_ONELINE_DESCR`` var. The description will be printed in
  42 the test result.
  43
  44 The empty template for a test case files looks like this:
  45
  46 (Only the parts noted with < and > shall be changed.)
  47
  48 -----------------------------------------------------------
  49 ```
  50 #!/usr/bin/env bash
  51
  52 TC_ONELINE_DESCR="<test case description>"
  53
  54 . ../common/testcase_common.sh $1
  55
  56 #### TEST BEGIN ####
  57
  58
  59 <tests here>
  60
  61
  62 #### TEST COMPLETE ####
  63
  64 store_logs          END
  65
  66 ```
  67 -----------------------------------------------------------
  68
  69 The ../common/testcase_common.sh contains all functions needed for the test case file. See the README.md file in
  70 the ../common dir for a description of all available functions.