ricsdl-package/examples/notify.py

   1 # Copyright (c) 2020 Samsung Electronics
   2 #
   3 # Licensed under the Apache License, Version 2.0 (the "License");
   4 # you may not use this file except in compliance with the License.
   5 # You may obtain a copy of the License at
   6 #
   7 #     http://www.apache.org/licenses/LICENSE-2.0
   8 #
   9 # Unless required by applicable law or agreed to in writing, software
  10 # distributed under the License is distributed on an "AS IS" BASIS,
  11 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 # See the License for the specific language governing permissions and
  13 # limitations under the License.
  14
  15 #
  16 # This source code is part of the near-RT RIC (RAN Intelligent Controller)
  17 # platform project (RICP).
  18 #
  19
  20 """Examples on how to use Shared Data Layer (SDL) notification feature.
  21
  22 Execution of  these examples requires:
  23  * Following Redis extension commands have been installed to runtime environment:
  24    - MSETPUB
  25    - SETIE
  26    - SETIEMPUB
  27    - SETNXMPUB
  28    - DELMPUB
  29    - DELIE
  30    - DELIEMPUB
  31    Redis v4.0 or greater is required. Older versions do not support extension modules.
  32    Implementation of above commands is produced by RIC DBaaS:
  33    https://gerrit.o-ran-sc.org/r/admin/repos/ric-plt/dbaas
  34    In official RIC deployments these commands are installed by `dbaas` service to Redis
  35    container(s).
  36    In development environment you may want install commands manually to pod/container, which is
  37    running Redis.
  38  * Following environment variables are needed to set to the pod/container where the application
  39    utilizing SDL is going to be run.
  40      DBAAS_SERVICE_HOST = [DB service address]
  41      DBAAS_SERVICE_PORT= [DB service port]
  42      DBAAS_MASTER_NAME = [DB name]. Needed to set only if Redis sentinel is used to provide high
  43      availability for Redis DB solution.
  44      DBAAS_SERVICE_SENTINEL_PORT = [Redis sentinel port number]. Needed to set only if Redis
  45      sentinel is in use.
  46      DBASS_CLUSTER_ADDR_LIST = [list of DB service addresses]. Is set only if more than one
  47      Redis sentinel groups are in use.
  48    In official RIC deployments four first environment variables are defined in Helm configMaps
  49    of the DBaaS and these configurations can be loaded automatically as environment variables
  50    into application pods via `envFrom dbaas-appconfig` statement in an application Helm Charts.
  51    The last environment variable is not for time being in use in official RIC deployments, only
  52    in Nokia SEP deployments.
  53 """
  54
  55 import threading
  56 import time
  57
  58 from ricsdl.syncstorage import SyncStorage
  59 from ricsdl.exceptions import RejectedByBackend, NotConnected, BackendError
  60
  61 # There are two available methods for applications to handle notifications:
  62 #   - EVENT_LISTENER (true):
  63 #     - User calls sdl.start_event_listener() which will create an SDL managed
  64 #       event loop for handling messages.
  65 #   - EVENT_LISTENER (false):
  66 #     - User need to call sdl.handle_messages() which will return the message
  67 #
  68 # Note: In both cases, the given callback function will be executed.
  69 EVENT_LISTENER = True
  70
  71 # Constants used in the examples below.
  72 MY_NS = 'my_ns'
  73 MY_CHANNEL = "my_channel"
  74 MY_LOCK = threading.Lock()
  75
  76
  77 def _try_func_return(func):
  78     """
  79     Generic wrapper function to call SDL API function and handle exceptions if they are raised.
  80     """
  81     try:
  82         return func()
  83     except RejectedByBackend as exp:
  84         print(f'SDL function {func.__name__} failed: {str(exp)}')
  85         # Permanent failure, just forward the exception
  86         raise
  87     except (NotConnected, BackendError) as exp:
  88         print(f'SDL function {func.__name__} failed for a temporal error: {str(exp)}')
  89         # Here we could have a retry logic
  90
  91
  92 def _try_func_callback_return(func):
  93     """Generic wrapper function for testing SDL APIs with callback functions.
  94
  95     threading.Lock is unlocked in the callback function and threading.Lock is
  96     only used to demonstrate that the callback function was called.
  97     """
  98     global MY_LOCK
  99     MY_LOCK.acquire()
 100     ret = _try_func_return(func)
 101     while MY_LOCK.locked():
 102         time.sleep(0.01)
 103     return ret
 104
 105
 106 # Creates SDL instance. The call creates connection to the SDL database backend.
 107 mysdl = _try_func_return(SyncStorage)
 108
 109 # Stores the last received channel and message
 110 last_cb_channel = ""
 111 last_cb_message = ""
 112
 113 # Allows program to stop receive thread at the end of execution
 114 stop_thread = False
 115
 116
 117 def cb(channel: str, message: str):
 118     """An example of function that will be called when an event is received.
 119
 120     This function sets last_cb_channel and last_cb_message as channel and
 121     message respectively. This also unlocks the global lock variable.
 122
 123     Args:
 124         channel: Channel where the message was received
 125         message: Received message
 126     """
 127     global last_cb_channel, last_cb_message, MY_LOCK
 128     last_cb_channel = channel
 129     last_cb_message = message
 130     if MY_LOCK.locked():
 131         MY_LOCK.release()
 132
 133
 134 def listen_thread():
 135     """An example of a listener thread that continuously calls sdl.handle_events()."""
 136     global mysdl
 137     global stop_thread
 138     while not stop_thread:
 139         message = mysdl.handle_events()
 140         if message:
 141             # You could process message here
 142             pass
 143         time.sleep(0.001)
 144
 145 # Subscribe to MY_CHANNEL. We expect that anytime we receive a message in the
 146 # channel, cb function will be called.
 147 _try_func_return(lambda: mysdl.subscribe_channel(MY_NS, cb, MY_CHANNEL))
 148
 149 # As mentioned above, there are two available methods for applications to
 150 # handle notifications
 151 if EVENT_LISTENER:
 152     _try_func_return(mysdl.start_event_listener)
 153 else:
 154     thread = threading.Thread(target=listen_thread)
 155     thread.start()
 156
 157 # Sets a value 'my_value' for a key 'my_key' under given namespace. Note that value
 158 # type must be bytes and multiple key values can be set in one set function call.
 159 _try_func_callback_return(
 160     lambda: mysdl.set_and_publish(MY_NS, {MY_CHANNEL: "SET PUBLISH"}, {'my_key': b'my_value'}))
 161 assert last_cb_channel == MY_CHANNEL and last_cb_message == "SET PUBLISH"
 162
 163 # Sets a value 'my_value2' for a key 'my_key' under given namespace only if the old value is
 164 # 'my_value'.
 165 was_set = _try_func_callback_return(lambda: mysdl.set_if_and_publish(
 166     MY_NS, {MY_CHANNEL: "SET IF PUBLISH"}, 'my_key', b'my_value', b'my_value2'))
 167 assert was_set is True
 168 assert last_cb_channel == MY_CHANNEL and last_cb_message == "SET IF PUBLISH"
 169 # Try again. This time value 'my_value2' won't be set, because the key has already 'my_value2'
 170 # value. Callback function will not be called here.
 171 was_set = _try_func_return(lambda: mysdl.set_if_and_publish(MY_NS, {MY_CHANNEL: "SET IF PUBLISH"},
 172                                                             'my_key', b'my_value', b'my_value2'))
 173 assert was_set is False
 174
 175 # Sets a value 'my_value' for a key 'my_key2' under given namespace only if the key doesn't exist.
 176 # Note that value types must be bytes.
 177 was_set = _try_func_callback_return(lambda: mysdl.set_if_not_exists_and_publish(
 178     MY_NS, {MY_CHANNEL: "SET IF NOT PUBLISH"}, 'my_key2', b'my_value'))
 179 assert was_set is True
 180 assert last_cb_channel == MY_CHANNEL and last_cb_message == "SET IF NOT PUBLISH"
 181 # Try again. This time the key 'my_key2' already exists. Callback function will not be called here.
 182 was_set = _try_func_return(lambda: mysdl.set_if_not_exists_and_publish(
 183     MY_NS, {MY_CHANNEL: "SET IF NOT PUBLISH"}, 'my_key2', b'my_value'))
 184 assert was_set is False
 185
 186 # Removes a key 'my_key' under given namespace.
 187 _try_func_callback_return(
 188     lambda: mysdl.remove_and_publish(MY_NS, {MY_CHANNEL: "REMOVE PUBLISH"}, 'my_key'))
 189 my_ret_dict = _try_func_return(lambda: mysdl.get(MY_NS, 'my_key'))
 190 assert my_ret_dict == {}
 191 assert last_cb_channel == MY_CHANNEL and last_cb_message == "REMOVE PUBLISH"
 192
 193 # Removes a key 'my_key' under given namespace only if the old value is 'my_value'.
 194 was_removed = _try_func_callback_return(lambda: mysdl.remove_if_and_publish(
 195     MY_NS, {MY_CHANNEL: "REMOVE IF PUBLISH"}, 'my_key2', b'my_value'))
 196 assert was_removed is True
 197 assert last_cb_channel == MY_CHANNEL and last_cb_message == "REMOVE IF PUBLISH"
 198 # Try again to remove not anymore existing key 'my_key'. Callback function will not be called here.
 199 was_removed = _try_func_return(lambda: mysdl.remove_if_and_publish(
 200     MY_NS, {MY_CHANNEL: "REMOVE IF PUBLISH"}, 'my_key2', b'my_value'))
 201 assert was_removed is False
 202
 203 # Removes all the keys under given namespace.
 204 _try_func_return(lambda: mysdl.set(MY_NS, {'my_key': b'something'}))
 205 my_ret_dict = _try_func_return(lambda: mysdl.get(MY_NS, {'my_key'}))
 206 assert my_ret_dict != {}
 207
 208 _try_func_callback_return(
 209     lambda: mysdl.remove_all_and_publish(MY_NS, {MY_CHANNEL: "REMOVE ALL PUBLISH"}))
 210 my_ret_dict = _try_func_return(lambda: mysdl.get(MY_NS, {'my_key'}))
 211 assert my_ret_dict == {}
 212 assert last_cb_channel == MY_CHANNEL and last_cb_message == "REMOVE ALL PUBLISH"
 213
 214 stop_thread = True
 215 mysdl.close()