Change connection mode to asynchronous
[ric-plt/lib/rmr.git] / src / bindings / rmr-python / rmr / rmr.py
1 # ==================================================================================
2 #       Copyright (c) 2019 Nokia
3 #       Copyright (c) 2018-2019 AT&T Intellectual Property.
4 #
5 #   Licensed under the Apache License, Version 2.0 (the "License");
6 #   you may not use this file except in compliance with the License.
7 #   You may obtain a copy of the License at
8 #
9 #          http://www.apache.org/licenses/LICENSE-2.0
10 #
11 #   Unless required by applicable law or agreed to in writing, software
12 #   distributed under the License is distributed on an "AS IS" BASIS,
13 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14 #   See the License for the specific language governing permissions and
15 #   limitations under the License.
16 # ==================================================================================
17 import uuid
18 import json
19 from ctypes import RTLD_GLOBAL, Structure, c_int, POINTER, c_char, c_char_p, c_void_p, memmove, cast
20 from ctypes import CDLL
21 from ctypes import create_string_buffer
22
23 # https://docs.python.org/3.7/library/ctypes.html
24 # https://stackoverflow.com/questions/2327344/ctypes-loading-a-c-shared-library-that-has-dependencies/30845750#30845750
25 # make sure you do a set -x LD_LIBRARY_PATH /usr/local/lib/;
26
27 # even though we don't use these directly, they contain symbols we need
28 _ = CDLL("libnng.so", mode=RTLD_GLOBAL)
29 rmr_c_lib = CDLL("librmr_nng.so", mode=RTLD_GLOBAL)
30
31
32 # Internal Helpers (not a part of public api)
33
34
35 _rmr_const = rmr_c_lib.rmr_get_consts
36 _rmr_const.argtypes = []
37 _rmr_const.restype = c_char_p
38
39
40 def _get_constants(cache={}):
41     """
42     Get or build needed constants from rmr
43     TODO: are there constants that end user applications need?
44     """
45     if cache:
46         return cache
47
48     js = _rmr_const()  # read json string
49     cache = json.loads(str(js.decode()))  # create constants value object as a hash
50     return cache
51
52
53 def _get_mapping_dict(cache={}):
54     """
55     Get or build the state mapping dict
56
57     RMR_OK              0   state is good
58     RMR_ERR_BADARG      1   argument passd to function was unusable
59     RMR_ERR_NOENDPT     2   send/call could not find an endpoint based on msg type
60     RMR_ERR_EMPTY       3   msg received had no payload; attempt to send an empty message
61     RMR_ERR_NOHDR       4   message didn't contain a valid header
62     RMR_ERR_SENDFAILED  5   send failed; errno has nano reason
63     RMR_ERR_CALLFAILED  6   unable to send call() message
64     RMR_ERR_NOWHOPEN    7   no wormholes are open
65     RMR_ERR_WHID        8   wormhole id was invalid
66     RMR_ERR_OVERFLOW    9   operation would have busted through a buffer/field size
67     RMR_ERR_RETRY       10  request (send/call/rts) failed, but caller should retry (EAGAIN for wrappers)
68     RMR_ERR_RCVFAILED   11  receive failed (hard error)
69     RMR_ERR_TIMEOUT     12  message processing call timed out
70     RMR_ERR_UNSET       13  the message hasn't been populated with a transport buffer
71     RMR_ERR_TRUNC       14  received message likely truncated
72     RMR_ERR_INITFAILED  15  initialisation of something (probably message) failed
73
74     """
75     if cache:
76         return cache
77
78     rmr_consts = _get_constants()
79     for key in rmr_consts:  # build the state mapping dict
80         if key[:7] in ["RMR_ERR", "RMR_OK"]:
81             en = int(rmr_consts[key])
82             cache[en] = key
83
84     return cache
85
86
87 def _state_to_status(stateno):
88     """
89     Convert a msg state to status
90
91     """
92     sdict = _get_mapping_dict()
93     return sdict.get(stateno, "UNKNOWN STATE")
94
95
96 ##############
97 # PUBLIC API
98 ##############
99
100
101 # These constants are directly usable by importers of this library
102 # TODO: Are there others that will be useful?
103 RMR_MAX_RCV_BYTES = _get_constants()["RMR_MAX_RCV_BYTES"]
104
105
106 class rmr_mbuf_t(Structure):
107     """
108     Reimplementation of rmr_mbuf_t which is in an unaccessible header file (src/common/include/rmr.h)
109
110     | typedef struct {
111     |    int     state;          // state of processing
112     |    int     mtype;          // message type
113     |    int     len;            // length of data in the payload (send or received)
114     |    unsigned char* payload; // transported data
115     |    unsigned char* xaction; // pointer to fixed length transaction id bytes
116     |    int sub_id;             // subscription id
117     |    int      tp_state;      // transport state (a.k.a errno)
118     |
119     | these things are off limits to the user application
120     |
121     |    void*   tp_buf;         // underlying transport allocated pointer (e.g. nng message)
122     |    void*   header;         // internal message header (whole buffer: header+payload)
123     |    unsigned char* id;      // if we need an ID in the message separate from the xaction id
124     |    int flags;              // various MFL (private) flags as needed
125     |    int alloc_len;          // the length of the allocated space (hdr+payload)
126     | } rmr_mbuf_t;
127
128     We do not include the fields we are not supposed to mess with
129
130     RE PAYLOADs type below, see the documentation for c_char_p:
131        class ctypes.c_char_p
132            Represents the C char * datatype when it points to a zero-terminated string. For a general character pointer that may also point to binary data, POINTER(c_char) must be used. The constructor accepts an integer address, or a bytes object.
133     """
134
135     _fields_ = [
136         ("state", c_int),
137         ("mtype", c_int),
138         ("len", c_int),
139         (
140             "payload",
141             POINTER(c_char),
142         ),  # according to th following the python bytes are already unsinged https://bytes.com/topic/python/answers/695078-ctypes-unsigned-char
143         ("xaction", POINTER(c_char)),
144         ("sub_id", c_int),
145         ("tp_state", c_int),
146     ]
147
148
149 # argtypes and restype are important: https://stackoverflow.com/questions/24377845/ctype-why-specify-argtypes
150
151
152 _rmr_init = rmr_c_lib.rmr_init
153 _rmr_init.argtypes = [c_char_p, c_int, c_int]
154 _rmr_init.restype = c_void_p
155
156
157 def rmr_init(uproto_port, max_msg_size, flags):
158     """
159     Refer to rmr C documentation for rmr_init
160     extern void* rmr_init(char* uproto_port, int max_msg_size, int flags)
161     """
162     return _rmr_init(uproto_port, max_msg_size, flags)
163
164
165 _rmr_ready = rmr_c_lib.rmr_ready
166 _rmr_ready.argtypes = [c_void_p]
167 _rmr_ready.restype = c_int
168
169
170 def rmr_ready(vctx):
171     """
172     Refer to rmr C documentation for rmr_ready
173     extern int rmr_ready(void* vctx)
174     """
175     return _rmr_ready(vctx)
176
177
178 _rmr_close = rmr_c_lib.rmr_close
179 _rmr_close.argtypes = [c_void_p]
180
181
182 def rmr_close(vctx):
183     """
184     Refer to rmr C documentation for rmr_close
185     extern void rmr_close(void* vctx)
186     """
187     return _rmr_close(vctx)
188
189
190 _rmr_set_stimeout = rmr_c_lib.rmr_set_stimeout
191 _rmr_set_stimeout.argtypes = [c_void_p, c_int]
192 _rmr_set_stimeout.restype = c_int
193
194
195 def rmr_set_stimeout(vctx, time):
196     """
197     Refer to the rmr C documentation for rmr_set_stimeout
198     extern int rmr_set_stimeout(void* vctx, int time)
199     """
200     return _rmr_set_stimeout(vctx, time)
201
202
203 _rmr_alloc_msg = rmr_c_lib.rmr_alloc_msg
204 _rmr_alloc_msg.argtypes = [c_void_p, c_int]
205 _rmr_alloc_msg.restype = POINTER(rmr_mbuf_t)
206
207
208 def rmr_alloc_msg(vctx, size):
209     """
210     Refer to the rmr C documentation for rmr_alloc_msg
211     extern rmr_mbuf_t* rmr_alloc_msg(void* vctx, int size)
212     """
213     return _rmr_alloc_msg(vctx, size)
214
215
216 _rmr_payload_size = rmr_c_lib.rmr_payload_size
217 _rmr_payload_size.argtypes = [POINTER(rmr_mbuf_t)]
218 _rmr_payload_size.restype = c_int
219
220
221 def rmr_payload_size(ptr_mbuf):
222     """
223     Refer to the rmr C documentation for rmr_payload_size
224     extern int rmr_payload_size(rmr_mbuf_t* msg)
225     """
226     return _rmr_payload_size(ptr_mbuf)
227
228
229 """
230 The following functions all seem to have the same interface
231 """
232
233 _rmr_send_msg = rmr_c_lib.rmr_send_msg
234 _rmr_send_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
235 _rmr_send_msg.restype = POINTER(rmr_mbuf_t)
236
237
238 def rmr_send_msg(vctx, ptr_mbuf):
239     """
240     Refer to the rmr C documentation for rmr_send_msg
241     extern rmr_mbuf_t* rmr_send_msg(void* vctx, rmr_mbuf_t* msg)
242     """
243     return _rmr_send_msg(vctx, ptr_mbuf)
244
245
246 # TODO: the old message (Send param) is actually optional, but I don't know how to specify that in Ctypes.
247 _rmr_rcv_msg = rmr_c_lib.rmr_rcv_msg
248 _rmr_rcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
249 _rmr_rcv_msg.restype = POINTER(rmr_mbuf_t)
250
251
252 def rmr_rcv_msg(vctx, ptr_mbuf):
253     """
254     Refer to the rmr C documentation for rmr_rcv_msg
255     extern rmr_mbuf_t* rmr_rcv_msg(void* vctx, rmr_mbuf_t* old_msg)
256     """
257     return _rmr_rcv_msg(vctx, ptr_mbuf)
258
259
260 _rmr_torcv_msg = rmr_c_lib.rmr_torcv_msg
261 _rmr_torcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t), c_int]
262 _rmr_torcv_msg.restype = POINTER(rmr_mbuf_t)
263
264
265 def rmr_torcv_msg(vctx, ptr_mbuf, ms_to):
266     """
267     Refer to the rmr C documentation for rmr_torcv_msg
268     extern rmr_mbuf_t* rmr_torcv_msg(void* vctx, rmr_mbuf_t* old_msg, int ms_to)
269     """
270     return _rmr_torcv_msg(vctx, ptr_mbuf, ms_to)
271
272
273 _rmr_rts_msg = rmr_c_lib.rmr_rts_msg
274 _rmr_rts_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
275 _rmr_rts_msg.restype = POINTER(rmr_mbuf_t)
276
277
278 def rmr_rts_msg(vctx, ptr_mbuf):
279     """
280     Refer to the rmr C documentation for rmr_rts_msg
281     extern rmr_mbuf_t*  rmr_rts_msg(void* vctx, rmr_mbuf_t* msg)
282     """
283     return _rmr_rts_msg(vctx, ptr_mbuf)
284
285
286 _rmr_call = rmr_c_lib.rmr_call
287 _rmr_call.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
288 _rmr_call.restype = POINTER(rmr_mbuf_t)
289
290
291 def rmr_call(vctx, ptr_mbuf):
292     """
293     Refer to the rmr C documentation for rmr_call
294     extern rmr_mbuf_t* rmr_call(void* vctx, rmr_mbuf_t* msg)
295     """
296     return _rmr_call(vctx, ptr_mbuf)
297
298
299 _rmr_bytes2meid = rmr_c_lib.rmr_bytes2meid
300 _rmr_bytes2meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p, c_int]
301 _rmr_bytes2meid.restype = c_int
302
303
304 def rmr_bytes2meid(ptr_mbuf, src, length):
305     """
306     Refer to the rmr C documentation for rmr_bytes2meid
307     extern int rmr_bytes2meid(rmr_mbuf_t* mbuf, unsigned char const* src, int len);
308     """
309     return _rmr_bytes2meid(ptr_mbuf, src, length)
310
311
312 # this is an alias to rmr_bytes2meid using familiar set/get terminoloigy
313 rmr_set_meid = rmr_bytes2meid
314
315 # CAUTION:  Some of the C functions expect a mutable buffer to copy the bytes into;
316 #           if there is a get_* function below, use it to set up and return the
317 #           buffer properly.
318
319 # extern unsigned char*  rmr_get_meid(rmr_mbuf_t* mbuf, unsigned char* dest);
320 # we don't provide direct access to this function (unless it is asked for) because it is not really useful to provide your own buffer.
321 # Rather, rmr_get_meid does this for you, and just returns the string.
322 _rmr_get_meid = rmr_c_lib.rmr_get_meid
323 _rmr_get_meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
324 _rmr_get_meid.restype = c_char_p
325
326
327 def rmr_get_meid(ptr_mbuf):
328     """
329     Get the managed equipment ID (meid) from the message header.
330
331     Parameters
332     ----------
333     ptr_mbuf: ctypes c_void_p
334         Pointer to an rmr message buffer
335
336     Returns
337     -------
338     string:
339         meid
340     """
341     sz = _get_constants().get("RMR_MAX_MEID", 64)  # size for buffer to fill
342     buf = create_string_buffer(sz)
343     _rmr_get_meid(ptr_mbuf, buf)
344     return buf.value.decode()  # decode turns into a string
345
346
347 _rmr_get_src = rmr_c_lib.rmr_get_src
348 _rmr_get_src.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
349 _rmr_get_src.restype = c_char_p
350
351
352 def rmr_get_src(ptr_mbuf, dest):
353     """
354     Refer to the rmr C documentation for rmr_get_src
355     extern unsigned char*  rmr_get_src(rmr_mbuf_t* mbuf, unsigned char* dest);
356     """
357     return _rmr_get_src(ptr_mbuf, dest)
358
359
360 # Methods that exist ONLY in rmr-python, and are not wrapped methods
361 # In hindsight, I wish i put these in a seperate module, but leaving this here to prevent api breakage.
362
363
364 def get_payload(ptr_mbuf):
365     """
366     Given a rmr_buf_t*, get it's binary payload as a bytes object
367
368     Parameters
369     ----------
370     ptr_mbuf: ctypes c_void_p
371         Pointer to an rmr message buffer
372
373     Returns
374     -------
375     bytes:
376         the message payload
377     """
378     # Logic came from the answer here: https://stackoverflow.com/questions/55103298/python-ctypes-read-pointerc-char-in-python
379     sz = ptr_mbuf.contents.len
380     CharArr = c_char * sz
381     return CharArr(*ptr_mbuf.contents.payload[:sz]).raw
382
383
384 def get_xaction(ptr_mbuf):
385     """
386     given a rmr_buf_t*, get it's transaction id
387
388     Parameters
389     ----------
390     ptr_mbuf: ctypes c_void_p
391         Pointer to an rmr message buffer
392
393     Returns
394     -------
395     bytes:
396         the transaction id
397     """
398     val = cast(ptr_mbuf.contents.xaction, c_char_p).value
399     sz = _get_constants().get("RMR_MAX_XID", 0)
400     return val[:sz]
401
402
403 def message_summary(ptr_mbuf):
404     """
405     Returns a dict that contains the fields of a message
406
407     Parameters
408     ----------
409     ptr_mbuf: ctypes c_void_p
410         Pointer to an rmr message buffer
411
412     Returns
413     -------
414     dict:
415         dict message summary
416     """
417     if ptr_mbuf.contents.len > RMR_MAX_RCV_BYTES:
418         return "Malformed message: message length is greater than the maximum possible"
419
420     return {
421         "payload": get_payload(ptr_mbuf),
422         "payload length": ptr_mbuf.contents.len,
423         "message type": ptr_mbuf.contents.mtype,
424         "subscription id": ptr_mbuf.contents.sub_id,
425         "transaction id": get_xaction(ptr_mbuf),
426         "message state": ptr_mbuf.contents.state,
427         "message status": _state_to_status(ptr_mbuf.contents.state),
428         "payload max size": rmr_payload_size(ptr_mbuf),
429         "meid": rmr_get_meid(ptr_mbuf),
430         "message source": get_src(ptr_mbuf),
431         "errno": ptr_mbuf.contents.tp_state,
432     }
433
434
435 def set_payload_and_length(byte_str, ptr_mbuf):
436     """
437     | Set an rmr payload and content length
438     | In place method, no return
439
440     Parameters
441     ----------
442     byte_str: bytes
443         the bytes to set the payload to
444     ptr_mbuf: ctypes c_void_p
445         Pointer to an rmr message buffer
446     """
447     memmove(ptr_mbuf.contents.payload, byte_str, len(byte_str))
448     ptr_mbuf.contents.len = len(byte_str)
449
450
451 def generate_and_set_transaction_id(ptr_mbuf):
452     """
453     | Generate a UUID and Set an rmr transaction id to it
454     | In place method, no return
455
456     Parameters
457     ----------
458     ptr_mbuf: ctypes c_void_p
459         Pointer to an rmr message buffer
460     """
461     uu_id = uuid.uuid1().hex.encode("utf-8")
462     sz = _get_constants().get("RMR_MAX_XID", 0)
463     memmove(ptr_mbuf.contents.xaction, uu_id, sz)
464
465
466 def get_src(ptr_mbuf):
467     """
468     Get the message source (likely host:port)
469
470     Parameters
471     ----------
472     ptr_mbuf: ctypes c_void_p
473         Pointer to an rmr message buffer
474
475     Returns
476     -------
477     string:
478         message source
479     """
480     sz = _get_constants().get("RMR_MAX_SRC", 64)  # size to fill
481     buf = create_string_buffer(sz)
482     rmr_get_src(ptr_mbuf, buf)
483     return buf.value.decode()