Add new func, update rts
[ric-plt/lib/rmr.git] / src / bindings / rmr-python / rmr / rmr.py
1 # vim: expandtab ts=4 sw=4:
2 # ==================================================================================
3 #       Copyright (c) 2019 Nokia
4 #       Copyright (c) 2018-2019 AT&T Intellectual Property.
5 #
6 #   Licensed under the Apache License, Version 2.0 (the "License");
7 #   you may not use this file except in compliance with the License.
8 #   You may obtain a copy of the License at
9 #
10 #          http://www.apache.org/licenses/LICENSE-2.0
11 #
12 #   Unless required by applicable law or agreed to in writing, software
13 #   distributed under the License is distributed on an "AS IS" BASIS,
14 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
15 #   See the License for the specific language governing permissions and
16 #   limitations under the License.
17 # ==================================================================================
18 import uuid
19 import json
20 from ctypes import RTLD_GLOBAL, Structure, c_int, POINTER, c_char, c_char_p, c_void_p, memmove, cast
21 from ctypes import CDLL
22 from ctypes import create_string_buffer
23 from rmr.exceptions import BadBufferAllocation
24
25 # https://docs.python.org/3.7/library/ctypes.html
26 # https://stackoverflow.com/questions/2327344/ctypes-loading-a-c-shared-library-that-has-dependencies/30845750#30845750
27 # make sure you do a set -x LD_LIBRARY_PATH /usr/local/lib/;
28
29 # even though we don't use these directly, they contain symbols we need
30 _ = CDLL("libnng.so", mode=RTLD_GLOBAL)
31 rmr_c_lib = CDLL("librmr_nng.so", mode=RTLD_GLOBAL)
32
33
34 # Internal Helpers (not a part of public api)
35
36
37 _rmr_const = rmr_c_lib.rmr_get_consts
38 _rmr_const.argtypes = []
39 _rmr_const.restype = c_char_p
40
41
42 def _get_constants(cache={}):
43     """
44     Get or build needed constants from rmr
45     TODO: are there constants that end user applications need?
46     """
47     if cache:
48         return cache
49
50     js = _rmr_const()  # read json string
51     cache = json.loads(str(js.decode()))  # create constants value object as a hash
52     return cache
53
54
55 def _get_mapping_dict(cache={}):
56     """
57     Get or build the state mapping dict
58
59     RMR_OK              0   state is good
60     RMR_ERR_BADARG      1   argument passd to function was unusable
61     RMR_ERR_NOENDPT     2   send/call could not find an endpoint based on msg type
62     RMR_ERR_EMPTY       3   msg received had no payload; attempt to send an empty message
63     RMR_ERR_NOHDR       4   message didn't contain a valid header
64     RMR_ERR_SENDFAILED  5   send failed; errno has nano reason
65     RMR_ERR_CALLFAILED  6   unable to send call() message
66     RMR_ERR_NOWHOPEN    7   no wormholes are open
67     RMR_ERR_WHID        8   wormhole id was invalid
68     RMR_ERR_OVERFLOW    9   operation would have busted through a buffer/field size
69     RMR_ERR_RETRY       10  request (send/call/rts) failed, but caller should retry (EAGAIN for wrappers)
70     RMR_ERR_RCVFAILED   11  receive failed (hard error)
71     RMR_ERR_TIMEOUT     12  message processing call timed out
72     RMR_ERR_UNSET       13  the message hasn't been populated with a transport buffer
73     RMR_ERR_TRUNC       14  received message likely truncated
74     RMR_ERR_INITFAILED  15  initialization of something (probably message) failed
75
76     """
77     if cache:
78         return cache
79
80     rmr_consts = _get_constants()
81     for key in rmr_consts:  # build the state mapping dict
82         if key[:7] in ["RMR_ERR", "RMR_OK"]:
83             en = int(rmr_consts[key])
84             cache[en] = key
85
86     return cache
87
88
89 def _state_to_status(stateno):
90     """
91     Convert a msg state to status
92
93     """
94     sdict = _get_mapping_dict()
95     return sdict.get(stateno, "UNKNOWN STATE")
96
97
98 _RCONST = _get_constants()
99
100
101 ##############
102 # PUBLIC API
103 ##############
104
105
106 # These constants are directly usable by importers of this library
107 # TODO: Are there others that will be useful?
108
109 RMR_MAX_RCV_BYTES = _RCONST["RMR_MAX_RCV_BYTES"]
110 RMRFL_MTCALL = _RCONST.get("RMRFL_MTCALL", 0x02)  # initialization flags
111 RMRFL_NONE = _RCONST.get("RMRFL_NONE", 0x0)
112 RMR_OK = _RCONST["RMR_OK"]  # useful state constants
113 RMR_ERR_TIMEOUT = _RCONST["RMR_ERR_TIMEOUT"]
114 RMR_ERR_RETRY = _RCONST["RMR_ERR_RETRY"]
115
116
117 class rmr_mbuf_t(Structure):
118     """
119     Reimplementation of rmr_mbuf_t which is in an unaccessible header file (src/common/include/rmr.h)
120
121     | typedef struct {
122     |    int     state;          // state of processing
123     |    int     mtype;          // message type
124     |    int     len;            // length of data in the payload (send or received)
125     |    unsigned char* payload; // transported data
126     |    unsigned char* xaction; // pointer to fixed length transaction id bytes
127     |    int sub_id;             // subscription id
128     |    int      tp_state;      // transport state (a.k.a errno)
129     |
130     | these things are off limits to the user application
131     |
132     |    void*   tp_buf;         // underlying transport allocated pointer (e.g. nng message)
133     |    void*   header;         // internal message header (whole buffer: header+payload)
134     |    unsigned char* id;      // if we need an ID in the message separate from the xaction id
135     |    int flags;              // various MFL (private) flags as needed
136     |    int alloc_len;          // the length of the allocated space (hdr+payload)
137     | } rmr_mbuf_t;
138
139     We do not include the fields we are not supposed to mess with
140
141     RE PAYLOADs type below, see the documentation for c_char_p:
142        class ctypes.c_char_p
143            Represents the C char * datatype when it points to a zero-terminated string. For a general character pointer that may also point to binary data, POINTER(c_char) must be used. The constructor accepts an integer address, or a bytes object.
144     """
145
146     _fields_ = [
147         ("state", c_int),
148         ("mtype", c_int),
149         ("len", c_int),
150         (
151             "payload",
152             POINTER(c_char),
153         ),  # according to th following the python bytes are already unsinged https://bytes.com/topic/python/answers/695078-ctypes-unsigned-char
154         ("xaction", POINTER(c_char)),
155         ("sub_id", c_int),
156         ("tp_state", c_int),
157     ]
158
159
160 # argtypes and restype are important: https://stackoverflow.com/questions/24377845/ctype-why-specify-argtypes
161
162
163 _rmr_init = rmr_c_lib.rmr_init
164 _rmr_init.argtypes = [c_char_p, c_int, c_int]
165 _rmr_init.restype = c_void_p
166
167
168 def rmr_init(uproto_port, max_msg_size, flags):
169     """
170     Refer to rmr C documentation for rmr_init
171     extern void* rmr_init(char* uproto_port, int max_msg_size, int flags)
172     """
173     return _rmr_init(uproto_port, max_msg_size, flags)
174
175
176 _rmr_ready = rmr_c_lib.rmr_ready
177 _rmr_ready.argtypes = [c_void_p]
178 _rmr_ready.restype = c_int
179
180
181 def rmr_ready(vctx):
182     """
183     Refer to rmr C documentation for rmr_ready
184     extern int rmr_ready(void* vctx)
185     """
186     return _rmr_ready(vctx)
187
188
189 _rmr_close = rmr_c_lib.rmr_close
190 _rmr_close.argtypes = [c_void_p]
191
192
193 def rmr_close(vctx):
194     """
195     Refer to rmr C documentation for rmr_close
196     extern void rmr_close(void* vctx)
197     """
198     return _rmr_close(vctx)
199
200
201 _rmr_set_stimeout = rmr_c_lib.rmr_set_stimeout
202 _rmr_set_stimeout.argtypes = [c_void_p, c_int]
203 _rmr_set_stimeout.restype = c_int
204
205
206 def rmr_set_stimeout(vctx, time):
207     """
208     Refer to the rmr C documentation for rmr_set_stimeout
209     extern int rmr_set_stimeout(void* vctx, int time)
210     """
211     return _rmr_set_stimeout(vctx, time)
212
213
214 _rmr_alloc_msg = rmr_c_lib.rmr_alloc_msg
215 _rmr_alloc_msg.argtypes = [c_void_p, c_int]
216 _rmr_alloc_msg.restype = POINTER(rmr_mbuf_t)
217
218
219 def rmr_alloc_msg(vctx, size, payload=None, gen_transaction_id=False, mtype=None, meid=None, sub_id=None):
220     """
221     Refer to the rmr C documentation for rmr_alloc_msg
222     extern rmr_mbuf_t* rmr_alloc_msg(void* vctx, int size)
223
224     if payload is not None, attempts to set the payload
225     if gen_transaction_id is True, it generates and sets a transaction id
226     if mtype is not None, sets the sbuf's message type
227     if meid is not None, sets the sbuf's meid
228
229     """
230     sbuf = _rmr_alloc_msg(vctx, size)
231     try:
232         # make sure the alloc worked
233         sbuf.contents
234
235         # set specified fields
236         if payload:
237             set_payload_and_length(payload, sbuf)
238
239         if gen_transaction_id:
240             generate_and_set_transaction_id(sbuf)
241
242         if mtype:
243             sbuf.contents.mtype = mtype
244
245         if meid:
246             rmr_set_meid(sbuf, meid)
247
248         if sub_id:
249             sbuf.contents.sub_id = sub_id
250
251         return sbuf
252
253     except ValueError:
254         raise BadBufferAllocation
255
256
257 _rmr_realloc_payload = rmr_c_lib.rmr_realloc_payload
258 _rmr_realloc_payload.argtypes = [POINTER(rmr_mbuf_t), c_int, c_int, c_int]  # new_len, copy, clone
259 _rmr_realloc_payload.restype = POINTER(rmr_mbuf_t)
260
261
262 def rmr_realloc_payload(ptr_mbuf, new_len, copy=False, clone=False):
263     """
264     Refer to the rmr C documentation for rmr_realloc_payload().
265     extern rmr_mbuf_t* rmr_realloc_payload(rmr_mbuf_t*, int, int, int)
266     """
267     return _rmr_realloc_payload(ptr_mbuf, new_len, copy, clone)
268
269
270 _rmr_free_msg = rmr_c_lib.rmr_free_msg
271 _rmr_free_msg.argtypes = [c_void_p]
272 _rmr_free_msg.restype = None
273
274
275 def rmr_free_msg(mbuf):
276     """
277     Refer to the rmr C documentation for rmr_free_msg
278     extern void rmr_free_msg(rmr_mbuf_t* mbuf )
279     """
280     if mbuf is not None:
281         _rmr_free_msg(mbuf)
282
283
284 _rmr_payload_size = rmr_c_lib.rmr_payload_size
285 _rmr_payload_size.argtypes = [POINTER(rmr_mbuf_t)]
286 _rmr_payload_size.restype = c_int
287
288
289 def rmr_payload_size(ptr_mbuf):
290     """
291     Refer to the rmr C documentation for rmr_payload_size
292     extern int rmr_payload_size(rmr_mbuf_t* msg)
293     """
294     return _rmr_payload_size(ptr_mbuf)
295
296
297 """
298 The following functions all seem to have the same interface
299 """
300
301 _rmr_send_msg = rmr_c_lib.rmr_send_msg
302 _rmr_send_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
303 _rmr_send_msg.restype = POINTER(rmr_mbuf_t)
304
305
306 def rmr_send_msg(vctx, ptr_mbuf):
307     """
308     Refer to the rmr C documentation for rmr_send_msg
309     extern rmr_mbuf_t* rmr_send_msg(void* vctx, rmr_mbuf_t* msg)
310     """
311     return _rmr_send_msg(vctx, ptr_mbuf)
312
313
314 # TODO: the old message (Send param) is actually optional, but I don't know how to specify that in Ctypes.
315 _rmr_rcv_msg = rmr_c_lib.rmr_rcv_msg
316 _rmr_rcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
317 _rmr_rcv_msg.restype = POINTER(rmr_mbuf_t)
318
319
320 def rmr_rcv_msg(vctx, ptr_mbuf):
321     """
322     Refer to the rmr C documentation for rmr_rcv_msg
323     extern rmr_mbuf_t* rmr_rcv_msg(void* vctx, rmr_mbuf_t* old_msg)
324     """
325     return _rmr_rcv_msg(vctx, ptr_mbuf)
326
327
328 _rmr_torcv_msg = rmr_c_lib.rmr_torcv_msg
329 _rmr_torcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t), c_int]
330 _rmr_torcv_msg.restype = POINTER(rmr_mbuf_t)
331
332
333 def rmr_torcv_msg(vctx, ptr_mbuf, ms_to):
334     """
335     Refer to the rmr C documentation for rmr_torcv_msg
336     extern rmr_mbuf_t* rmr_torcv_msg(void* vctx, rmr_mbuf_t* old_msg, int ms_to)
337     """
338     return _rmr_torcv_msg(vctx, ptr_mbuf, ms_to)
339
340
341 _rmr_rts_msg = rmr_c_lib.rmr_rts_msg
342 _rmr_rts_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
343 _rmr_rts_msg.restype = POINTER(rmr_mbuf_t)
344
345
346 def rmr_rts_msg(vctx, ptr_mbuf, payload=None, mtype=None):
347     """
348     Refer to the rmr C documentation for rmr_rts_msg
349     extern rmr_mbuf_t*  rmr_rts_msg(void* vctx, rmr_mbuf_t* msg)
350
351     additional features beyond c-rmr:
352         if payload is not None, attempts to set the payload
353         if mtype is not None, sets the sbuf's message type
354     """
355
356     if payload:
357         set_payload_and_length(payload, ptr_mbuf)
358
359     if mtype:
360         ptr_mbuf.contents.mtype = mtype
361
362     return _rmr_rts_msg(vctx, ptr_mbuf)
363
364
365 _rmr_call = rmr_c_lib.rmr_call
366 _rmr_call.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
367 _rmr_call.restype = POINTER(rmr_mbuf_t)
368
369
370 def rmr_call(vctx, ptr_mbuf):
371     """
372     Refer to the rmr C documentation for rmr_call
373     extern rmr_mbuf_t* rmr_call(void* vctx, rmr_mbuf_t* msg)
374     """
375     return _rmr_call(vctx, ptr_mbuf)
376
377
378 _rmr_bytes2meid = rmr_c_lib.rmr_bytes2meid
379 _rmr_bytes2meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p, c_int]
380 _rmr_bytes2meid.restype = c_int
381
382
383 def rmr_set_meid(ptr_mbuf, byte_str):
384     """
385     Refer to the rmr C documentation for rmr_bytes2meid
386     extern int rmr_bytes2meid(rmr_mbuf_t* mbuf, unsigned char const* src, int len);
387     """
388     return _rmr_bytes2meid(ptr_mbuf, byte_str, len(byte_str))
389
390
391 # CAUTION:  Some of the C functions expect a mutable buffer to copy the bytes into;
392 #           if there is a get_* function below, use it to set up and return the
393 #           buffer properly.
394
395 # extern unsigned char*  rmr_get_meid(rmr_mbuf_t* mbuf, unsigned char* dest);
396 # we don't provide direct access to this function (unless it is asked for) because it is not really useful to provide your own buffer.
397 # Rather, rmr_get_meid does this for you, and just returns the string.
398 _rmr_get_meid = rmr_c_lib.rmr_get_meid
399 _rmr_get_meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
400 _rmr_get_meid.restype = c_char_p
401
402
403 def rmr_get_meid(ptr_mbuf):
404     """
405     Get the managed equipment ID (meid) from the message header.
406
407     Parameters
408     ----------
409     ptr_mbuf: ctypes c_void_p
410         Pointer to an rmr message buffer
411
412     Returns
413     -------
414     string:
415         meid
416     """
417     sz = _get_constants().get("RMR_MAX_MEID", 64)  # size for buffer to fill
418     buf = create_string_buffer(sz)
419     _rmr_get_meid(ptr_mbuf, buf)
420     return buf.value
421
422
423 _rmr_get_src = rmr_c_lib.rmr_get_src
424 _rmr_get_src.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
425 _rmr_get_src.restype = c_char_p
426
427
428 def rmr_get_src(ptr_mbuf, dest):
429     """
430     Refer to the rmr C documentation for rmr_get_src
431     extern unsigned char*  rmr_get_src(rmr_mbuf_t* mbuf, unsigned char* dest);
432     """
433     return _rmr_get_src(ptr_mbuf, dest)
434
435
436 # Methods that exist ONLY in rmr-python, and are not wrapped methods
437 # In hindsight, I wish i put these in a seperate module, but leaving this here to prevent api breakage.
438
439
440 def get_payload(ptr_mbuf):
441     """
442     Given a rmr_buf_t*, get it's binary payload as a bytes object
443
444     Parameters
445     ----------
446     ptr_mbuf: ctypes c_void_p
447         Pointer to an rmr message buffer
448
449     Returns
450     -------
451     bytes:
452         the message payload
453     """
454     # Logic came from the answer here: https://stackoverflow.com/questions/55103298/python-ctypes-read-pointerc-char-in-python
455     sz = ptr_mbuf.contents.len
456     CharArr = c_char * sz
457     return CharArr(*ptr_mbuf.contents.payload[:sz]).raw
458
459
460 def get_xaction(ptr_mbuf):
461     """
462     given a rmr_buf_t*, get it's transaction id
463
464     Parameters
465     ----------
466     ptr_mbuf: ctypes c_void_p
467         Pointer to an rmr message buffer
468
469     Returns
470     -------
471     bytes:
472         the transaction id
473     """
474     val = cast(ptr_mbuf.contents.xaction, c_char_p).value
475     sz = _get_constants().get("RMR_MAX_XID", 0)
476     return val[:sz]
477
478
479 def message_summary(ptr_mbuf):
480     """
481     Returns a dict that contains the fields of a message
482
483     Parameters
484     ----------
485     ptr_mbuf: ctypes c_void_p
486         Pointer to an rmr message buffer
487
488     Returns
489     -------
490     dict:
491         dict message summary
492     """
493     return {
494         "payload": get_payload(ptr_mbuf) if ptr_mbuf.contents.state == RMR_OK else None,
495         "payload length": ptr_mbuf.contents.len,
496         "message type": ptr_mbuf.contents.mtype,
497         "subscription id": ptr_mbuf.contents.sub_id,
498         "transaction id": get_xaction(ptr_mbuf),
499         "message state": ptr_mbuf.contents.state,
500         "message status": _state_to_status(ptr_mbuf.contents.state),
501         "payload max size": rmr_payload_size(ptr_mbuf),
502         "meid": rmr_get_meid(ptr_mbuf),
503         "message source": get_src(ptr_mbuf),
504         "errno": ptr_mbuf.contents.tp_state,
505     }
506
507
508 def set_payload_and_length(byte_str, ptr_mbuf):
509     """
510     | Set an rmr payload and content length
511     | In place method, no return
512
513     Parameters
514     ----------
515     byte_str: bytes
516         the bytes to set the payload to
517     ptr_mbuf: ctypes c_void_p
518         Pointer to an rmr message buffer
519     """
520     if rmr_payload_size(ptr_mbuf) < len(byte_str):  # existing message payload too small
521         ptr_mbuf = rmr_realloc_payload(ptr_mbuf, len(byte_str), True)
522
523     memmove(ptr_mbuf.contents.payload, byte_str, len(byte_str))
524     ptr_mbuf.contents.len = len(byte_str)
525
526
527 def generate_and_set_transaction_id(ptr_mbuf):
528     """
529     | Generate a UUID and Set an rmr transaction id to it
530     | In place method, no return
531
532     Parameters
533     ----------
534     ptr_mbuf: ctypes c_void_p
535         Pointer to an rmr message buffer
536     """
537     uu_id = uuid.uuid1().hex.encode("utf-8")
538     sz = _get_constants().get("RMR_MAX_XID", 0)
539     memmove(ptr_mbuf.contents.xaction, uu_id, sz)
540
541
542 def get_src(ptr_mbuf):
543     """
544     Get the message source (likely host:port)
545
546     Parameters
547     ----------
548     ptr_mbuf: ctypes c_void_p
549         Pointer to an rmr message buffer
550
551     Returns
552     -------
553     string:
554         message source
555     """
556     sz = _get_constants().get("RMR_MAX_SRC", 64)  # size to fill
557     buf = create_string_buffer(sz)
558     rmr_get_src(ptr_mbuf, buf)
559     return buf.value.decode()