src/bindings/rmr-python/rmr/rmr.py

   1 # vim: expandtab ts=4 sw=4:
   2 # ==================================================================================
   3 #       Copyright (c) 2019 Nokia
   4 #       Copyright (c) 2018-2019 AT&T Intellectual Property.
   5 #
   6 #   Licensed under the Apache License, Version 2.0 (the "License");
   7 #   you may not use this file except in compliance with the License.
   8 #   You may obtain a copy of the License at
   9 #
  10 #          http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #   Unless required by applicable law or agreed to in writing, software
  13 #   distributed under the License is distributed on an "AS IS" BASIS,
  14 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #   See the License for the specific language governing permissions and
  16 #   limitations under the License.
  17 # ==================================================================================
  18 import uuid
  19 import json
  20 from ctypes import RTLD_GLOBAL, Structure, c_int, POINTER, c_char, c_char_p, c_void_p, memmove, cast
  21 from ctypes import CDLL
  22 from ctypes import create_string_buffer
  23 from rmr.exceptions import BadBufferAllocation
  24
  25 # https://docs.python.org/3.7/library/ctypes.html
  26 # https://stackoverflow.com/questions/2327344/ctypes-loading-a-c-shared-library-that-has-dependencies/30845750#30845750
  27 # make sure you do a set -x LD_LIBRARY_PATH /usr/local/lib/;
  28
  29 # even though we don't use these directly, they contain symbols we need
  30 _ = CDLL("libnng.so", mode=RTLD_GLOBAL)
  31 rmr_c_lib = CDLL("librmr_nng.so", mode=RTLD_GLOBAL)
  32
  33
  34 # Internal Helpers (not a part of public api)
  35
  36
  37 _rmr_const = rmr_c_lib.rmr_get_consts
  38 _rmr_const.argtypes = []
  39 _rmr_const.restype = c_char_p
  40
  41
  42 def _get_constants(cache={}):
  43     """
  44     Get or build needed constants from rmr
  45     TODO: are there constants that end user applications need?
  46     """
  47     if cache:
  48         return cache
  49
  50     js = _rmr_const()  # read json string
  51     cache = json.loads(str(js.decode()))  # create constants value object as a hash
  52     return cache
  53
  54
  55 def _get_mapping_dict(cache={}):
  56     """
  57     Get or build the state mapping dict
  58
  59     RMR_OK              0   state is good
  60     RMR_ERR_BADARG      1   argument passd to function was unusable
  61     RMR_ERR_NOENDPT     2   send/call could not find an endpoint based on msg type
  62     RMR_ERR_EMPTY       3   msg received had no payload; attempt to send an empty message
  63     RMR_ERR_NOHDR       4   message didn't contain a valid header
  64     RMR_ERR_SENDFAILED  5   send failed; errno has nano reason
  65     RMR_ERR_CALLFAILED  6   unable to send call() message
  66     RMR_ERR_NOWHOPEN    7   no wormholes are open
  67     RMR_ERR_WHID        8   wormhole id was invalid
  68     RMR_ERR_OVERFLOW    9   operation would have busted through a buffer/field size
  69     RMR_ERR_RETRY       10  request (send/call/rts) failed, but caller should retry (EAGAIN for wrappers)
  70     RMR_ERR_RCVFAILED   11  receive failed (hard error)
  71     RMR_ERR_TIMEOUT     12  message processing call timed out
  72     RMR_ERR_UNSET       13  the message hasn't been populated with a transport buffer
  73     RMR_ERR_TRUNC       14  received message likely truncated
  74     RMR_ERR_INITFAILED  15  initialization of something (probably message) failed
  75
  76     """
  77     if cache:
  78         return cache
  79
  80     rmr_consts = _get_constants()
  81     for key in rmr_consts:  # build the state mapping dict
  82         if key[:7] in ["RMR_ERR", "RMR_OK"]:
  83             en = int(rmr_consts[key])
  84             cache[en] = key
  85
  86     return cache
  87
  88
  89 def _state_to_status(stateno):
  90     """
  91     Convert a msg state to status
  92
  93     """
  94     sdict = _get_mapping_dict()
  95     return sdict.get(stateno, "UNKNOWN STATE")
  96
  97
  98 _RCONST = _get_constants()
  99
 100
 101 ##############
 102 # PUBLIC API
 103 ##############
 104
 105
 106 # These constants are directly usable by importers of this library
 107 # TODO: Are there others that will be useful?
 108
 109 RMR_MAX_RCV_BYTES = _RCONST["RMR_MAX_RCV_BYTES"]
 110 RMRFL_MTCALL = _RCONST.get("RMRFL_MTCALL", 0x02)  # initialization flags
 111 RMRFL_NONE = _RCONST.get("RMRFL_NONE", 0x0)
 112 RMR_OK = _RCONST["RMR_OK"]  # useful state constants
 113 RMR_ERR_TIMEOUT = _RCONST["RMR_ERR_TIMEOUT"]
 114 RMR_ERR_RETRY = _RCONST["RMR_ERR_RETRY"]
 115
 116
 117 class rmr_mbuf_t(Structure):
 118     """
 119     Reimplementation of rmr_mbuf_t which is in an unaccessible header file (src/common/include/rmr.h)
 120
 121     | typedef struct {
 122     |    int     state;          // state of processing
 123     |    int     mtype;          // message type
 124     |    int     len;            // length of data in the payload (send or received)
 125     |    unsigned char* payload; // transported data
 126     |    unsigned char* xaction; // pointer to fixed length transaction id bytes
 127     |    int sub_id;             // subscription id
 128     |    int      tp_state;      // transport state (a.k.a errno)
 129     |
 130     | these things are off limits to the user application
 131     |
 132     |    void*   tp_buf;         // underlying transport allocated pointer (e.g. nng message)
 133     |    void*   header;         // internal message header (whole buffer: header+payload)
 134     |    unsigned char* id;      // if we need an ID in the message separate from the xaction id
 135     |    int flags;              // various MFL (private) flags as needed
 136     |    int alloc_len;          // the length of the allocated space (hdr+payload)
 137     | } rmr_mbuf_t;
 138
 139     We do not include the fields we are not supposed to mess with
 140
 141     RE PAYLOADs type below, see the documentation for c_char_p:
 142        class ctypes.c_char_p
 143            Represents the C char * datatype when it points to a zero-terminated string. For a general character pointer that may also point to binary data, POINTER(c_char) must be used. The constructor accepts an integer address, or a bytes object.
 144     """
 145
 146     _fields_ = [
 147         ("state", c_int),
 148         ("mtype", c_int),
 149         ("len", c_int),
 150         (
 151             "payload",
 152             POINTER(c_char),
 153         ),  # according to th following the python bytes are already unsinged https://bytes.com/topic/python/answers/695078-ctypes-unsigned-char
 154         ("xaction", POINTER(c_char)),
 155         ("sub_id", c_int),
 156         ("tp_state", c_int),
 157     ]
 158
 159
 160 # argtypes and restype are important: https://stackoverflow.com/questions/24377845/ctype-why-specify-argtypes
 161
 162
 163 _rmr_init = rmr_c_lib.rmr_init
 164 _rmr_init.argtypes = [c_char_p, c_int, c_int]
 165 _rmr_init.restype = c_void_p
 166
 167
 168 def rmr_init(uproto_port, max_msg_size, flags):
 169     """
 170     Refer to rmr C documentation for rmr_init
 171     extern void* rmr_init(char* uproto_port, int max_msg_size, int flags)
 172     """
 173     return _rmr_init(uproto_port, max_msg_size, flags)
 174
 175
 176 _rmr_ready = rmr_c_lib.rmr_ready
 177 _rmr_ready.argtypes = [c_void_p]
 178 _rmr_ready.restype = c_int
 179
 180
 181 def rmr_ready(vctx):
 182     """
 183     Refer to rmr C documentation for rmr_ready
 184     extern int rmr_ready(void* vctx)
 185     """
 186     return _rmr_ready(vctx)
 187
 188
 189 _rmr_close = rmr_c_lib.rmr_close
 190 _rmr_close.argtypes = [c_void_p]
 191
 192
 193 def rmr_close(vctx):
 194     """
 195     Refer to rmr C documentation for rmr_close
 196     extern void rmr_close(void* vctx)
 197     """
 198     return _rmr_close(vctx)
 199
 200
 201 _rmr_set_stimeout = rmr_c_lib.rmr_set_stimeout
 202 _rmr_set_stimeout.argtypes = [c_void_p, c_int]
 203 _rmr_set_stimeout.restype = c_int
 204
 205
 206 def rmr_set_stimeout(vctx, time):
 207     """
 208     Refer to the rmr C documentation for rmr_set_stimeout
 209     extern int rmr_set_stimeout(void* vctx, int time)
 210     """
 211     return _rmr_set_stimeout(vctx, time)
 212
 213
 214 _rmr_alloc_msg = rmr_c_lib.rmr_alloc_msg
 215 _rmr_alloc_msg.argtypes = [c_void_p, c_int]
 216 _rmr_alloc_msg.restype = POINTER(rmr_mbuf_t)
 217
 218
 219 def rmr_alloc_msg(vctx, size, payload=None, gen_transaction_id=False, mtype=None, meid=None, sub_id=None):
 220     """
 221     Refer to the rmr C documentation for rmr_alloc_msg
 222     extern rmr_mbuf_t* rmr_alloc_msg(void* vctx, int size)
 223
 224     if payload is not None, attempts to set the payload
 225     if gen_transaction_id is True, it generates and sets a transaction id
 226     if mtype is not None, sets the sbuf's message type
 227     if meid is not None, sets the sbuf's meid
 228
 229     """
 230     sbuf = _rmr_alloc_msg(vctx, size)
 231     try:
 232         # make sure the alloc worked
 233         sbuf.contents
 234
 235         # set specified fields
 236         if payload:
 237             set_payload_and_length(payload, sbuf)
 238
 239         if gen_transaction_id:
 240             generate_and_set_transaction_id(sbuf)
 241
 242         if mtype:
 243             sbuf.contents.mtype = mtype
 244
 245         if meid:
 246             rmr_set_meid(sbuf, meid)
 247
 248         if sub_id:
 249             sbuf.contents.sub_id = sub_id
 250
 251         return sbuf
 252
 253     except ValueError:
 254         raise BadBufferAllocation
 255
 256
 257 _rmr_realloc_payload = rmr_c_lib.rmr_realloc_payload
 258 _rmr_realloc_payload.argtypes = [POINTER(rmr_mbuf_t), c_int, c_int, c_int]  # new_len, copy, clone
 259 _rmr_realloc_payload.restype = POINTER(rmr_mbuf_t)
 260
 261
 262 def rmr_realloc_payload(ptr_mbuf, new_len, copy=False, clone=False):
 263     """
 264     Refer to the rmr C documentation for rmr_realloc_payload().
 265     extern rmr_mbuf_t* rmr_realloc_payload(rmr_mbuf_t*, int, int, int)
 266     """
 267     return _rmr_realloc_payload(ptr_mbuf, new_len, copy, clone)
 268
 269
 270 _rmr_free_msg = rmr_c_lib.rmr_free_msg
 271 _rmr_free_msg.argtypes = [c_void_p]
 272 _rmr_free_msg.restype = None
 273
 274
 275 def rmr_free_msg(mbuf):
 276     """
 277     Refer to the rmr C documentation for rmr_free_msg
 278     extern void rmr_free_msg(rmr_mbuf_t* mbuf )
 279     """
 280     if mbuf is not None:
 281         _rmr_free_msg(mbuf)
 282
 283
 284 _rmr_payload_size = rmr_c_lib.rmr_payload_size
 285 _rmr_payload_size.argtypes = [POINTER(rmr_mbuf_t)]
 286 _rmr_payload_size.restype = c_int
 287
 288
 289 def rmr_payload_size(ptr_mbuf):
 290     """
 291     Refer to the rmr C documentation for rmr_payload_size
 292     extern int rmr_payload_size(rmr_mbuf_t* msg)
 293     """
 294     return _rmr_payload_size(ptr_mbuf)
 295
 296
 297 """
 298 The following functions all seem to have the same interface
 299 """
 300
 301 _rmr_send_msg = rmr_c_lib.rmr_send_msg
 302 _rmr_send_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 303 _rmr_send_msg.restype = POINTER(rmr_mbuf_t)
 304
 305
 306 def rmr_send_msg(vctx, ptr_mbuf):
 307     """
 308     Refer to the rmr C documentation for rmr_send_msg
 309     extern rmr_mbuf_t* rmr_send_msg(void* vctx, rmr_mbuf_t* msg)
 310     """
 311     return _rmr_send_msg(vctx, ptr_mbuf)
 312
 313
 314 # TODO: the old message (Send param) is actually optional, but I don't know how to specify that in Ctypes.
 315 _rmr_rcv_msg = rmr_c_lib.rmr_rcv_msg
 316 _rmr_rcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 317 _rmr_rcv_msg.restype = POINTER(rmr_mbuf_t)
 318
 319
 320 def rmr_rcv_msg(vctx, ptr_mbuf):
 321     """
 322     Refer to the rmr C documentation for rmr_rcv_msg
 323     extern rmr_mbuf_t* rmr_rcv_msg(void* vctx, rmr_mbuf_t* old_msg)
 324     """
 325     return _rmr_rcv_msg(vctx, ptr_mbuf)
 326
 327
 328 _rmr_torcv_msg = rmr_c_lib.rmr_torcv_msg
 329 _rmr_torcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t), c_int]
 330 _rmr_torcv_msg.restype = POINTER(rmr_mbuf_t)
 331
 332
 333 def rmr_torcv_msg(vctx, ptr_mbuf, ms_to):
 334     """
 335     Refer to the rmr C documentation for rmr_torcv_msg
 336     extern rmr_mbuf_t* rmr_torcv_msg(void* vctx, rmr_mbuf_t* old_msg, int ms_to)
 337     """
 338     return _rmr_torcv_msg(vctx, ptr_mbuf, ms_to)
 339
 340
 341 _rmr_rts_msg = rmr_c_lib.rmr_rts_msg
 342 _rmr_rts_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 343 _rmr_rts_msg.restype = POINTER(rmr_mbuf_t)
 344
 345
 346 def rmr_rts_msg(vctx, ptr_mbuf):
 347     """
 348     Refer to the rmr C documentation for rmr_rts_msg
 349     extern rmr_mbuf_t*  rmr_rts_msg(void* vctx, rmr_mbuf_t* msg)
 350     """
 351     return _rmr_rts_msg(vctx, ptr_mbuf)
 352
 353
 354 _rmr_call = rmr_c_lib.rmr_call
 355 _rmr_call.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 356 _rmr_call.restype = POINTER(rmr_mbuf_t)
 357
 358
 359 def rmr_call(vctx, ptr_mbuf):
 360     """
 361     Refer to the rmr C documentation for rmr_call
 362     extern rmr_mbuf_t* rmr_call(void* vctx, rmr_mbuf_t* msg)
 363     """
 364     return _rmr_call(vctx, ptr_mbuf)
 365
 366
 367 _rmr_bytes2meid = rmr_c_lib.rmr_bytes2meid
 368 _rmr_bytes2meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p, c_int]
 369 _rmr_bytes2meid.restype = c_int
 370
 371
 372 def rmr_set_meid(ptr_mbuf, byte_str):
 373     """
 374     Refer to the rmr C documentation for rmr_bytes2meid
 375     extern int rmr_bytes2meid(rmr_mbuf_t* mbuf, unsigned char const* src, int len);
 376     """
 377     return _rmr_bytes2meid(ptr_mbuf, byte_str, len(byte_str))
 378
 379
 380 # CAUTION:  Some of the C functions expect a mutable buffer to copy the bytes into;
 381 #           if there is a get_* function below, use it to set up and return the
 382 #           buffer properly.
 383
 384 # extern unsigned char*  rmr_get_meid(rmr_mbuf_t* mbuf, unsigned char* dest);
 385 # we don't provide direct access to this function (unless it is asked for) because it is not really useful to provide your own buffer.
 386 # Rather, rmr_get_meid does this for you, and just returns the string.
 387 _rmr_get_meid = rmr_c_lib.rmr_get_meid
 388 _rmr_get_meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
 389 _rmr_get_meid.restype = c_char_p
 390
 391
 392 def rmr_get_meid(ptr_mbuf):
 393     """
 394     Get the managed equipment ID (meid) from the message header.
 395
 396     Parameters
 397     ----------
 398     ptr_mbuf: ctypes c_void_p
 399         Pointer to an rmr message buffer
 400
 401     Returns
 402     -------
 403     string:
 404         meid
 405     """
 406     sz = _get_constants().get("RMR_MAX_MEID", 64)  # size for buffer to fill
 407     buf = create_string_buffer(sz)
 408     _rmr_get_meid(ptr_mbuf, buf)
 409     return buf.value
 410
 411
 412 _rmr_get_src = rmr_c_lib.rmr_get_src
 413 _rmr_get_src.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
 414 _rmr_get_src.restype = c_char_p
 415
 416
 417 def rmr_get_src(ptr_mbuf, dest):
 418     """
 419     Refer to the rmr C documentation for rmr_get_src
 420     extern unsigned char*  rmr_get_src(rmr_mbuf_t* mbuf, unsigned char* dest);
 421     """
 422     return _rmr_get_src(ptr_mbuf, dest)
 423
 424
 425 # Methods that exist ONLY in rmr-python, and are not wrapped methods
 426 # In hindsight, I wish i put these in a seperate module, but leaving this here to prevent api breakage.
 427
 428
 429 def get_payload(ptr_mbuf):
 430     """
 431     Given a rmr_buf_t*, get it's binary payload as a bytes object
 432
 433     Parameters
 434     ----------
 435     ptr_mbuf: ctypes c_void_p
 436         Pointer to an rmr message buffer
 437
 438     Returns
 439     -------
 440     bytes:
 441         the message payload
 442     """
 443     # Logic came from the answer here: https://stackoverflow.com/questions/55103298/python-ctypes-read-pointerc-char-in-python
 444     sz = ptr_mbuf.contents.len
 445     CharArr = c_char * sz
 446     return CharArr(*ptr_mbuf.contents.payload[:sz]).raw
 447
 448
 449 def get_xaction(ptr_mbuf):
 450     """
 451     given a rmr_buf_t*, get it's transaction id
 452
 453     Parameters
 454     ----------
 455     ptr_mbuf: ctypes c_void_p
 456         Pointer to an rmr message buffer
 457
 458     Returns
 459     -------
 460     bytes:
 461         the transaction id
 462     """
 463     val = cast(ptr_mbuf.contents.xaction, c_char_p).value
 464     sz = _get_constants().get("RMR_MAX_XID", 0)
 465     return val[:sz]
 466
 467
 468 def message_summary(ptr_mbuf):
 469     """
 470     Returns a dict that contains the fields of a message
 471
 472     Parameters
 473     ----------
 474     ptr_mbuf: ctypes c_void_p
 475         Pointer to an rmr message buffer
 476
 477     Returns
 478     -------
 479     dict:
 480         dict message summary
 481     """
 482     return {
 483         "payload": get_payload(ptr_mbuf) if ptr_mbuf.contents.state == RMR_OK else None,
 484         "payload length": ptr_mbuf.contents.len,
 485         "message type": ptr_mbuf.contents.mtype,
 486         "subscription id": ptr_mbuf.contents.sub_id,
 487         "transaction id": get_xaction(ptr_mbuf),
 488         "message state": ptr_mbuf.contents.state,
 489         "message status": _state_to_status(ptr_mbuf.contents.state),
 490         "payload max size": rmr_payload_size(ptr_mbuf),
 491         "meid": rmr_get_meid(ptr_mbuf),
 492         "message source": get_src(ptr_mbuf),
 493         "errno": ptr_mbuf.contents.tp_state,
 494     }
 495
 496
 497 def set_payload_and_length(byte_str, ptr_mbuf):
 498     """
 499     | Set an rmr payload and content length
 500     | In place method, no return
 501
 502     Parameters
 503     ----------
 504     byte_str: bytes
 505         the bytes to set the payload to
 506     ptr_mbuf: ctypes c_void_p
 507         Pointer to an rmr message buffer
 508     """
 509     if rmr_payload_size(ptr_mbuf) < len(byte_str):  # existing message payload too small
 510         ptr_mbuf = rmr_realloc_payload(ptr_mbuf, len(byte_str), True)
 511
 512     memmove(ptr_mbuf.contents.payload, byte_str, len(byte_str))
 513     ptr_mbuf.contents.len = len(byte_str)
 514
 515
 516 def generate_and_set_transaction_id(ptr_mbuf):
 517     """
 518     | Generate a UUID and Set an rmr transaction id to it
 519     | In place method, no return
 520
 521     Parameters
 522     ----------
 523     ptr_mbuf: ctypes c_void_p
 524         Pointer to an rmr message buffer
 525     """
 526     uu_id = uuid.uuid1().hex.encode("utf-8")
 527     sz = _get_constants().get("RMR_MAX_XID", 0)
 528     memmove(ptr_mbuf.contents.xaction, uu_id, sz)
 529
 530
 531 def get_src(ptr_mbuf):
 532     """
 533     Get the message source (likely host:port)
 534
 535     Parameters
 536     ----------
 537     ptr_mbuf: ctypes c_void_p
 538         Pointer to an rmr message buffer
 539
 540     Returns
 541     -------
 542     string:
 543         message source
 544     """
 545     sz = _get_constants().get("RMR_MAX_SRC", 64)  # size to fill
 546     buf = create_string_buffer(sz)
 547     rmr_get_src(ptr_mbuf, buf)
 548     return buf.value.decode()