src/bindings/rmr-python/rmr/rmr.py

   1 # vim: expandtab ts=4 sw=4:
   2 # ==================================================================================
   3 #       Copyright (c) 2019-2020 Nokia
   4 #       Copyright (c) 2018-2020 AT&T Intellectual Property.
   5 #
   6 #   Licensed under the Apache License, Version 2.0 (the "License");
   7 #   you may not use this file except in compliance with the License.
   8 #   You may obtain a copy of the License at
   9 #
  10 #          http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 #   Unless required by applicable law or agreed to in writing, software
  13 #   distributed under the License is distributed on an "AS IS" BASIS,
  14 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 #   See the License for the specific language governing permissions and
  16 #   limitations under the License.
  17 # ==================================================================================
  18 import uuid
  19 import json
  20 from ctypes import RTLD_GLOBAL, Structure, c_int, POINTER, c_char, c_char_p, c_void_p, memmove, cast
  21 from ctypes import CDLL
  22 from ctypes import create_string_buffer
  23 from rmr.exceptions import BadBufferAllocation, MeidSizeOutOfRange, InitFailed
  24
  25 # https://docs.python.org/3.7/library/ctypes.html
  26 # https://stackoverflow.com/questions/2327344/ctypes-loading-a-c-shared-library-that-has-dependencies/30845750#30845750
  27 # make sure you do a set -x LD_LIBRARY_PATH /usr/local/lib/;
  28
  29 # even though we don't use these directly, they contain symbols we need
  30 rmr_c_lib = CDLL("librmr_si.so", mode=RTLD_GLOBAL)
  31
  32
  33 # Internal Helpers (not a part of public api)
  34
  35
  36 _rmr_const = rmr_c_lib.rmr_get_consts
  37 _rmr_const.argtypes = []
  38 _rmr_const.restype = c_char_p
  39
  40
  41 def _get_constants(cache={}):
  42     """
  43     Get or build needed constants from rmr
  44     TODO: are there constants that end user applications need?
  45     """
  46     if cache:
  47         return cache
  48
  49     js = _rmr_const()  # read json string
  50     cache = json.loads(str(js.decode()))  # create constants value object as a hash
  51     return cache
  52
  53
  54 def _get_mapping_dict(cache={}):
  55     """
  56     Get or build the state mapping dict
  57
  58     RMR_OK              0   state is good
  59     RMR_ERR_BADARG      1   argument passd to function was unusable
  60     RMR_ERR_NOENDPT     2   send/call could not find an endpoint based on msg type
  61     RMR_ERR_EMPTY       3   msg received had no payload; attempt to send an empty message
  62     RMR_ERR_NOHDR       4   message didn't contain a valid header
  63     RMR_ERR_SENDFAILED  5   send failed; errno has nano reason
  64     RMR_ERR_CALLFAILED  6   unable to send call() message
  65     RMR_ERR_NOWHOPEN    7   no wormholes are open
  66     RMR_ERR_WHID        8   wormhole id was invalid
  67     RMR_ERR_OVERFLOW    9   operation would have busted through a buffer/field size
  68     RMR_ERR_RETRY       10  request (send/call/rts) failed, but caller should retry (EAGAIN for wrappers)
  69     RMR_ERR_RCVFAILED   11  receive failed (hard error)
  70     RMR_ERR_TIMEOUT     12  message processing call timed out
  71     RMR_ERR_UNSET       13  the message hasn't been populated with a transport buffer
  72     RMR_ERR_TRUNC       14  received message likely truncated
  73     RMR_ERR_INITFAILED  15  initialization of something (probably message) failed
  74
  75     """
  76     if cache:
  77         return cache
  78
  79     rmr_consts = _get_constants()
  80     for key in rmr_consts:  # build the state mapping dict
  81         if key[:7] in ["RMR_ERR", "RMR_OK"]:
  82             en = int(rmr_consts[key])
  83             cache[en] = key
  84
  85     return cache
  86
  87
  88 def _state_to_status(stateno):
  89     """
  90     Convert a msg state to status
  91
  92     """
  93     sdict = _get_mapping_dict()
  94     return sdict.get(stateno, "UNKNOWN STATE")
  95
  96
  97 _RCONST = _get_constants()
  98
  99
 100 ##############
 101 # PUBLIC API
 102 ##############
 103
 104
 105 # These constants are directly usable by importers of this library
 106 # TODO: Are there others that will be useful?
 107
 108 RMR_MAX_RCV_BYTES = _RCONST["RMR_MAX_RCV_BYTES"]
 109 RMRFL_MTCALL = _RCONST.get("RMRFL_MTCALL", 0x02)  # initialization flags
 110 RMRFL_NONE = _RCONST.get("RMRFL_NONE", 0x0)
 111 RMR_OK = _RCONST["RMR_OK"]  # useful state constants
 112 RMR_ERR_TIMEOUT = _RCONST["RMR_ERR_TIMEOUT"]
 113 RMR_ERR_RETRY = _RCONST["RMR_ERR_RETRY"]
 114
 115
 116 class rmr_mbuf_t(Structure):
 117     """
 118     Reimplementation of rmr_mbuf_t which is in an unaccessible header file (src/common/include/rmr.h)
 119
 120     | typedef struct {
 121     |    int     state;          // state of processing
 122     |    int     mtype;          // message type
 123     |    int     len;            // length of data in the payload (send or received)
 124     |    unsigned char* payload; // transported data
 125     |    unsigned char* xaction; // pointer to fixed length transaction id bytes
 126     |    int sub_id;             // subscription id
 127     |    int      tp_state;      // transport state (a.k.a errno)
 128     |
 129     | these things are off limits to the user application
 130     |
 131     |    void*   tp_buf;         // underlying transport allocated pointer (e.g. nng message)
 132     |    void*   header;         // internal message header (whole buffer: header+payload)
 133     |    unsigned char* id;      // if we need an ID in the message separate from the xaction id
 134     |    int flags;              // various MFL (private) flags as needed
 135     |    int alloc_len;          // the length of the allocated space (hdr+payload)
 136     | } rmr_mbuf_t;
 137
 138     We do not include the fields we are not supposed to mess with
 139
 140     RE PAYLOADs type below, see the documentation for c_char_p:
 141        class ctypes.c_char_p
 142            Represents the C char * datatype when it points to a zero-terminated string. For a general character pointer that may also point to binary data, POINTER(c_char) must be used. The constructor accepts an integer address, or a bytes object.
 143     """
 144
 145     _fields_ = [
 146         ("state", c_int),
 147         ("mtype", c_int),
 148         ("len", c_int),
 149         (
 150             "payload",
 151             POINTER(c_char),
 152         ),  # according to th following the python bytes are already unsinged https://bytes.com/topic/python/answers/695078-ctypes-unsigned-char
 153         ("xaction", POINTER(c_char)),
 154         ("sub_id", c_int),
 155         ("tp_state", c_int),
 156     ]
 157
 158
 159 # argtypes and restype are important: https://stackoverflow.com/questions/24377845/ctype-why-specify-argtypes
 160
 161
 162 _rmr_init = rmr_c_lib.rmr_init
 163 _rmr_init.argtypes = [c_char_p, c_int, c_int]
 164 _rmr_init.restype = c_void_p
 165
 166
 167 def rmr_init(uproto_port, max_msg_size, flags):
 168     """
 169     Refer to rmr C documentation for rmr_init
 170     extern void* rmr_init(char* uproto_port, int max_msg_size, int flags)
 171
 172     This python function checks that the context is not None and raises
 173     an excption if it is.
 174     """
 175     mrc = _rmr_init(uproto_port, max_msg_size, flags)
 176     if mrc is None:
 177         raise InitFailed()
 178     return mrc
 179
 180
 181 _rmr_ready = rmr_c_lib.rmr_ready
 182 _rmr_ready.argtypes = [c_void_p]
 183 _rmr_ready.restype = c_int
 184
 185
 186 def rmr_ready(vctx):
 187     """
 188     Refer to rmr C documentation for rmr_ready
 189     extern int rmr_ready(void* vctx)
 190     """
 191     return _rmr_ready(vctx)
 192
 193
 194 _rmr_close = rmr_c_lib.rmr_close
 195 _rmr_close.argtypes = [c_void_p]
 196
 197
 198 def rmr_close(vctx):
 199     """
 200     Refer to rmr C documentation for rmr_close
 201     extern void rmr_close(void* vctx)
 202     """
 203     return _rmr_close(vctx)
 204
 205
 206 _rmr_set_stimeout = rmr_c_lib.rmr_set_stimeout
 207 _rmr_set_stimeout.argtypes = [c_void_p, c_int]
 208 _rmr_set_stimeout.restype = c_int
 209
 210
 211 def rmr_set_stimeout(vctx, time):
 212     """
 213     Refer to the rmr C documentation for rmr_set_stimeout
 214     extern int rmr_set_stimeout(void* vctx, int time)
 215     """
 216     return _rmr_set_stimeout(vctx, time)
 217
 218
 219 _rmr_alloc_msg = rmr_c_lib.rmr_alloc_msg
 220 _rmr_alloc_msg.argtypes = [c_void_p, c_int]
 221 _rmr_alloc_msg.restype = POINTER(rmr_mbuf_t)
 222
 223
 224 def rmr_alloc_msg(
 225     vctx, size, payload=None, gen_transaction_id=False, mtype=None, meid=None, sub_id=None, fixed_transaction_id=None
 226 ):
 227     """
 228     Refer to the rmr C documentation for rmr_alloc_msg
 229     extern rmr_mbuf_t* rmr_alloc_msg(void* vctx, int size)
 230     TODO: on next API break, clean up transaction_id ugliness. Kept for now to preserve API.
 231
 232     if payload is not None, attempts to set the payload
 233     if gen_transaction_id is True, it generates and sets a transaction id. Note, fixed_transaction_id supersedes this option
 234     if mtype is not None, sets the sbuf's message type
 235     if meid is not None, sets the sbuf's meid
 236     if sub_id is not None, sets the sbud's subscription id
 237     if fixed_transaction_id is set, it deterministically sets the transaction_id. This overrides the option gen_transation_id
 238
 239     """
 240     sbuf = _rmr_alloc_msg(vctx, size)
 241     try:
 242         # make sure the alloc worked
 243         sbuf.contents
 244
 245         # set specified fields
 246         if payload:
 247             set_payload_and_length(payload, sbuf)
 248
 249         if fixed_transaction_id:
 250             set_transaction_id(sbuf, fixed_transaction_id)
 251         elif gen_transaction_id:
 252             generate_and_set_transaction_id(sbuf)
 253
 254         if mtype:
 255             sbuf.contents.mtype = mtype
 256
 257         if meid:
 258             rmr_set_meid(sbuf, meid)
 259
 260         if sub_id:
 261             sbuf.contents.sub_id = sub_id
 262
 263         return sbuf
 264
 265     except ValueError:
 266         raise BadBufferAllocation
 267
 268
 269 _rmr_realloc_payload = rmr_c_lib.rmr_realloc_payload
 270 _rmr_realloc_payload.argtypes = [POINTER(rmr_mbuf_t), c_int, c_int, c_int]  # new_len, copy, clone
 271 _rmr_realloc_payload.restype = POINTER(rmr_mbuf_t)
 272
 273
 274 def rmr_realloc_payload(ptr_mbuf, new_len, copy=False, clone=False):
 275     """
 276     Refer to the rmr C documentation for rmr_realloc_payload().
 277     extern rmr_mbuf_t* rmr_realloc_payload(rmr_mbuf_t*, int, int, int)
 278     """
 279     return _rmr_realloc_payload(ptr_mbuf, new_len, copy, clone)
 280
 281
 282 _rmr_free_msg = rmr_c_lib.rmr_free_msg
 283 _rmr_free_msg.argtypes = [c_void_p]
 284 _rmr_free_msg.restype = None
 285
 286
 287 def rmr_free_msg(mbuf):
 288     """
 289     Refer to the rmr C documentation for rmr_free_msg
 290     extern void rmr_free_msg(rmr_mbuf_t* mbuf )
 291     """
 292     if mbuf is not None:
 293         _rmr_free_msg(mbuf)
 294
 295
 296 _rmr_payload_size = rmr_c_lib.rmr_payload_size
 297 _rmr_payload_size.argtypes = [POINTER(rmr_mbuf_t)]
 298 _rmr_payload_size.restype = c_int
 299
 300
 301 def rmr_payload_size(ptr_mbuf):
 302     """
 303     Refer to the rmr C documentation for rmr_payload_size
 304     extern int rmr_payload_size(rmr_mbuf_t* msg)
 305     """
 306     return _rmr_payload_size(ptr_mbuf)
 307
 308
 309 """
 310 The following functions all seem to have the same interface
 311 """
 312
 313 _rmr_send_msg = rmr_c_lib.rmr_send_msg
 314 _rmr_send_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 315 _rmr_send_msg.restype = POINTER(rmr_mbuf_t)
 316
 317
 318 def rmr_send_msg(vctx, ptr_mbuf):
 319     """
 320     Refer to the rmr C documentation for rmr_send_msg
 321     extern rmr_mbuf_t* rmr_send_msg(void* vctx, rmr_mbuf_t* msg)
 322     """
 323     return _rmr_send_msg(vctx, ptr_mbuf)
 324
 325
 326 # TODO: the old message (Send param) is actually optional, but I don't know how to specify that in Ctypes.
 327 _rmr_rcv_msg = rmr_c_lib.rmr_rcv_msg
 328 _rmr_rcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 329 _rmr_rcv_msg.restype = POINTER(rmr_mbuf_t)
 330
 331
 332 def rmr_rcv_msg(vctx, ptr_mbuf):
 333     """
 334     Refer to the rmr C documentation for rmr_rcv_msg
 335     extern rmr_mbuf_t* rmr_rcv_msg(void* vctx, rmr_mbuf_t* old_msg)
 336     """
 337     return _rmr_rcv_msg(vctx, ptr_mbuf)
 338
 339
 340 _rmr_torcv_msg = rmr_c_lib.rmr_torcv_msg
 341 _rmr_torcv_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t), c_int]
 342 _rmr_torcv_msg.restype = POINTER(rmr_mbuf_t)
 343
 344
 345 def rmr_torcv_msg(vctx, ptr_mbuf, ms_to):
 346     """
 347     Refer to the rmr C documentation for rmr_torcv_msg
 348     extern rmr_mbuf_t* rmr_torcv_msg(void* vctx, rmr_mbuf_t* old_msg, int ms_to)
 349     """
 350     return _rmr_torcv_msg(vctx, ptr_mbuf, ms_to)
 351
 352
 353 _rmr_rts_msg = rmr_c_lib.rmr_rts_msg
 354 _rmr_rts_msg.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 355 _rmr_rts_msg.restype = POINTER(rmr_mbuf_t)
 356
 357
 358 def rmr_rts_msg(vctx, ptr_mbuf, payload=None, mtype=None):
 359     """
 360     Refer to the rmr C documentation for rmr_rts_msg
 361     extern rmr_mbuf_t*  rmr_rts_msg(void* vctx, rmr_mbuf_t* msg)
 362
 363     additional features beyond c-rmr:
 364         if payload is not None, attempts to set the payload
 365         if mtype is not None, sets the sbuf's message type
 366     """
 367
 368     if payload:
 369         set_payload_and_length(payload, ptr_mbuf)
 370
 371     if mtype:
 372         ptr_mbuf.contents.mtype = mtype
 373
 374     return _rmr_rts_msg(vctx, ptr_mbuf)
 375
 376
 377 _rmr_call = rmr_c_lib.rmr_call
 378 _rmr_call.argtypes = [c_void_p, POINTER(rmr_mbuf_t)]
 379 _rmr_call.restype = POINTER(rmr_mbuf_t)
 380
 381
 382 def rmr_call(vctx, ptr_mbuf):
 383     """
 384     Refer to the rmr C documentation for rmr_call
 385     extern rmr_mbuf_t* rmr_call(void* vctx, rmr_mbuf_t* msg)
 386     """
 387     return _rmr_call(vctx, ptr_mbuf)
 388
 389
 390 _rmr_bytes2meid = rmr_c_lib.rmr_bytes2meid
 391 _rmr_bytes2meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p, c_int]
 392 _rmr_bytes2meid.restype = c_int
 393
 394
 395 def rmr_set_meid(ptr_mbuf, byte_str):
 396     """
 397     Refer to the rmr C documentation for rmr_bytes2meid
 398     extern int rmr_bytes2meid(rmr_mbuf_t* mbuf, unsigned char const* src, int len);
 399
 400     Caution:  the meid length supported in an RMR message is 32 bytes, but C applications
 401     expect this to be a nil terminated string and thus only 31 bytes are actually available.
 402
 403     Raises: exceptions.MeidSizeOutOfRang
 404     """
 405     max = _get_constants().get("RMR_MAX_MEID", 32)
 406     if len(byte_str) >= max:
 407         raise MeidSizeOutOfRange
 408
 409     return _rmr_bytes2meid(ptr_mbuf, byte_str, len(byte_str))
 410
 411
 412 # CAUTION:  Some of the C functions expect a mutable buffer to copy the bytes into;
 413 #           if there is a get_* function below, use it to set up and return the
 414 #           buffer properly.
 415
 416 # extern unsigned char*  rmr_get_meid(rmr_mbuf_t* mbuf, unsigned char* dest);
 417 # we don't provide direct access to this function (unless it is asked for) because it is not really useful to provide your own buffer.
 418 # Rather, rmr_get_meid does this for you, and just returns the string.
 419 _rmr_get_meid = rmr_c_lib.rmr_get_meid
 420 _rmr_get_meid.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
 421 _rmr_get_meid.restype = c_char_p
 422
 423
 424 def rmr_get_meid(ptr_mbuf):
 425     """
 426     Get the managed equipment ID (meid) from the message header.
 427
 428     Parameters
 429     ----------
 430     ptr_mbuf: ctypes c_void_p
 431         Pointer to an rmr message buffer
 432
 433     Returns
 434     -------
 435     string:
 436         meid
 437     """
 438     sz = _get_constants().get("RMR_MAX_MEID", 32)  # size for buffer to fill
 439     buf = create_string_buffer(sz)
 440     _rmr_get_meid(ptr_mbuf, buf)
 441     return buf.value
 442
 443
 444 _rmr_get_src = rmr_c_lib.rmr_get_src
 445 _rmr_get_src.argtypes = [POINTER(rmr_mbuf_t), c_char_p]
 446 _rmr_get_src.restype = c_char_p
 447
 448
 449 def rmr_get_src(ptr_mbuf, dest):
 450     """
 451     Refer to the rmr C documentation for rmr_get_src
 452     extern unsigned char*  rmr_get_src(rmr_mbuf_t* mbuf, unsigned char* dest);
 453     """
 454     return _rmr_get_src(ptr_mbuf, dest)
 455
 456
 457 # Methods that exist ONLY in rmr-python, and are not wrapped methods
 458 # In hindsight, I wish i put these in a seperate module, but leaving this here to prevent api breakage.
 459
 460
 461 def get_payload(ptr_mbuf):
 462     """
 463     Given a rmr_buf_t*, get it's binary payload as a bytes object
 464
 465     Parameters
 466     ----------
 467     ptr_mbuf: ctypes c_void_p
 468         Pointer to an rmr message buffer
 469
 470     Returns
 471     -------
 472     bytes:
 473         the message payload
 474     """
 475     # Logic came from the answer here: https://stackoverflow.com/questions/55103298/python-ctypes-read-pointerc-char-in-python
 476     sz = ptr_mbuf.contents.len
 477     CharArr = c_char * sz
 478     return CharArr(*ptr_mbuf.contents.payload[:sz]).raw
 479
 480
 481 def get_xaction(ptr_mbuf):
 482     """
 483     given a rmr_buf_t*, get it's transaction id
 484
 485     Parameters
 486     ----------
 487     ptr_mbuf: ctypes c_void_p
 488         Pointer to an rmr message buffer
 489
 490     Returns
 491     -------
 492     bytes:
 493         the transaction id
 494     """
 495     val = cast(ptr_mbuf.contents.xaction, c_char_p).value
 496     sz = _get_constants().get("RMR_MAX_XID", 0)
 497     return val[:sz]
 498
 499
 500 def message_summary(ptr_mbuf):
 501     """
 502     Returns a dict that contains the fields of a message
 503
 504     Parameters
 505     ----------
 506     ptr_mbuf: ctypes c_void_p
 507         Pointer to an rmr message buffer
 508
 509     Returns
 510     -------
 511     dict:
 512         dict message summary
 513     """
 514     return {
 515         "payload": get_payload(ptr_mbuf) if ptr_mbuf.contents.state == RMR_OK else None,
 516         "payload length": ptr_mbuf.contents.len,
 517         "message type": ptr_mbuf.contents.mtype,
 518         "subscription id": ptr_mbuf.contents.sub_id,
 519         "transaction id": get_xaction(ptr_mbuf),
 520         "message state": ptr_mbuf.contents.state,
 521         "message status": _state_to_status(ptr_mbuf.contents.state),
 522         "payload max size": rmr_payload_size(ptr_mbuf),
 523         "meid": rmr_get_meid(ptr_mbuf),
 524         "message source": get_src(ptr_mbuf),
 525         "errno": ptr_mbuf.contents.tp_state,
 526     }
 527
 528
 529 def set_payload_and_length(byte_str, ptr_mbuf):
 530     """
 531     | Set an rmr payload and content length
 532     | In place method, no return
 533
 534     Parameters
 535     ----------
 536     byte_str: bytes
 537         the bytes to set the payload to
 538     ptr_mbuf: ctypes c_void_p
 539         Pointer to an rmr message buffer
 540     """
 541     if rmr_payload_size(ptr_mbuf) < len(byte_str):  # existing message payload too small
 542         ptr_mbuf = rmr_realloc_payload(ptr_mbuf, len(byte_str), True)
 543
 544     memmove(ptr_mbuf.contents.payload, byte_str, len(byte_str))
 545     ptr_mbuf.contents.len = len(byte_str)
 546
 547
 548 def generate_and_set_transaction_id(ptr_mbuf):
 549     """
 550     Generate a UUID and Set an rmr transaction id to it
 551
 552     Parameters
 553     ----------
 554     ptr_mbuf: ctypes c_void_p
 555         Pointer to an rmr message buffer
 556     """
 557     set_transaction_id(ptr_mbuf, uuid.uuid1().hex.encode("utf-8"))
 558
 559
 560 def set_transaction_id(ptr_mbuf, tid_bytes):
 561     """
 562     Set an rmr transaction id
 563     TODO: on next API break, merge these two functions. Not done now to preserve API.
 564
 565     Parameters
 566     ----------
 567     ptr_mbuf: ctypes c_void_p
 568         Pointer to an rmr message buffer
 569     tid_bytes: bytes
 570         bytes of the desired transaction id
 571     """
 572     sz = _get_constants().get("RMR_MAX_XID", 0)
 573     memmove(ptr_mbuf.contents.xaction, tid_bytes, sz)
 574
 575
 576 def get_src(ptr_mbuf):
 577     """
 578     Get the message source (likely host:port)
 579
 580     Parameters
 581     ----------
 582     ptr_mbuf: ctypes c_void_p
 583         Pointer to an rmr message buffer
 584
 585     Returns
 586     -------
 587     string:
 588         message source
 589     """
 590     sz = _get_constants().get("RMR_MAX_SRC", 64)  # size to fill
 591     buf = create_string_buffer(sz)
 592     rmr_get_src(ptr_mbuf, buf)
 593     return buf.value.decode()