docs/developer-guide.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
   2 .. http://creativecommons.org/licenses/by/4.0
   3
   4 Developer-Guide
   5 ===============
   6
   7 .. contents::
   8    :depth: 3
   9    :local:
  10
  11 Introduction
  12 ------------
  13
  14 This document provides information required to work on O-DU High code-base.
  15
  16 Coding Style
  17 ------------
  18
  19 O-DU High uses C languages. The coding guidelines followed are:
  20
  21    a. A new file should have License Header and Footer with exception of auto-generated files like files generated by
  22       ASN tool. Refer to the diagram below for License header.
  23    b. Every block must be indented by 3 spaces.
  24    c. Any header file must be included only in .c file, not in other header files.
  25    d. The line width should not exceed more than 120 characters.
  26
  27 .. figure:: LicHeader.jpg
  28   :width: 600
  29   :alt: Figure 6 License Header and Footer
  30
  31   Figure 6 : License Header and Footer
  32
  33 O-DU High code
  34 ---------------
  35
  36 Refer to O-DU High code-base at: https://gerrit.o-ran-sc.org/r/gitweb?p=o-du/l2.git;a=tree
  37
  38 Technical Details
  39 -----------------
  40
  41 Below section references coding specifics of O-DU High components.
  42
  43 Thread Management
  44 ^^^^^^^^^^^^^^^^^
  45
  46 Creation of Thread:
  47 +++++++++++++++++++
  48
  49 In O-DU High, multiple threads are created using below macro
  50
  51    ODU_CREATE_TASK (priority, stskId)
  52
  53       a. Creates a thread by declaring a thread id
  54       b. Inputs
  55
  56          - priority - Priority of the task
  57          - stskId - Thread Id
  58
  59 Setting a core affinity:
  60 ++++++++++++++++++++++++
  61
  62    ODU_SET_THREAD_AFFINITY (tskId, mode, coreId, tskAssociatedTskId)
  63
  64       a. Sets the processor/core affinity for a thread based on the mode supplied by the caller.
  65       b. Inputs
  66
  67          - tskId - thread Id
  68          - mode - mode according to which the affinity is set
  69          - coreId - coreId to which the affinity has to be set
  70          - tskAssociatedTskId - thread Id of the associated layer
  71
  72       c. Returns ROK on success and RFAILED on failure
  73
  74 Registering Entities:
  75 +++++++++++++++++++++++
  76
  77 All logical entities in O-DU High must be registered into the database.
  78
  79    ODU_REG_TTSK (ent, inst, ttype, prior, initTsk, actvTsk)
  80
  81       a. Inputs
  82
  83          - ent - Id of the entity to activate. Example: ENTDUAPP, ENTSCTP, ENTEGTP etc
  84          - Inst - Instance of the entity to activate. It distinguishes between multiple instances of the same entity on a
  85            given processor. Example: RLC_UL_INST (Instance id 0) and RLC_DL_INST (Instance id 1) belong to the same entity id, ENTRLC.
  86          - ttype - Type of entity
  87          - prior - Priority, ranges from 0(Highest) to 3(Lowest).
  88          - initTsk - Initialization function(xxActvInit) of the entity being registered gets invoked. Example: duActvInit initializes DU APP
  89          - actvTsk - This function(xxActvTsk) is responsible to receive any incoming message to that entity. Example: duActvTsk is triggerred when a message comes to DU APP
  90
  91 Attaching Entity to Thread:
  92 +++++++++++++++++++++++++++
  93
  94 Every entity must be attached to a thread to schedule its activation based on priority and incoming events. Any number
  95 of entities can be attached to a system task.
  96
  97    ODU_ATTACH_TTSK (ent, inst, stskId)
  98
  99       a. Inputs
 100
 101          - ent - Entity Id of the task
 102          - inst -  Instance Id of the task
 103          - stskId - Thread Id to use
 104
 105 Memory Management
 106 ^^^^^^^^^^^^^^^^^
 107
 108 Configuration
 109 +++++++++++++
 110
 111 Memory is divided into multiple regions(identified by region id) and each region is divided into multiple pools(identified by pool id).
 112 The configurations are present in mt_ss.h and mt_ss.c at <rsys_directory>/l2/src/mt.
 113 Currently, the number of regions configured are 6 and each region has 5 pools.
 114
 115 Region and pool used by each layer is identified by following macros:
 116
 117    - MAC    - MAC_MEM_REGION and MAC_POOL
 118    - SCH    - SCH_MEM_REGION and SCH_POOL
 119    - RLC UL - RLC_MEM_REGION_UL and RLC_POOL
 120    - RLC_DL - RLC_MEM_REGION_DL and RLC_POOL
 121    - DU APP - DU_APP_MEM_REGION and DU_POOL
 122
 123 Static Memory
 124 +++++++++++++
 125
 126 Macros are defined at each layer for static memory allocation/deallocation from that layer's region and pool.
 127
 128    XX_ALLOC(bufPtr, size)
 129
 130       a. Allocates static buffer
 131       b. Inputs:
 132
 133          - bufPtr - pointer to store address of the memory allocated
 134          - size   - size of memory to be allocated
 135
 136       c. Result:
 137
 138          - If allocation is sucessful, butPtr stores memory address
 139          - If allocation fails, bufPtr is NULL.
 140
 141    XX_FREE(bufPtr, size)
 142
 143       a. Frees static buffer
 144       b. Inputs:
 145
 146          - bufPtr - pointer to memory to be freed
 147          - size   - size of memory to be freed
 148
 149 Here, XX stands for various ODU-High entity i.e.
 150
 151    - MAC    - MAC_ALLOC & MAC_FREE
 152    - SCH    - SCH_ALLOC & SCH_FREE
 153    - RLC    - RLC_ALLOC & RLC_FREE
 154    - DU APP - DU_ALLOC & DU_FREE
 155
 156 Sharable Memory
 157 +++++++++++++++
 158
 159 One of the methods of communication between layers is through sharabale memory.
 160 The sender will allocate sharable buffer from its own region and pool.
 161 This memory will be freed by receiving layer and returned back to sender's region and pool.
 162
 163    XX_ALLOC_SHRABL_BUF(bufPtr, size)
 164
 165       a. Allocates sharable buffer
 166       b. Inputs:
 167
 168          - bufPtr - pointer to store address of the memory allocated
 169          - size   - size of memory to be allocated
 170
 171       c. Result:
 172
 173          - If allocation is sucessful, butPtr stores memory address
 174          - If allocation fails, bufPtr is NULL.
 175
 176    XX_FREE_SHRABL_BUF(region, pool, bufPtr, size)
 177
 178       a. Frees sharabale buffer
 179       b. Inputs:
 180
 181          - region - region where this buffer is allocated from
 182          - pool   - pool where this buffer is allocated from
 183          - bufPtr - pointer to memory to be freed
 184          - size   - size of memory to be freed
 185
 186 Here, XX stands for various ODU-High entities i.e.
 187
 188    - MAC    - MAC_ALLOC_SHRABL_BUF & MAC_FREE_SHRABL_BUF
 189    - SCH    - Since scheduler communicates only with MAC and is tightly coupled, sharable buffers are not needed.
 190    - RLC    - RLC_ALLOC_SHRABL_BUF & RLC_FREE_SHRABL_BUF
 191    - DU APP - DU_ALLOC_SHRABL_BUF & DU_FREE_SHRABL_BUF
 192
 193 Message Buffer
 194 ++++++++++++++
 195
 196 A message is an ordered sequence of bytes. It stores both the control information and the data being communicated.
 197 Message buffers are allocated from dynamic memory.
 198
 199    ODU_GET_MSG_BUF(region, pool, mBuf)
 200
 201       a. Allocates memory for message buffer
 202       b. Inputs:
 203
 204          - region - region of sending layer
 205          - pool   - pool of sending layer
 206          - mBuf   - pointer to message buffer
 207
 208    ODU_PUT_MSG_BUF(mBuf)
 209
 210       a. Frees memory for message
 211       b. Inputs:
 212
 213          - mBuf - message pointer
 214
 215 WLS Memory
 216 ++++++++++
 217
 218 WLS memory is allocated for message exchanges between O-DU High and O-DU Low.
 219
 220    LWR_MAC_ALLOC(ptr, size)
 221
 222       a. Allocates WLS memory block
 223       b. Inputs:
 224
 225          - ptr  - pointer to store address of the memory allocated
 226          - size - size of memory to be allocated
 227
 228       c. Result:
 229
 230          - If allocation is sucessful, ptr stores memory address
 231          - If allocation fails, ptr is NULL.
 232
 233    LWR_MAC_FREE(ptr, size)
 234
 235       a. Frees WLS block
 236       b. Inputs:
 237
 238          - bufPtr - pointer to memory to be freed
 239          - size   - size of memory to be freed
 240
 241 Intra O-DU High Communication
 242 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 243
 244 O-DU high entities communicate with each other through one of the following:
 245
 246 Types of Communication
 247 ++++++++++++++++++++++
 248
 249 Direct API Call
 250 ###############
 251
 252 Interface APIs invoked from one entity translate into direct function calls into the destination entity.
 253 Control returns to the calling entity after the called entity has completed processing the called function.
 254
 255    Macro to select this communication mode : ODU_SELECTOR_TC
 256
 257 Serialization
 258 #############
 259
 260 Interface API invoked from one entity is packed into a message and then sent to destination entity through system services.
 261 Control returns to the caller immediately after the message is posted, before the destination has seen or processed it.
 262 There are two serialization methods supported:
 263
 264    a. Pack/Unpack data
 265
 266       - The interface data is packed into the message. Receiver will unpack this, parameter by parameter.
 267       - Macro to select this communication mode : ODU_SELECTOR_LC
 268
 269    b. Pack/Unpack pointer
 270
 271       - The pointer to data is packed and sent. Receiver will unpack the pointer and directly access data at this address.
 272       - Macro to select this communication mode : ODU_SELECTOR_LWLC
 273
 274 Below figure depicts the mode of communication between various entities registered in O-DU High.
 275 Here,
 276
 277    - TC stands for Direct API call
 278    - LC stands for Serialization by packing/unpacking of data
 279    - LWLC stands for Serialization by packing/unpacking of pointers
 280
 281 .. figure:: ModeofCommunication.jpg
 282    :width: 600
 283    :alt: Figure 7 Mode of communication between O-DU High entities
 284
 285    Figure 7: Mode of communication between O-DU High entities
 286
 287 Steps of Communication
 288 ++++++++++++++++++++++
 289
 290 1. Fill Post Structure
 291
 292    Information needed by system services to route API to the destination layer is stored in post structure.
 293
 294    | typedef struct pst
 295    | {
 296    |     ProcId   dstProcId;    /\* destination processor ID \*/
 297    |     ProcId   srcProcId;    /\* source processor ID \*/
 298    |     Ent      dstEnt;       /\* destination entity \*/
 299    |     Inst     dstInst;      /\* destination instance \*/
 300    |     Ent      srcEnt;       /\* source entity \*/
 301    |     Inst     srcInst;      /\* source instance \*/
 302    |     Prior    prior;        /\* priority \*/
 303    |     Route    route;        /\* route \*/
 304    |     Event    event;        /\* event \*/
 305    |     Region   region;       /\* region \*/
 306    |     Pool     pool;         /\* pool \*/
 307    |     Selector selector;     /\* selector \*/
 308    |     uint16_t spare1;       /\* spare for alignment \*/
 309    | } Pst;
 310
 311 2. Pack API into message
 312
 313    At sender, API is packed i.e. the data is stored into a message in ordered sequence of bytes.
 314    At receiver, the data is unpacked from the message and its corresponding handler is invoked.
 315
 316    a. If pst->selector is LC, each parameter is packed/unpacked one by one using one of the below.
 317
 318       - oduPackUInt8(val, mBuf) - Packs 8-bits value(val) into message(mBuf)
 319       - oduUnpakcUInt8(val, mBuf) - Unpacks 8-bits from message(mBuf) and stores in val
 320       - oduPackUInt16(val, mBuf) - Packs 16-bits value(val) into message(mBuf)
 321       - oduUnpakcUInt16(val, mBuf) - Unpacks 16-bits from message(mBuf) and stores in val
 322       - oduPackUInt32(val, mBuf) - Packs 32-bits value(val) into message(mBuf)
 323       - oduUnpakcUInt32(val, mBuf) - Unpacks 16-bits from message(mBuf) and stores in val
 324
 325       The sequence in which the parameters are unpacked must be reverse of the packing sequence.
 326
 327    b. If pst->selector is LWLC, pointer to the interface structure is packed/unpacked.
 328
 329       - oduPackPointer(ptr, mBuf) - Packs pointer value(ptr) into message(mBuf)
 330       - oduUnpackPointer(ptr, mBuf) - Unpacks pointer value from message(mBuf) and stores in ptr
 331
 332 3. Post the message
 333
 334    Once the post information is filled and API is packed into a message, it is posted to destination using:
 335
 336       ODU_POST_TASK(pst, mBuf)
 337
 338          a. Inputs
 339
 340             - pst  - post structure mentioned above
 341             - mBuf - message
 342
 343 Below figure summarized the above steps of intra O-DU High communication
 344
 345 .. figure:: StepsOfCommunication.jpg
 346    :width: 600
 347    :alt: Figure 8 Communication between entities
 348
 349    Figure 8: Steps of Communication between O-DU High entities
 350
 351
 352 Communication with Intel O-DU Low
 353 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 354
 355 Intel O-DU Low communicates with O-DU High over WLS interface. Hence, Intel's "wls_lib.h" library is required for using
 356 the following APIs for communication.
 357
 358 1. **WLS_Open**
 359
 360    *void\* WLS_Open(const char \*ifacename, unsigned int mode, unsigned long long nWlsMemorySize)*
 361
 362       a. Description
 363
 364          - Opens the WLS interface and registers as instance in the kernel space driver.
 365          - Control section of shared memory is mapped to application memory.
 366
 367       b. Inputs:
 368
 369          - ifacename - pointer to string with device driver name (/dev/wls)
 370          - mode      - mode of operation (Master or Slave). Here, O-DU High acts as MASTER.
 371
 372       c. Returns pointer handle to WLS interface for future use by WLS functions
 373
 374 2. **WLS_Ready**
 375
 376    *int WLS_Ready(void \*h)*
 377
 378       a. Description
 379
 380          - Checks the state of remote peer of WLS interface
 381
 382       b. Inputs - handle of WLS interface
 383       c. Returns 0 if peer is available i.e. one to one connection is established
 384
 385 3. **WLS_Close**
 386
 387    *int WLS_Close(void \*h)*
 388
 389       a. Description
 390
 391          - Closes the WLS interface and de-registers as instance in the kernel space driver
 392          - Control section of shared memory is unmapped form user space application
 393
 394       b. Input - handle of WLS interface to be closed
 395       c. Returns 0 if operation is successful
 396
 397 4. **WLS_Alloc**
 398
 399    *void\* WLS_Alloc(void\* h, unsigned int size)*
 400
 401       a. Description
 402
 403          - Allocates memory block for data exchange shared memory. Memory block is backed by huge pages.
 404          - Memory is allocated only once for L2, and divided into various regions.
 405
 406       b. Input
 407
 408          - h   - handle of WLS interface
 409          - size - size of memory block to allocate
 410
 411       c. Returns
 412
 413          - Pointer to allocated memory block
 414          - NULL on memory allocation failure
 415
 416 5. **WLS_Free**
 417
 418    *int WLS_Free(void\* h, void\* pMsg)*
 419
 420       a. Description
 421
 422          - Frees memory block for data exchanged on shared memory.
 423
 424       b. Input
 425
 426          - h    - handle of WLS interface
 427          - pMsg - pointer to WLS memory
 428
 429       c. Returns 0 if operation is sucessful
 430
 431 6. **WLS_Put**
 432
 433    *int WLS_Put(void\* h, unsigned long long pMsg, unsigned int MsgSize, unsigned short MsgTypeID, unsigned short
 434    Flags)*
 435
 436       a. Description
 437
 438          - Puts memory block (or group of blocks) allocated from WLS memory into the interface to transfer to remote peer
 439
 440       b. Input
 441
 442          - h    - handle of WLS interface
 443          - pMsg - pointer to memory block (physical address) with data to be transfered to remote peer
 444          - MsgSize - size of memory block to send (should be less than 2 MB)
 445          - MsgTypeID - application specific identifier of message type
 446          - Flags - Scatter/Gather flag if memory block has multiple chunks
 447
 448       c. Returns 0 if operation is successful
 449
 450 7. **WLS_Check**
 451
 452    *int WLS_Check(void\* h)*
 453
 454       a. Description
 455
 456          - Checks if there are memory blocks with data from remote peer
 457
 458       b. Input - handle of WLS interface
 459       c. Returns number of blocks available for "get" operation
 460
 461 8. **WLS_Wait**
 462
 463    *int WLS_Wait(void\* h)*
 464
 465       a. Description
 466
 467          - Waits for new memory block from remote peer
 468          - Blocking call
 469
 470       b. Input - the handle of WLS interface
 471       c. Returns number of blocks available for "get" operation
 472
 473 9. **WLS_Get**
 474
 475    *unsigned long long WLS_Get(void\* h, unsigned int \*MsgSize, unsigned short \*MsgTypeID, unsigned short \*Flags)*
 476
 477       a. Description
 478
 479          - Gets memory block from interface received from remote peer.
 480          - Non-blocking operation
 481
 482       b. Input
 483
 484          - h    - handle of WLS interface
 485          - MsgSize - pointer to set size of memory block
 486          - MsgTypeID - pointer to application specific identifier of message type
 487          - Flags - pointer to Scatter/Gather flag if memory block has multiple chunks
 488
 489       c. Returns
 490
 491          - Pointer to memory block (physical address) with data received from remote peer
 492          - NULL if error or no blocks available
 493
 494 10. **WLS_WGet**
 495
 496     *unsigned long long WLS_WGet(void\* h, unsigned int \*MsgSize, unsigned short \*MsgTypeID, unsigned short \*Flags)*
 497
 498        a. Description
 499
 500           - Gets memory block from interface received from remote peer
 501           - It is a blocking operation and waits for next memory block from remote peer
 502
 503        b. Input
 504
 505           - h    - handle of WLS interface
 506           - MsgSize - pointer to set size of memory block
 507           - MsgTypeID - pointer to application specific identifier of message type
 508           - Flags - pointer to Scatter/Gather flag if memory block has multiple chunks
 509
 510        c. Returns
 511
 512           - Pointer to memory block (physical address) with data received from remote peer
 513           - NULL if error or no blocks available
 514
 515 11. **WLS_WakeUp**
 516
 517     *int WLS_WakeUp(void\* h)*
 518
 519        a. Description
 520
 521           - Performs "wakeup" notification to remote peer to unblock "wait" operations pending
 522
 523        b. Input - handle of WLS interface
 524        c. Returns 0 if operation is successful
 525
 526 12. **WLS_VA2PA**
 527
 528     *unsigned long long WLS_VA2PA(void\* h, void\* pMsg)*
 529
 530        a. Description
 531
 532           - Converts virtual address (VA) to physical address (PA)
 533
 534        b. Input
 535
 536           - h    - handle of WLS interface
 537           - pMsg - virtual address of WLS memory block
 538
 539        c. Returns
 540
 541           - Physical address of WLS memory block
 542           - NULL, if error
 543
 544 13. **WLS_PA2VA**
 545
 546     *void\* WLS_PA2VA(void\* h, unsigned long long pMsg)*
 547
 548        a. Description
 549
 550           - Converts physical address (PA) to virtual address (VA)
 551
 552        b. Input
 553
 554           - h    - handle of WLS interface
 555           - pMsg - physical address of WLS memory block
 556
 557        c. Returns
 558
 559           - Virtual address of WLS memory block
 560           - NULL, if error
 561
 562 14. **WLS_EnqueueBlock**
 563
 564     *int WLS_EnqueueBlock(void\* h, unsigned long long pMsg)*
 565
 566        a. Description
 567
 568           - Used by the Master to provide memory blocks to slave for next slave-to-master data transfer
 569
 570        b. Input
 571
 572           - h    - handle of WLS interface
 573           - pMsg - physical address of WLS memory block
 574
 575        c. Returns 0 if opertaion is successful
 576
 577 15. **WLS_DequeueBlock**
 578
 579     *unsigned long long WLS_DequeueBlock(void\* h)*
 580
 581       a. Description
 582
 583          - Used by the Master and Slave to get block from master-to-slave queue of available memory blocks
 584
 585       b. Input - handle of WLS interface
 586       c. Returns
 587
 588          - Physical address of WLS memory block
 589          - NULL, if error
 590
 591 16. **WLS_NumBlocks**
 592
 593     *int WLS_NumBlocks(void\* h)*
 594
 595        a. Description
 596
 597           - Returns number of current available block provided by the Master for new transfer of data from slave
 598
 599        b. Input - handle of WLS interface
 600        c. Returns number of available blocks in slave to master queue
 601
 602 Additional Utility Functions
 603 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 604
 605 1. ODU_START_TASK(startTime, taskId)
 606
 607       a. Gives current time through input parameter
 608       b. Input
 609
 610          - startTime - stores current time to be returned
 611          - taskId - task id of calling entity
 612
 613 2. ODU_STOP_TASK(startTime, taskId)
 614
 615       a. Calculates difference of start time and current time.
 616       b. Input
 617
 618          - startTime - start time of this task
 619          - taskId - taskId of calling entity
 620
 621 3. ODU_SET_PROC_ID(procId)
 622
 623       a. Processors are identified by processor identifiers (ProcId) that are globally unique.
 624          It sets the procId for the local processor. In O-DU High, procId is 0 (DU_PROC)
 625       b. Inputs
 626
 627          - procId - process id to be set
 628
 629 4. ODU_GET_PROCID()
 630
 631       a. Finds and returns the local processor id on which the calling task is running
 632       b. Inputs
 633
 634          - void
 635
 636 5. ODU_CAT_MSG(mbuf1, mbuf2, order)
 637
 638       a. Concatenates the given two message.
 639       b. Inputs
 640
 641          - mbuf1 - pointer to message buffer 1
 642          - mbuf2 - pointer to message buffer 2
 643          - order - order in which the messages are concatenated
 644
 645 6. ODU_GET_MSG_LEN(mBuf, lngPtr)
 646
 647       a. Determines length of the data contents of a message
 648       b. Inputs
 649
 650          - mBuf - pointer to the message buffer
 651          - lngPtr - pointer to store length value
 652
 653 7. ODU_EXIT_TASK()
 654
 655       a. Gracefully exits the process
 656       b. Inputs
 657
 658          - void
 659
 660 8. ODU_PRINT_MSG(mBuf, src, dst)
 661
 662       a. Prints information about message buffer.
 663       b. Inputs
 664
 665          - mBuf - pointer to the message buffer
 666          - src  - source Id
 667          - dest - destination Id
 668
 669 9. ODU_REM_PRE_MSG(dataPtr, mBuf)
 670
 671       a. Removes one byte of data from the beginning of a message
 672       b. Inputs
 673
 674          - dataPtr - pointer to the location where one byte of data is placed
 675          - mBuf - pointer to the message buffer
 676
 677 10. ODU_REM_PRE_MSG_MULT(dst, cnt, mBuf)
 678
 679       a. Removes the specified number of bytes of data from the beginning of a message
 680       b. Inputs
 681
 682          - dst - pointer to the location where the data bytes are placed.
 683          - cnt - number of bytes to be removed from the message.
 684          - mBuf- pointer to the message.
 685
 686 11. ODU_REG_TMR_MT(ent, inst, period, func)
 687
 688       a. Registers timer function of an entity with system services
 689       b. Inputs
 690
 691          - ent - entity ID of task registering the timer.
 692          - inst - instance of task registering the timer.
 693          - period - period in system ticks between system service sccessive scheduling
 694            of the timer function in the entity
 695          - func - timer function.
 696
 697 12. ODU_SEGMENT_MSG(mBuf1, idx, mBuf2)
 698
 699       a. Segments a message into two messages at the specified index.
 700       b. Inputs
 701
 702          - mBuf1 - Message 1, original message to be segmented
 703          - idx - index in message 1 from which message 2 is created.
 704          - mBuf2 - pointer to message buffer 2 (new message).
 705
 706 13. ODU_ADD_PRE_MSG_MULT(src, cnt, dst)
 707
 708        a. Copies consecutive bytes of data to the beginning of a message
 709        b. Inputs
 710
 711           - src - source buffer
 712           - cnt - number of bytes
 713           - dst - destination message
 714
 715 14. ODU_ADD_PRE_MSG_MULT_IN_ORDER(src, cnt, dst)
 716
 717        a. Copies consecutive bytes of data to the beginning of a message and keeps the bytes order preserved
 718        b. Inputs
 719
 720           - src - source buffer
 721           - cnt - number of bytes
 722           - dst - destination message
 723
 724 15. ODU_ADD_POST_MSG_MULT(src, cnt, dst)
 725
 726        a. Copies consecutive bytes of data to the end of a message
 727        b. Inputs
 728
 729           - src - source buffer
 730           - cnt - number of bytes
 731           - dst - destination message
 732
 733 16. ODU_COPY_MSG_TO_FIX_BUF(src, srcIdx, cnt, dst, ccnt)
 734
 735        a. Copies data from a message buffer into a fixed buffer
 736        b. Inputs
 737
 738           - src - source message
 739           - srcIdx - start index of source buffer to be copied
 740           - cnt - number of bytes to be copied
 741           - dst - destination buffer
 742           - ccnt - number of bytes copied
 743
 744 17. ODU_COPY_FIX_BUF_TO_MSG(src, dst, dstIdx, cnt, ccnt)
 745
 746        a. Copies data from a fixed buffer to a message buffer
 747        b. Inputs
 748
 749           - src - source buffer
 750           - dst - destination message
 751           - dstIdx - index in destination message to starting copying bytes from
 752           - cnt - number of bytes to be copied
 753           - ccnt - number of bytes copied
 754