RICPLT-2954 Enhance error and info log writings
[ric-plt/submgr.git] / pkg / control / control.go
index dc8c5e0..db39f7b 100644 (file)
@@ -30,33 +30,39 @@ import (
        "github.com/go-openapi/strfmt"
        "github.com/spf13/viper"
        "math/rand"
-       "strconv"
        "time"
+       "sync"  
 )
 
+var subReqTime time.Duration = 2 * time.Second
+var SubDelReqTime time.Duration = 2 * time.Second
+
 type Control struct {
        e2ap        *E2ap
        registry    *Registry
        rtmgrClient *RtmgrClient
        tracker     *Tracker
-       rcChan      chan *xapp.RMRParams
+       timerMap        *TimerMap
+       rmrSendMutex *sync.Mutex        
 }
 
 type RMRMeid struct {
        PlmnID string
        EnbID  string
+       RanName string
 }
 
 var seedSN uint16
-var SubscriptionReqChan = make(chan SubRouteInfo, 10)
 
 const (
        CREATE Action = 0
        MERGE  Action = 1
+       NONE   Action = 2
        DELETE Action = 3
 )
 
 func init() {
+       xapp.Logger.Info("SUBMGR /ric-plt-submgr:r3-test-v4")
        viper.AutomaticEnv()
        viper.SetEnvPrefix("submgr")
        viper.AllowEmptyEnv(true)
@@ -78,78 +84,87 @@ func NewControl() Control {
        tracker := new(Tracker)
        tracker.Init()
 
+       timerMap := new(TimerMap)
+       timerMap.Init()
+
+       rmrSendMutex := &sync.Mutex{}
+
        transport := httptransport.New(viper.GetString("rtmgr.HostAddr")+":"+viper.GetString("rtmgr.port"), viper.GetString("rtmgr.baseUrl"), []string{"http"})
        client := rtmgrclient.New(transport, strfmt.Default)
        handle := rtmgrhandle.NewProvideXappSubscriptionHandleParamsWithTimeout(10 * time.Second)
        deleteHandle := rtmgrhandle.NewDeleteXappSubscriptionHandleParamsWithTimeout(10 * time.Second)
        rtmgrClient := RtmgrClient{client, handle, deleteHandle}
 
-       return Control{new(E2ap), registry, &rtmgrClient, tracker, make(chan *xapp.RMRParams)}
+       return Control{new(E2ap), registry, &rtmgrClient, tracker, timerMap, rmrSendMutex}
 }
 
 func (c *Control) Run() {
-       go c.controlLoop()
        xapp.Run(c)
 }
 
-func (c *Control) Consume(rp *xapp.RMRParams) (err error) {
-       c.rcChan <- rp
-       return
-}
-
 func (c *Control) rmrSend(params *xapp.RMRParams) (err error) {
-       if !xapp.Rmr.Send(params, false) {
+       status := false
+       i := 1
+       for ; i <= 10 && status == false; i++ { 
+               c.rmrSendMutex.Lock()
+               status = xapp.Rmr.Send(params, false)
+               c.rmrSendMutex.Unlock()
+               if status == false {
+                       xapp.Logger.Info("rmr.Send() failed. Retry count %v, Mtype: %v, SubId: %v, Xid %s",i, params.Mtype, params.SubId, params.Xid)
+                       time.Sleep(500 * time.Millisecond)
+               }
+       }
+       if status == false {
                err = errors.New("rmr.Send() failed")
+               xapp.Rmr.Free(params.Mbuf)
        }
        return
 }
 
 func (c *Control) rmrReplyToSender(params *xapp.RMRParams) (err error) {
-       if !xapp.Rmr.Send(params, true) {
-               err = errors.New("rmr.Send() failed")
-       }
+       c.rmrSend(params)
        return
 }
 
-func (c *Control) controlLoop() {
-       for {
-               msg := <-c.rcChan
-               switch msg.Mtype {
-               case xapp.RICMessageTypes["RIC_SUB_REQ"]:
-                       c.handleSubscriptionRequest(msg)
-               case xapp.RICMessageTypes["RIC_SUB_RESP"]:
-                       c.handleSubscriptionResponse(msg)
-               case xapp.RICMessageTypes["RIC_SUB_DEL_REQ"]:
-                       c.handleSubscriptionDeleteRequest(msg)
-               case xapp.RICMessageTypes["RIC_SUB_DEL_RESP"]:
-                       c.handleSubscriptionDeleteResponse(msg)
-               default:
-                       err := errors.New("Message Type " + strconv.Itoa(msg.Mtype) + " is discarded")
-                       xapp.Logger.Error("Unknown message type: %v", err)
-               }
+func (c *Control) Consume(msg *xapp.RMRParams) (err error) {
+       switch msg.Mtype {
+       case xapp.RICMessageTypes["RIC_SUB_REQ"]:
+               go c.handleSubscriptionRequest(msg)
+       case xapp.RICMessageTypes["RIC_SUB_RESP"]:
+               go c.handleSubscriptionResponse(msg)
+       case xapp.RICMessageTypes["RIC_SUB_FAILURE"]:
+               go c.handleSubscriptionFailure(msg)
+       case xapp.RICMessageTypes["RIC_SUB_DEL_REQ"]:
+               go c.handleSubscriptionDeleteRequest(msg)
+       case xapp.RICMessageTypes["RIC_SUB_DEL_RESP"]:
+               go c.handleSubscriptionDeleteResponse(msg)
+       default:
+               xapp.Logger.Info("Unknown Message Type '%d', discarding", msg.Mtype)
        }
+       return nil
 }
 
-func (c *Control) handleSubscriptionRequest(params *xapp.RMRParams) (err error) {
-       payloadSeqNum, err := c.e2ap.GetSubscriptionRequestSequenceNumber(params.Payload)
-       if err != nil {
-               err = errors.New("Unable to get Subscription Sequence Number from Payload due to: " + err.Error())
-               return
-       }
-       xapp.Logger.Info("Subscription Request Received. RMR SUBSCRIPTION_ID: %v | PAYLOAD SEQUENCE_NUMBER: %v", params.SubId, payloadSeqNum)
+func (c *Control) handleSubscriptionRequest(params *xapp.RMRParams) {
+       xapp.Logger.Info("SubReq received from Src: %s, Mtype: %v, SubId: %v, Xid: %s, Meid: %v",params.Src, params.Mtype, params.SubId, params.Xid, params.Meid)
+       xapp.Rmr.Free(params.Mbuf)
+       params.Mbuf = nil
 
        /* Reserve a sequence number and set it in the payload */
-       newSubId := c.registry.ReserveSequenceNumber()
+       newSubId, isIdValid := c.registry.ReserveSequenceNumber()
+       if isIdValid != true {
+               xapp.Logger.Error("SubReq: Failed to reserve sequence number. Dropping this msg. SubId: %v, Xid: %s",params.SubId, params.Xid)
+               return 
+       }
 
-       _, err = c.e2ap.SetSubscriptionRequestSequenceNumber(params.Payload, newSubId)
+       err := c.e2ap.SetSubscriptionRequestSequenceNumber(params.Payload, newSubId)
        if err != nil {
-               err = errors.New("Unable to set Subscription Sequence Number in Payload due to: " + err.Error())
+               xapp.Logger.Error("SubReq: Unable to set Sequence Number in Payload. Dropping this msg. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
                return
        }
 
        srcAddr, srcPort, err := c.rtmgrClient.SplitSource(params.Src)
        if err != nil {
-               xapp.Logger.Error("Failed to update routing-manager about the subscription request with reason: %s", err)
+               xapp.Logger.Error("SubReq: Failed to update routing-manager. Dropping this msg. Err: %s, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
                return
        }
 
@@ -158,45 +173,175 @@ func (c *Control) handleSubscriptionRequest(params *xapp.RMRParams) (err error)
        xactValue := Transaction{*srcAddr, *srcPort, params}
        err = c.tracker.TrackTransaction(xactKey, xactValue)
        if err != nil {
-               xapp.Logger.Error("Failed to create a Subscription Request transaction record due to %v", err)
+               xapp.Logger.Error("SubReq: Failed to create transaction record. Dropping this msg. Err: %v SubId: %v, Xid: %s", err, params.SubId, params.Xid)
                return
        }
 
        /* Update routing manager about the new subscription*/
        subRouteAction := SubRouteInfo{CREATE, *srcAddr, *srcPort, newSubId}
-       go c.rtmgrClient.SubscriptionRequestUpdate()
-       SubscriptionReqChan <- subRouteAction
+       xapp.Logger.Info("SubReq: Starting routing manager update. SubId: %v, Xid: %s", params.SubId, params.Xid)
+       err = c.rtmgrClient.SubscriptionRequestUpdate(subRouteAction)
+       if err != nil {
+               xapp.Logger.Error("SubReq: Failed to update routing manager. Dropping this SubReq msg. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+               return
+       }
 
        // Setting new subscription ID in the RMR header
        params.SubId = int(newSubId)
-
-       xapp.Logger.Info("Generated ID: %v. Forwarding to E2 Termination...", int(newSubId))
-       c.rmrSend(params)
-       xapp.Logger.Debug("--- Debugging transaction table = %v", c.tracker.transactionTable)
+       xapp.Logger.Info("Forwarding SubReq to E2T: Mtype: %v, SubId: %v, Xid %s, Meid %v",params.Mtype, params.SubId, params.Xid, params.Meid)
+       err = c.rmrSend(params)
+       if err != nil {
+               xapp.Logger.Error("SubReq: Failed to send request to E2T %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       } /*else {
+               c.timerMap.StartTimer(newSubId, subReqTime, c.handleSubscriptionRequestTimer)
+       }*/
+       xapp.Logger.Debug("SubReq: Debugging transaction table = %v", c.tracker.transactionTable)
        return
 }
 
-func (c *Control) handleSubscriptionResponse(params *xapp.RMRParams) (err error) {
+func (c *Control) handleSubscriptionResponse(params *xapp.RMRParams) {
+       xapp.Logger.Info("SubResp received from Src: %s, Mtype: %v, SubId: %v, Meid: %v",params.Src, params.Mtype, params.SubId, params.Meid)
+       xapp.Rmr.Free(params.Mbuf)
+       params.Mbuf = nil
+
        payloadSeqNum, err := c.e2ap.GetSubscriptionResponseSequenceNumber(params.Payload)
        if err != nil {
-               err = errors.New("Unable to get Subscription Sequence Number from Payload due to: " + err.Error())
+               xapp.Logger.Error("SubResp: Unable to get Sequence Number from Payload. Dropping this msg. Err: %v, SubId: %v", err, params.SubId)
                return
        }
-       xapp.Logger.Info("Subscription Response Received. RMR SUBSCRIPTION_ID: %v | PAYLOAD SEQUENCE_NUMBER: %v", params.SubId, payloadSeqNum)
+       xapp.Logger.Info("SubResp: Received payloadSeqNum: %v",payloadSeqNum)
+
        if !c.registry.IsValidSequenceNumber(payloadSeqNum) {
-               err = errors.New("Unknown Subscription ID: " + strconv.Itoa(int(payloadSeqNum)) + " in Subscritpion Response. Message discarded.")
+               xapp.Logger.Error("SubResp: Unknown payloadSeqNum. Dropping this msg. PayloadSeqNum: %v, SubId: %v", payloadSeqNum, params.SubId)               
                return
        }
+
+//     c.timerMap.StopTimer(payloadSeqNum)
+
        c.registry.setSubscriptionToConfirmed(payloadSeqNum)
-       xapp.Logger.Info("Subscription Response Registered. Forwarding to Requestor...")
-       transaction, err := c.tracker.completeTransaction(payloadSeqNum, CREATE)
+       var transaction Transaction
+       transaction, err = c.tracker.RetriveTransaction(payloadSeqNum, CREATE)
+       if err != nil {
+               xapp.Logger.Error("SubResp: Failed to retrive transaction record. Dropping this msg. Err: %V, SubId: %v", err, params.SubId)
+               return
+       }
+       xapp.Logger.Info("SubResp: SubId: %v, from address: %v:%v. Retrieved old subId", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
+
+    params.SubId = int(payloadSeqNum)
+    params.Xid = transaction.OrigParams.Xid
+       
+       xapp.Logger.Info("SubResp: Forwarding Subscription Response to xApp Mtype: %v, SubId: %v, Meid: %v",params.Mtype, params.SubId, params.Meid)
+       err = c.rmrReplyToSender(params)
+       if err != nil {
+               xapp.Logger.Error("SubResp: Failed to send response to xApp. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       }
+
+       xapp.Logger.Info("SubResp: SubId: %v, from address: %v:%v. Deleting transaction record", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
+       transaction, err = c.tracker.completeTransaction(payloadSeqNum, CREATE)
+       if err != nil {
+               xapp.Logger.Error("SubResp: Failed to delete transaction record. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+               return
+       }
+       return
+}
+
+func (c *Control) handleSubscriptionFailure(params *xapp.RMRParams) {
+       xapp.Logger.Info("SubFail received from Src: %s, Mtype: %v, SubId: %v, Meid: %v",params.Src, params.Mtype, params.SubId, params.Meid)
+       xapp.Rmr.Free(params.Mbuf)
+       params.Mbuf = nil
+
+       payloadSeqNum, err := c.e2ap.GetSubscriptionFailureSequenceNumber(params.Payload)
+       if err != nil {
+               xapp.Logger.Error("SubFail: Unable to get Sequence Number from Payload. Dropping this msg. Err: %v, SubId: %v", err, params.SubId)
+               return
+       }
+       xapp.Logger.Info("SubFail: Received payloadSeqNum: %v", payloadSeqNum)
+
+//     c.timerMap.StopTimer(payloadSeqNum)
+
+       var transaction Transaction
+       transaction, err = c.tracker.RetriveTransaction(payloadSeqNum, CREATE)
+       if  err != nil {
+               xapp.Logger.Error("SubFail: Failed to retrive transaction record. Dropping this msg. Err: %v, SubId: %v: %s", err, params.SubId)
+               return
+       }
+       xapp.Logger.Info("SubFail: SubId: %v, from address: %v:%v. Forwarding response to xApp", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
+
+       params.SubId = int(payloadSeqNum)
+       params.Xid = transaction.OrigParams.Xid
+
+       xapp.Logger.Info("Forwarding SubFail to xApp: Mtype: %v, SubId: %v, Xid: %v, Meid: %v",params.Mtype, params.SubId, params.Xid, params.Meid)
+       err = c.rmrReplyToSender(params)
+       if err != nil {
+               xapp.Logger.Error("Failed to send response to xApp. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       }
+
+       time.Sleep(3 * time.Second)
+
+       xapp.Logger.Info("SubFail: Starting routing manager update. SubId: %v, Xid: %s", params.SubId, params.Xid)
+       subRouteAction := SubRouteInfo{CREATE, transaction.XappInstanceAddress, transaction.XappPort, payloadSeqNum}
+       err = c.rtmgrClient.SubscriptionRequestUpdate(subRouteAction)
+       if err != nil {
+               xapp.Logger.Error("SubFail: Failed to update routing manager. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       }
+
+       xapp.Logger.Info("SubFail: Deleting trancaction record. SubId: %v, Xid: %s", params.SubId, params.Xid)
+       if c.registry.releaseSequenceNumber(payloadSeqNum) {
+               transaction, err = c.tracker.completeTransaction(payloadSeqNum, CREATE)
+               if err != nil {
+                       xapp.Logger.Error("SubFail: Failed to delete transaction record. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+                       return
+               }
+       } else {
+               xapp.Logger.Error("SubFail: Failed to release sequency number. SubId: %v, Xid: %s", params.SubId, params.Xid)
+               return
+       }
+       return
+}
+
+func (c *Control) handleSubscriptionRequestTimer(subId uint16) {
+       xapp.Logger.Info("Subscription Request timer expired. SubId: %v",subId)
+/*     
+       transaction, err := c.tracker.completeTransaction(subId, CREATE)
        if err != nil {
                xapp.Logger.Error("Failed to delete a Subscription Request transaction record due to %v", err)
                return
        }
-       xapp.Logger.Info("Subscription ID: %v, from address: %v:%v. Forwarding to E2 Termination...", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
-       params.Mbuf = transaction.OrigParams.Mbuf
-       c.rmrReplyToSender(params)
+       xapp.Logger.Info("SubId: %v, Xid %v, Meid: %v",subId, transaction.OrigParams.Xid, transaction.OrigParams.Meid)
+
+       var params xapp.RMRParams
+       params.Mtype = 12012 //xapp.RICMessageTypes["RIC_SUB_FAILURE"]
+       params.SubId = int(subId)
+       params.Meid = transaction.OrigParams.Meid
+       params.Xid = transaction.OrigParams.Xid
+       payload := []byte("40C9408098000003EA7E00050000010016EA6300020021EA6E00808180EA6F000400000000EA6F000400010040EA6F000400020080EA6F0004000300C0EA6F000400040100EA6F000400050140EA6F000400060180EA6F0004000701C0EA6F000400080200EA6F000400090240EA6F0004000A0280EA6F0004000B02C0EA6F0004000C0300EA6F0004000D0340EA6F0004000E0380EA6F0004000F03C0")
+       params.PayloadLen = len(payload)
+       params.Payload = payload
+
+       xapp.Logger.Info("Forwarding Subscription Failure to xApp: Mtype: %v, SubId: %v, Xid: %s, Meid: %v",params.Mtype, params.SubId, params.Xid, params.Meid)
+       err = c.rmrReplyToSender(&params)
+       if err != nil {
+               xapp.Logger.Error("Failed to send response to requestor %v. SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       }
+*/
+/*
+       time.Sleep(3 * time.Second)
+
+       xapp.Logger.Info("Subscription ID: %v, from address: %v:%v. Deleting transaction record", int(subId), transaction.XappInstanceAddress, transaction.XappPort)
+
+       xapp.Logger.Info("Starting routing manager update")
+       subRouteAction := SubRouteInfo{DELETE, transaction.XappInstanceAddress, transaction.XappPort, payloadSeqNum}
+       c.rtmgrClient.SubscriptionRequestUpdate(subRouteAction)
+
+       xapp.Logger.Info("Deleting trancaction record")
+       if c.registry.releaseSequenceNumber(payloadSeqNum) {
+               transaction, err = c.tracker.completeTransaction(payloadSeqNum, CREATE)
+               if err != nil {
+                       xapp.Logger.Error("Failed to delete a Subscription Request transaction record due to %v", err)
+                       return
+               }
+       }
+*/
        return
 }
 
@@ -204,6 +349,7 @@ func (act Action) String() string {
        actions := [...]string{
                "CREATE",
                "MERGE",
+               "NONE",
                "DELETE",
        }
 
@@ -222,30 +368,44 @@ func (act Action) valid() bool {
        }
 }
 
-func (c *Control) handleSubscriptionDeleteRequest(params *xapp.RMRParams) (err error) {
+func (c *Control) handleSubscriptionDeleteRequest(params *xapp.RMRParams) {
+       xapp.Logger.Info("SubDelReq received from Src: %s, Mtype: %v, SubId: %v, Xid: %s, Meid: %v",params.Src, params.Mtype, params.SubId, params.Xid, params.Meid)
+       xapp.Rmr.Free(params.Mbuf)
+       params.Mbuf = nil
+
        payloadSeqNum, err := c.e2ap.GetSubscriptionDeleteRequestSequenceNumber(params.Payload)
        if err != nil {
-               err = errors.New("Unable to get Subscription Sequence Number from Payload due to: " + err.Error())
+               xapp.Logger.Error("SubDelReq: Unable to get Sequence Number from Payload. Dropping this msg. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
                return
        }
-       xapp.Logger.Info("Subscription Delete Request Received. RMR SUBSCRIPTION_ID: %v | PAYLOAD SEQUENCE_NUMBER: %v", params.SubId, payloadSeqNum)
+       xapp.Logger.Info("SubDelReq: Received payloadSeqNum: %v", payloadSeqNum)
+
        if c.registry.IsValidSequenceNumber(payloadSeqNum) {
                c.registry.deleteSubscription(payloadSeqNum)
-               trackErr := c.trackDeleteTransaction(params, payloadSeqNum)
-               if trackErr != nil {
-                       xapp.Logger.Error("Failed to create a Subscription Delete Request transaction record due to %v", trackErr)
-                       return trackErr
+               err = c.trackDeleteTransaction(params, payloadSeqNum)
+               if err != nil {
+                       xapp.Logger.Error("SubDelReq: Failed to create transaction record. Dropping this msg. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+                       return
                }
+       } else {
+               xapp.Logger.Error("SubDelReq: Not valid sequence number. Dropping this msg. SubId: %v, Xid: %s", params.SubId, params.Xid)
+               return
        }
-       xapp.Logger.Info("Subscription ID: %v. Forwarding to E2 Termination...", int(payloadSeqNum))
+       
+       xapp.Logger.Info("SubDelReq: Forwarding Request to E2T. Mtype: %v, SubId: %v, Xid: %s, Meid: %v",params.Mtype, params.SubId, params.Xid, params.Meid)
        c.rmrSend(params)
+       if err != nil {
+               xapp.Logger.Error("SubDelReq: Failed to send request to E2T. Err %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       } /*else {
+               c.timerMap.StartTimer(payloadSeqNum, SubDelReqTime, c.handleSubscriptionDeleteRequestTimer)
+       }*/
        return
 }
 
 func (c *Control) trackDeleteTransaction(params *xapp.RMRParams, payloadSeqNum uint16) (err error) {
        srcAddr, srcPort, err := c.rtmgrClient.SplitSource(params.Src)
        if err != nil {
-               xapp.Logger.Error("Failed to update routing-manager about the subscription delete request with reason: %s", err)
+               xapp.Logger.Error("SubDelReq: Failed to update routing-manager. Err: %s, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
        }
        xactKey := TransactionKey{payloadSeqNum, DELETE}
        xactValue := Transaction{*srcAddr, *srcPort, params}
@@ -254,27 +414,156 @@ func (c *Control) trackDeleteTransaction(params *xapp.RMRParams, payloadSeqNum u
 }
 
 func (c *Control) handleSubscriptionDeleteResponse(params *xapp.RMRParams) (err error) {
+       xapp.Logger.Info("SubDelResp received from Src: %s, Mtype: %v, SubId: %v, Meid: %v",params.Src, params.Mtype, params.SubId, params.Meid)
+       xapp.Rmr.Free(params.Mbuf)
+       params.Mbuf = nil
+
        payloadSeqNum, err := c.e2ap.GetSubscriptionDeleteResponseSequenceNumber(params.Payload)
        if err != nil {
-               err = errors.New("Unable to get Subscription Sequence Number from Payload due to: " + err.Error())
+               xapp.Logger.Error("SubDelResp: Unable to get Sequence Number from Payload. Dropping this msg. Err: %, SubId: %v", err, params.SubId)
+               return
+       }
+       xapp.Logger.Info("SubDelResp: Received payloadSeqNum: %v", payloadSeqNum)
+
+//     c.timerMap.StopTimer(payloadSeqNum)
+       
+       var transaction Transaction
+       transaction, err = c.tracker.RetriveTransaction(payloadSeqNum, DELETE)
+       if  err != nil {
+               xapp.Logger.Error("SubDelResp: Failed to retrive transaction record. Dropping this msg. Err: %v, SubId: %v", err, params.SubId)
                return
        }
-       var transaction, _ = c.tracker.RetriveTransaction(payloadSeqNum, DELETE)
+       xapp.Logger.Info("SubDelResp: SubId: %v, from address: %v:%v. Forwarding response to xApp", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
+
+    params.SubId = int(payloadSeqNum)
+    params.Xid = transaction.OrigParams.Xid
+       xapp.Logger.Info("Forwarding SubDelResp to xApp: Mtype: %v, SubId: %v, Xid: %v, Meid: %v",params.Mtype, params.SubId, params.Xid, params.Meid)
+       err = c.rmrReplyToSender(params)
+       if err != nil {
+               xapp.Logger.Error("SubDelResp: Failed to send response to xApp. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+//             return
+       }
+
+       time.Sleep(3 * time.Second)
+
+       xapp.Logger.Info("SubDelResp: Starting routing manager update. SubId: %v, Xid: %s", params.SubId, params.Xid)
        subRouteAction := SubRouteInfo{DELETE, transaction.XappInstanceAddress, transaction.XappPort, payloadSeqNum}
-       go c.rtmgrClient.SubscriptionRequestUpdate()
-       SubscriptionReqChan <- subRouteAction
+       err = c.rtmgrClient.SubscriptionRequestUpdate(subRouteAction)
+       if err != nil {
+               xapp.Logger.Error("SubDelResp: Failed to update routing manager. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+               return
+       }
 
-       xapp.Logger.Info("Subscription Delete Response Received. RMR SUBSCRIPTION_ID: %v | PAYLOAD SEQUENCE_NUMBER: %v", params.SubId, payloadSeqNum)
+       xapp.Logger.Info("SubDelResp: Deleting trancaction record. SubId: %v, Xid: %s", params.SubId, params.Xid)
        if c.registry.releaseSequenceNumber(payloadSeqNum) {
                transaction, err = c.tracker.completeTransaction(payloadSeqNum, DELETE)
                if err != nil {
-                       xapp.Logger.Error("Failed to delete a Subscription Delete Request transaction record due to %v", err)
+                       xapp.Logger.Error("SubDelResp: Failed to delete transaction record. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
                        return
                }
-               xapp.Logger.Info("Subscription ID: %v, from address: %v:%v. Forwarding to E2 Termination...", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
-               //params.Src = xAddress + ":" + strconv.Itoa(int(xPort))
-               params.Mbuf = transaction.OrigParams.Mbuf
-               c.rmrReplyToSender(params)
+       } else {
+               xapp.Logger.Error("SubDelResp: Failed to release sequency number. SubId: %v, Xid: %s", params.SubId, params.Xid)
+               return
        }
        return
 }
+
+func (c *Control) handleSubscriptionDeleteFailure(params *xapp.RMRParams) {
+       xapp.Logger.Info("SubDelFail received from Src: %s, Mtype: %v, SubId: %v, Meid: %v",params.Src, params.Mtype, params.SubId, params.Meid)
+       xapp.Rmr.Free(params.Mbuf)
+       params.Mbuf = nil
+
+       payloadSeqNum, err := c.e2ap.GetSubscriptionDeleteFailureSequenceNumber(params.Payload)
+       if err != nil {
+               xapp.Logger.Error("SubDelFail: Unable to get Sequence Number from Payload. Dropping this msg. Err: %, SubId: %v", err, params.SubId)
+               return
+       }
+       xapp.Logger.Info("SubDelFail: Received payloadSeqNum: %v", payloadSeqNum)
+
+//     c.timerMap.StopTimer(payloadSeqNum)
+
+       var transaction Transaction
+       transaction, err = c.tracker.RetriveTransaction(payloadSeqNum, DELETE)
+       if  err != nil {
+               xapp.Logger.Error("SubDelFail: Failed to retrive transaction record. Dropping msg. Err %v, SubId: %v", err, params.SubId)
+               return
+       }
+       xapp.Logger.Info("SubDelFail: SubId: %v, from address: %v:%v. Forwarding response to xApp", int(payloadSeqNum), transaction.XappInstanceAddress, transaction.XappPort)
+
+    params.SubId = int(payloadSeqNum)
+    params.Xid = transaction.OrigParams.Xid
+       xapp.Logger.Info("Forwarding SubDelFail to xApp: Mtype: %v, SubId: %v, Xid: %v, Meid: %v",params.Mtype, params.SubId, params.Xid, params.Meid)
+       err = c.rmrReplyToSender(params)
+       if err != nil {
+               xapp.Logger.Error("Failed to send SubDelFail to xApp. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+//             return
+       }
+
+       time.Sleep(3 * time.Second)
+
+       xapp.Logger.Info("SubDelFail: Starting routing manager update. SubId: %v, Xid: %s", params.SubId, params.Xid)
+       subRouteAction := SubRouteInfo{DELETE, transaction.XappInstanceAddress, transaction.XappPort, payloadSeqNum}
+       c.rtmgrClient.SubscriptionRequestUpdate(subRouteAction)
+       if err != nil {
+               xapp.Logger.Error("SubDelFail: Failed to update routing manager. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+               return
+       }
+
+       xapp.Logger.Info("SubDelFail: Deleting trancaction record. SubId: %v, Xid: %s", params.SubId, params.Xid)
+       if c.registry.releaseSequenceNumber(payloadSeqNum) {
+               transaction, err = c.tracker.completeTransaction(payloadSeqNum, DELETE)
+               if err != nil {
+                       xapp.Logger.Error("SubDelFail: Failed to delete transaction record. Err: %v, SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+                       return
+               }
+       } else {
+               xapp.Logger.Error("SubDelFail: Failed to release sequency number. SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+               return
+       }
+       return
+}
+
+func (c *Control) handleSubscriptionDeleteRequestTimer(subId uint16) {
+       xapp.Logger.Info("Subscription Delete Request timer expired. SubId: %v",subId)
+/*     
+       transaction, err := c.tracker.completeTransaction(subId, DELETE)
+       if err != nil {
+               xapp.Logger.Error("Failed to delete a Subscription Delete Request transaction record due to %v", err)
+               return
+       }
+       xapp.Logger.Info("SubId: %v, Xid %v, Meid: %v",subId, transaction.OrigParams.Xid, transaction.OrigParams.Meid)
+
+       var params xapp.RMRParams
+       params.Mtype = 12022 //xapp.RICMessageTypes["RIC_SUB_DEL_FAILURE"]
+       params.SubId = int(subId)
+       params.Meid = transaction.OrigParams.Meid
+       params.Xid = transaction.OrigParams.Xid
+       payload := []byte("40CA4018000003EA7E00050000010016EA6300020021EA74000200C0")
+       params.PayloadLen = len(payload)
+       params.Payload = payload
+
+       xapp.Logger.Info("Forwarding Subscription Delete Failure to xApp: Mtype: %v, SubId: %v, Xid: %s, Meid: %v",params.Mtype, params.SubId, params.Xid, params.Meid)
+       err = c.rmrReplyToSender(&params)
+       if err != nil {
+               xapp.Logger.Error("Failed to send response to requestor %v. SubId: %v, Xid: %s", err, params.SubId, params.Xid)
+       }
+*/     
+/*
+       time.Sleep(3 * time.Second)
+       xapp.Logger.Info("Subscription ID: %v, from address: %v:%v. Deleting transaction record", int(subId), transaction.XappInstanceAddress, transaction.XappPort)
+
+       xapp.Logger.Info("Starting routing manager update")
+       subRouteAction := SubRouteInfo{DELETE, transaction.XappInstanceAddress, transaction.XappPort, payloadSeqNum}
+       c.rtmgrClient.SubscriptionRequestUpdate(subRouteAction)
+
+       xapp.Logger.Info("Deleting trancaction record")
+       if c.registry.releaseSequenceNumber(payloadSeqNum) {
+               transaction, err = c.tracker.completeTransaction(payloadSeqNum, DELETE)
+               if err != nil {
+                       xapp.Logger.Error("Failed to delete a Subscription Delete Request transaction record due to %v", err)
+                       return
+               }
+       }
+*/
+       return
+       }