Merge "NONRTRIC - Implement DMaaP mediator producer service in Java"
[nonrtric.git] / dmaap-adaptor-java / src / main / java / org / oran / dmaapadapter / tasks / KafkaJobDataConsumer.java
1 /*-
2  * ========================LICENSE_START=================================
3  * O-RAN-SC
4  * %%
5  * Copyright (C) 2021 Nordix Foundation
6  * %%
7  * Licensed under the Apache License, Version 2.0 (the "License");
8  * you may not use this file except in compliance with the License.
9  * You may obtain a copy of the License at
10  *
11  *      http://www.apache.org/licenses/LICENSE-2.0
12  *
13  * Unless required by applicable law or agreed to in writing, software
14  * distributed under the License is distributed on an "AS IS" BASIS,
15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16  * See the License for the specific language governing permissions and
17  * limitations under the License.
18  * ========================LICENSE_END===================================
19  */
20
21 package org.oran.dmaapadapter.tasks;
22
23 import lombok.Getter;
24
25 import org.oran.dmaapadapter.repository.Job;
26 import org.slf4j.Logger;
27 import org.slf4j.LoggerFactory;
28 import org.springframework.http.MediaType;
29 import org.springframework.web.reactive.function.client.WebClientResponseException;
30
31 import reactor.core.Disposable;
32 import reactor.core.publisher.Flux;
33 import reactor.core.publisher.Mono;
34 import reactor.core.publisher.Sinks.Many;
35
36 /**
37  * The class streams data from a multi cast sink and sends the data to the Job
38  * owner via REST calls.
39  */
40 @SuppressWarnings("squid:S2629") // Invoke method(s) only conditionally
41 public class KafkaJobDataConsumer {
42     private static final Logger logger = LoggerFactory.getLogger(KafkaJobDataConsumer.class);
43     @Getter
44     private final Job job;
45     private Disposable subscription;
46     private final ErrorStats errorStats = new ErrorStats();
47
48     private class ErrorStats {
49         private int consumerFaultCounter = 0;
50         private boolean kafkaError = false; // eg. overflow
51
52         public void handleOkFromConsumer() {
53             this.consumerFaultCounter = 0;
54         }
55
56         public void handleException(Throwable t) {
57             if (t instanceof WebClientResponseException) {
58                 ++this.consumerFaultCounter;
59             } else {
60                 kafkaError = true;
61             }
62         }
63
64         public boolean isItHopeless() {
65             final int STOP_AFTER_ERRORS = 5;
66             return kafkaError || consumerFaultCounter > STOP_AFTER_ERRORS;
67         }
68
69         public void resetKafkaErrors() {
70             kafkaError = false;
71         }
72     }
73
74     public KafkaJobDataConsumer(Job job) {
75         this.job = job;
76     }
77
78     public synchronized void start(Many<String> input) {
79         stop();
80         this.errorStats.resetKafkaErrors();
81         this.subscription = getMessagesFromKafka(input, job) //
82                 .flatMap(this::postToClient, job.getParameters().getMaxConcurrency()) //
83                 .onErrorResume(this::handleError) //
84                 .subscribe(this::handleConsumerSentOk, //
85                         t -> stop(), //
86                         () -> logger.warn("KafkaMessageConsumer stopped jobId: {}", job.getId()));
87     }
88
89     private Mono<String> postToClient(String body) {
90         logger.debug("Sending to consumer {} {} {}", job.getId(), job.getCallbackUrl(), body);
91         MediaType contentType = this.job.isBuffered() ? MediaType.APPLICATION_JSON : null;
92         return job.getConsumerRestClient().post("", body, contentType);
93     }
94
95     public synchronized void stop() {
96         if (this.subscription != null) {
97             subscription.dispose();
98             subscription = null;
99         }
100     }
101
102     public synchronized boolean isRunning() {
103         return this.subscription != null;
104     }
105
106     private Flux<String> getMessagesFromKafka(Many<String> input, Job job) {
107         Flux<String> result = input.asFlux() //
108                 .filter(job::isFilterMatch);
109
110         if (job.isBuffered()) {
111             result = result.map(this::quote) //
112                     .bufferTimeout( //
113                             job.getParameters().getBufferTimeout().getMaxSize(), //
114                             job.getParameters().getBufferTimeout().getMaxTime()) //
115                     .map(Object::toString);
116         }
117         return result;
118     }
119
120     private String quote(String str) {
121         final String q = "\"";
122         return q + str.replace(q, "\\\"") + q;
123     }
124
125     private Mono<String> handleError(Throwable t) {
126         logger.warn("exception: {} job: {}", t.getMessage(), job.getId());
127         this.errorStats.handleException(t);
128         if (this.errorStats.isItHopeless()) {
129             return Mono.error(t);
130         } else {
131             return Mono.empty(); // Ignore
132         }
133     }
134
135     private void handleConsumerSentOk(String data) {
136         this.errorStats.handleOkFromConsumer();
137     }
138
139 }