217a07238dc5b2171d07cf0495eec3a9755a9bba
[nonrtric.git] / dmaap-adaptor-java / src / main / java / org / oran / dmaapadapter / tasks / DmaapTopicConsumer.java
1 /*-
2  * ========================LICENSE_START=================================
3  * O-RAN-SC
4  * %%
5  * Copyright (C) 2021 Nordix Foundation
6  * %%
7  * Licensed under the Apache License, Version 2.0 (the "License");
8  * you may not use this file except in compliance with the License.
9  * You may obtain a copy of the License at
10  *
11  *      http://www.apache.org/licenses/LICENSE-2.0
12  *
13  * Unless required by applicable law or agreed to in writing, software
14  * distributed under the License is distributed on an "AS IS" BASIS,
15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16  * See the License for the specific language governing permissions and
17  * limitations under the License.
18  * ========================LICENSE_END===================================
19  */
20
21 package org.oran.dmaapadapter.tasks;
22
23 import java.time.Duration;
24
25 import org.oran.dmaapadapter.clients.AsyncRestClient;
26 import org.oran.dmaapadapter.clients.AsyncRestClientFactory;
27 import org.oran.dmaapadapter.configuration.ApplicationConfig;
28 import org.oran.dmaapadapter.repository.InfoType;
29 import org.oran.dmaapadapter.repository.Jobs;
30 import org.slf4j.Logger;
31 import org.slf4j.LoggerFactory;
32 import org.springframework.http.MediaType;
33
34 import reactor.core.publisher.Flux;
35 import reactor.core.publisher.FluxSink;
36 import reactor.core.publisher.Mono;
37
38 /**
39  * The class fetches incoming requests from DMAAP and sends them further to the
40  * consumers that has a job for this InformationType.
41  */
42 public class DmaapTopicConsumer {
43     private static final Duration TIME_BETWEEN_DMAAP_RETRIES = Duration.ofSeconds(10);
44     private static final Logger logger = LoggerFactory.getLogger(DmaapTopicConsumer.class);
45
46     private final AsyncRestClient dmaapRestClient;
47     private final InfiniteFlux infiniteSubmitter = new InfiniteFlux();
48     protected final ApplicationConfig applicationConfig;
49     protected final InfoType type;
50     protected final Jobs jobs;
51
52     /** Submits new elements until stopped */
53     private static class InfiniteFlux {
54         private FluxSink<Integer> sink;
55         private int counter = 0;
56
57         public synchronized Flux<Integer> start() {
58             stop();
59             return Flux.create(this::next).doOnRequest(this::onRequest);
60         }
61
62         public synchronized void stop() {
63             if (this.sink != null) {
64                 this.sink.complete();
65                 this.sink = null;
66             }
67         }
68
69         void onRequest(long no) {
70             logger.debug("InfiniteFlux.onRequest {}", no);
71             for (long i = 0; i < no; ++i) {
72                 sink.next(counter++);
73             }
74         }
75
76         void next(FluxSink<Integer> sink) {
77             logger.debug("InfiniteFlux.next");
78             this.sink = sink;
79             sink.next(counter++);
80         }
81     }
82
83     public DmaapTopicConsumer(ApplicationConfig applicationConfig, InfoType type, Jobs jobs) {
84         AsyncRestClientFactory restclientFactory = new AsyncRestClientFactory(applicationConfig.getWebClientConfig());
85         this.dmaapRestClient = restclientFactory.createRestClientNoHttpProxy("");
86         this.applicationConfig = applicationConfig;
87         this.type = type;
88         this.jobs = jobs;
89     }
90
91     public void start() {
92         infiniteSubmitter.start() //
93                 .flatMap(notUsed -> getFromMessageRouter(getDmaapUrl()), 1) //
94                 .flatMap(this::pushDataToConsumers) //
95                 .subscribe(//
96                         null, //
97                         throwable -> logger.error("DmaapMessageConsumer error: {}", throwable.getMessage()), //
98                         () -> logger.warn("DmaapMessageConsumer stopped {}", type.getId())); //
99
100     }
101
102     private String getDmaapUrl() {
103         return this.applicationConfig.getDmaapBaseUrl() + type.getDmaapTopicUrl();
104     }
105
106     private Mono<String> handleDmaapErrorResponse(Throwable t) {
107         logger.debug("error from DMAAP {} {}", t.getMessage(), type.getDmaapTopicUrl());
108         return Mono.delay(TIME_BETWEEN_DMAAP_RETRIES) //
109                 .flatMap(notUsed -> Mono.empty());
110     }
111
112     private Mono<String> getFromMessageRouter(String topicUrl) {
113         logger.trace("getFromMessageRouter {}", topicUrl);
114         return dmaapRestClient.get(topicUrl) //
115                 .filter(body -> body.length() > 3) // DMAAP will return "[]" sometimes. That is thrown away.
116                 .doOnNext(message -> logger.debug("Message from DMAAP topic: {} : {}", topicUrl, message)) //
117                 .onErrorResume(this::handleDmaapErrorResponse); //
118     }
119
120     private Mono<String> handleConsumerErrorResponse(Throwable t) {
121         logger.warn("error from CONSUMER {}", t.getMessage());
122         return Mono.empty();
123     }
124
125     protected Flux<String> pushDataToConsumers(String body) {
126         logger.debug("Received data {}", body);
127         final int CONCURRENCY = 50;
128
129         // Distibute the body to all jobs for this type
130         return Flux.fromIterable(this.jobs.getJobsForType(this.type)) //
131                 .doOnNext(job -> logger.debug("Sending to consumer {}", job.getCallbackUrl())) //
132                 .flatMap(job -> job.getConsumerRestClient().post("", body, MediaType.APPLICATION_JSON), CONCURRENCY) //
133                 .onErrorResume(this::handleConsumerErrorResponse);
134     }
135 }