Spring reactor 2.1.2 (netty 0.8.4) Mono.zip readTimeoutException 문제

web/Spring|2020. 7. 12. 20:34

 

Mono zip


각 Mono 처리 스레드를 병렬로 실행하고 이를 묶어서 사용할 수 있는게 Mono.zip이다. 

근데 Mono zip에서 병렬로 실행되는 작업 중 하나가 empty 또는 error가 발생 되면 바로 error 또는 complete를 내뱉게 되어있다. 하지만 각 Mono 구독 작업에 error와 empty 발생 시 문제에 대해 fallback 처리를 해주면 에러가 발생하더라도 그 로직을 타게 되어있다. 

 

하지만 2.1.2(netty 0.8.4) 버전을 사용하고 있을 때 호출 체인에서 첫 번째 요청의 실패 이후에 두 번째 요청이 정상적으로 이루어 지지 않아서 readTimeout이 발생되는 문제를 경험하였습니다.

 

이 문제를 해결하기 위해서 알아보던 중 2.1.2버전에 문제가 있는 것을 알게 되어 테스트를 해봤다.

 

 

테스트


아래 Mono.zip을 보면 두 개의 Mono 구독 작업을 병렬로 진행하도록 지정해놨고 각 작업 종료 후 response에 대한 부분을 출력하도록 해놨다.

public Mono<WedulResponse> circuitTest(WedulRequest request) {
    return Mono.zip(
        wedulClient.isWedulExist(request)
            .doOnError(e -> log.error("service error", e))
            .defaultIfEmpty(WedulResponse.builder().type("Error Return").build())
            .onErrorReturn(WedulResponse.builder().type("Error Return").build()),
        wedulTestClient.isWedulTestExist(request)
    ).map(
        d -> {
            System.out.println(d.getT2().getPage());
            System.out.println(d.getT1().getType());
            return WedulResponse.builder().isExist(d.getT1().isExist()).build();
        }
    ).doOnError(e -> log.error("error {}", e));
}

이 때 첫 번째 요청은 error가 발생하거나 empty 응답이 발생했을 때 기본값을 주도록 하고 socket timeout의 값은 1ms로 극단적으로 무조건 타임아웃이 나도록 지정해 놨다.

 

그리고 두 번째 요청http://wedul.space에서 사용중인 정상적인 api를 호출하도록 하였고 socket timeout 시간도 3000ms로 아주 넉넉하게 주었고 실제로 타임아웃이 날 이유가 없다.

 

그럼 정상적인 테스트 결과라고 한다면 아래와 같이 정상적인 응답이 와야한다. (page는 무조건 5로 나오게 지정해놨다.)

5
Error Return

 

 

실제로 응답은 예상된 대로 잘 왔다. 하지만 간혈적으로 아래와 같은 readTimeout exception이 별도로 계속 떨어졌다.

2020-07-12 20:17:30.998 ERROR 12214 --- [ctor-http-nio-3] r.netty.http.client.HttpClientConnect    : [id: 0x029e73cc, L:/127.0.0.1:63695 - R:localhost/127.0.0.1:8081] The connection observed an error

io.netty.handler.timeout.ReadTimeoutException: null

 

그래서 왜 그럴까 하고 검색을 해보니 2.1.2버전에 문제가 있어서 버전업을 하면 해결된다고 들었다. 

https://stackoverflow.com/questions/56048216/spring-webflux-timeout-with-multiple-clients

 

Spring webflux timeout with multiple clients

I have a service that interacts with a couple of other services. So I created separate webclients for them ( because of different basepaths). I had set timeouts for them individually based on https://

stackoverflow.com

 

그래서 버전을 2.2.4버전으로 업데이트하고 다시 테스트 해봤다. 실제로 아까 발생했던 readTimeoutException 문제는 더 발생하지 않았다.

 

 

실제 코드가 어떤 부분이 문제였는지는 찾지 못했지만 그래도 문제는 해결되어서 다행이다.

 

테스트 코드

https://github.com/weduls/circuit_breaker_test

댓글()

클린코드 9장 (클래스), 10장 (시스템), 11장(창발성), 12장(동시성)

JAVA/클린코드|2020. 7. 10. 09:14

클래스


  • 내부에서 동작하는 변수나 유틸리티는 protected로 선언하여 테스트에 사용하기도 한다.
  • 클래스에 기본 규칙은 작게 만드는 것. 많을수록 클래스에 대한 책임이 너무 커진다.
    SPR을 지키기 위해 클래스가 너무 많아지면 사용에 더 어렵다고 우려할 수 있으나 하나의 여러 책임을 가지고 있는 클래스를 사용하는 것 보다 더 직관적 이므로 사용하기 더 편하다.
  • 클래스 내부에 인스턴스 변수가 많아 진다는건 결국 클래스 내부에 함수와 인스턴스 변수들 사이에 응집도가 높아진다는 뜻이다. 이럴 수록 클래스를 분리해야 한다는 걸 의미한다.
  • 긴 함수를 쪼갠다 → 작은 함수 여러 개로 만든다. → 몇몇 변수와 몇몇 함수만 사용 되는 경우가 보이면 클래스로 쪼갠다.
  • 특정 기능이 변경 될 때 마다 코드가 변경되어야 하는 함수가 있다고 한다면 이는 SRP를 위반하는 행위이다. 그럴 경우 인터페이스를 만들어 기능 마다 필요한 코드를 구현하도록 하면 SRP와 OCP를 모두 위반하지 않을 수 있다.
  • 인터페이스를 선언하고 구현 클래스를 사용하는 것이 깔끔한 경우도 있으나 특정 기능이 매번 바뀌어야 하는 경우에는 변경의 위험이 있을 수 있다. 예를 들어 상황에 따라서 호출하는 api가 변경될 수 있는 경우에는 구현 클래스 레벨에서 모두 할 것이 아니라 api를 호출하는 인터페이스를 전달 받아서 처리하는 것이 더 좋다.
public interface StockExchange {
	Money currentPrice(String symbol);
}

public Portfolio {
	private StockExchange stockExchange;
	public Portfolio (StockExchange stockExchange) {
		this.stockExchange = stockExchange;
	}

	//...
}

 

 

 

 

시스템


  • 모든 애플리케이션에서 가장 중요한 부분은 관심사 분리이다.
    아래와 같은 코드의 경우 Lazy Initialization 또는 Lazy Evaluation을 사용하여 실제 필요한 순간에 할당하여 사용할 수 있다는 장점이 있으나 테스트 할 때 런타임 시에 객체 생성 로직이 합쳐져 있어서 Mock 작업도 진행해 줘야 하고 정상적으로 생성 되는지도 테스트 해야하는 두 가지의 책임이 생기기에 이는 SRP를 위반하는 행위이다. 이처럼 시스템 설정 부분과 런타임 시 필요한 부분이 연동되어 있으면 안된다. 모듈화와 관심사 분리가 잘 고려되어야 한다.
public Service getService() {
	if (this.service == null) 
		this.service = new WedulServiceImpl();
	return this.service;
}
  • Main과 application은 서로 관심사가 분리되어 있어 main은 적절하게 객체를 생성하고 application은 그 것이 잘 생성되었다는 걸 가정하에 실행하도록 하여 시스템 설정과 실행을 분리하도록 한다.
  • 객체는 인스턴스로 만드는 책임을 지지 않고 이에 대한 책임은 main이나 특수 컨테이너 제공하는 것을 DI (의존성 주입)이라고 한다.
  • 시스템은 깨끗해야하고 깨끗하지 못한 아키텍처는 도메인 논리를 흐리며 기민성을 떨어뜨린다. 도메인 논리가 흐려지면 제품 품질이 떨이지고 버그가 숨어들기 쉬워지고 생산성이 떨어진다.
  • 시스템이든 모듈이든 실제로 돌아가는 가장 단순한 수단을 사용해야 한다는 사실을 명심하자.

 

 

 

창발성


설계 규칙 4가지

 

 

모든 테스트를 실행하라.

  • 테스트를 통해 의도대로 돌아가는지 확인하는 건 당연한 역할
  • 테스트를 진행하다 보면 설계 품질은 더불어서 상승한다.
  • 결합도가 높으면 테스트가 어렵기 때문에 테스트를 작성하면서 DIP, DI, 인터페이스, 추상화 등과 같은 도구를 사용해 결합도를 낮출 수 있다.
  • 완벽한 테스트 코드를 만들고 나면 코드를 수정하는 리팩토링 과정을 거친다 하더라도 검증이 잘 되기 때문에 기존 코드가 잘 동작하지 않을거라는 불안에서 벗어 날 수 있다. 그래서 장기적으로 보나 단기적으로 보나 테스트 코드는 중요하다.
  • 핵심은 응집도를 높이고, 결합도를 낮추고, 관심사를 분리하고, 시스템 관심사를 모듈로 나누고, 함수와 클래스 크기를 줄이고, 더 나은 이름을 선택하는 것.

 

중복을 없애라

  • 같은 기능을 여러곳에서 생성하는 건 수정이 있을 때 여러곳에 작업이 필요로 하다.
  • 중복을 해결 하기 위해서는 TEMPLATE METHOD 패턴을 참고하라.
// 중복으로 들어가는 코드는 추상 클래스 내부에서 정의하고 
// 개별적으로 사용되는 부분만 abstract 메소드 선언한 뒤, 그 코드들을 공용으로 쓰는 메소드를 만들어라.



// 직원들 임금을 정하는 템플릿 클래스
public abstract class Pay {

  public int salary() {
	return commonSalary() + ratingBouns();
  }

  public int commonSalary() {
	return 100000;
  }

  abstract protected int ratingBonus();
}

// 정규직 임금
public class regularPay extends Pay {

  @Override
  protected int ratingBonus() {
	return 12321;
  }
}

// 비정규직 임금
public class temporaryPay extends Pay {
  
  @Override
  protected int ratingBonus() {
	return 21251;
  }
}

 

의도를 표현하라.

  • 표준 명칭과 가식성 좋은 이름을 사용하고 함수와 클래스 크기등을 잘 조절하여 같은 동료가 이해하기 쉽게 작성하라.

 

클래스와 메서드의 수를 최소로 줄여라

  • 클래스와 메서드 수를 줄이기 위해 무조건 인터페이스먼저 선언하고 진행을 하거나 하는 습관도 좋다.
  • 중복을 제거하고 테스트케이스를 잘 만들어 나가서 클래스와 메서드의 수를 최대한으로 줄여보자.

 

 

 

동시성


  • 대량의 데이터를 동시에 실행시키면 단일로 실행시킬 때 보다 더욱 효율적이다.
  • 원칙적으로 각 서블릿 스레드는 다른 서블릿 스레드와 무관하게 자신만의 세상에서 돌아간다.
  • 동시성은 부하를 유발할 수 있고 복잡하며 버그가 발생할 시 재현이 어렵다.
  • 동시성을 방어하기 위해서는 우선 동작 단위를 작게 하여 SRP를 꼭 지켜야 한다.
  • 그리고 임계영역을 제한하고 그 임계영역을 최대한 작게 만들어서 다른 동작에 영향 없게 설계 해야 한다.
  • ConcurrentHashMap과 같은 다중 스레드 환경에서 안전한 라이브러리를 활용하라.
  • 동기화 코드를 실행할 시 알수 없는 에러가 발생할수도 있는데 이를 단순 일회성 오류라고 생각하지 말고 실패할 수 있는 모든 경우의 테스트를 실행하라.

 

 

 

그 이후 내용은 특정 라이브러리를 개선하는 작업등이 남아있는데 이 부분은 따로 정리하지는 않는다.

결론은 기본에 충실하고 코드의 나쁜 품질을 지키기 위해서 컨벤션 정의가 필요하다고 생각된다. 결국 일은 혼자하는 것이 아니기 때문에 컨벤션 정의가 없으면 새로들어오는 사람이나 기존의 사람도 계속 코드를 유지하기는 어렵다고 판단된다. 이 기회에 이 규칙과 기존에 공부했던 내용들을 토대로 컨벤션을 한번 만들어 봐야겠다.

댓글()

클린코드 7장(경계), 8장 (단위 테스트)

JAVA/클린코드|2020. 7. 1. 09:18

 

 

경계


  • Map과 같은 공개된 인터페이스를 사용할 때 2가지 문제가 있다
    1. 전달되는 map에 clear와 같은 삭제 명령어가 있어서 전달해주는 쪽에서 알지 못하고 지워지는 이슈가 있을 수 있다.

    2. 전달된 Map 형태가 generic 하게 전해 졌어도 받는 쪽에서 Map map 등으로 받아 버린다면 캐스팅을 해서 사용하는 등의 문제나 변경의 소지가 크다. 또한 Map의 사용 방식이 변경된다면 이를 해결하기 위해 모든 부분에서 수정되어야 하는 문제가 있다.

    그래서 이를 해결하기 위해서 Map에 사용 되는 Value 값의 객체에서 Map을 품어서 쓰는 방식으로 캡슐화하여 사용하기도 한다.
public classs Sensors {
	private Map<String, Sensors> = new HashMap<>();

	public Sensor getById(String id) {
		return (Sensor) sensors.get(id);
	}

}
  • 외부 라이브러리를 사용할 경우 시간 단축에 효과가 있지만 잘못 사용함에 있어서 발생하는 영향도가 얼마나 있을지 알지 못하기 때문에 학습 테스트를 통해 외부 api에 대한 테스트를 미리 진행한다.
  • 외부 라이브러리에 대한 학습 테스트를 진행하여 사용하면 해당 라이브러리의 버전이 올라갔을 때 우리가 사용하는 목적에 맞게 정상적으로 돌아가는지 쉽게 테스트를 해볼 수 있어서 좋다.
  • Adapter pattern을 이용하여 변경의 요지가 있는 인터페이스를 방어할 수 있다.
public interface Bark {
	void speak();
}

// dog는 짖으므로 Bark 인터페이스 사용가능
public Dog implements Bark {
	@Override
	public void speak() {
		..
	}
}

// 고양이 야용 인터페이스
public interface Meow {
	void speak();
}

// 고양이는 짖기 어려움
public Cat implements Meow {
	@Override
	public void speak() {
	
	}
}

// 고양이가 짖을 수 있는 adpater 생성
public BarkCat implements Bark {
	private Meow meow;

	public BarkCat(Meow meow) {
		this.meow = meow;
	}
	
	@Override
	public void speak() {
		meow.speak();
	}
	
}

 

 

 

단위 테스트


  • 단위 테스트
    1. 실패하는 단위 테스트를 작성할 때 까지 실제 코드를 작성하지 않는다.
    2. 컴파일이 실패하지 않으면서 실행이 실패하는 정도로만 단위테스트를 작성한다.
    3. 현재 실패하는 테스트를 통과할 정도로만 실제 코드를 작성한다.

    하지만 이렇게 모두 작성하면 시간이 너무 걸려서 사실 어렵다.
  • 실제 코드가 변경될 때 마다 테스트 코드는 계속 변경의 여지가 있기에 지저분한 테스트 코드를 짜느니 없으니만 못하다. 그렇기에 실제 코드 못지 않게 중요하게 테스트 코드를 작성하라.
  • 테스트 코드 없는 실제 코드 변경은 잠정적인 버그와 같다.
  • 깨끗하고 효율성있는 테스트 코드를 작성하기 위해서는 무엇보다 중요한 건 가독성이다.
  • BUILD-OPERATE-CHECK 패턴을 사용하여 테스트 구조를 간결하게 작성한다.
  • 테스트 코드의 가독성을 위해서 실제 코드에서 지켜야 할 모든 규칙을 지킬 필요는 없다.
  • 하나의 테스트당 assert문이 많으면 좋지 않지만 그렇다고 테스트당 하나의 assert문을 사용하는건 중복코드를 양성할 수 있다. (적절하게 사용)
  • 하나의 테스트당 assert문이 많으면 좋지 않지만 그렇다고 테스트당 하나의 assert문을 사용하는건 중복코드를 양성할 수 있다. (적절하게 사용)
  • 깨끗한 테스트 코드의 FIRST 규칙
    F : 테스트는 빨라야 한다.
    I : 테스트는 서로 의존적이면 안된다.
    R : 테스트는 어떤 환경에서도 반복 가능해야 한다.
    S : 테스트는 통과 실패 두가지 검증 결과를 내보내야 한다.
    T : 단위테스트는 적시에 테스트 코드가 존재해야한다. (실제 구현 코드를 작성하기 이전에 작성되어야 한다.)

 

 

 

결론


개발을 하다보면 일정에 쫓기거나 테스트 코드 작성이 번거로워서 넘어가는 경우가 있는데 무조건 작성할 수 있도록 해야겠다. 그리고 테스트를 내가 알아볼 수 있도록 기능 동작에 중점을 주어서 했었는데 그게 결국 가독성과 재사용성을 떨어트려서 팀의 개발 속도를 저해 할수도 있다는 걸 알게 되어 조심해야겠다.

 

댓글()