[클린 코드] 13장. 동시성

동시성이 필요한 이유?

• 동시성은 결합을 없애는 전략으로 무엇과 언제를 분리하는 전략이다.
• 스레드가 하나인 프로그램은 무엇과 언제가 서로 밀접하다.
• 무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다. 마치 프로그램이 작은 협력 프로그램 여럿으로 보인다.
• 동시성을 정확히 구현하기 위해서는 각별한 주의와 노력을 기울여야 하지만 그럼에도 이것이 제공하는 구조적 이점은 아주 크다.
  또한 응답 시간과 작업 처리량 개선이라는 요구사항으로 인해 직접적인 동시성 구현이 불가피한 상황이 발생하기도 한다.
  이렇듯 반드시 동시성이 필요한 상황이 존재한다.
• 동시성은 항상 성능을 높여주는 것이 아니라 대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나,
  여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아진다.
  오히려 성능 측면에서 부하가 걸리며, 코드도 더 짜야 하고 간단한 문제라도 복잡하다.
• 동시성을 구현할 경우 단일 스레드 시스템과 다중 스레드 시스템은 설계가 판이하게 다르므로 시스템 구조가 크게 달라진다.
  그러므로 동시성을 구현하려면 근본적인 설계 전략을 재고해야 한다.
• 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알기 위해 동시성을 이해해야 한다.
• 일반적으로 동시성 버그는 제한하기 어려우므로 진짜 결함으로 간주되지 않고 일회성 문제로 여겨 무시하기 쉽다.

난관

• 동시성을 구현하기 어려운 이유는 스레드가 같은 변수를 동시에 참조할 경우 일부 경로가 잘못된 결과를 내놓기 때문이다.

// bad
public class X {
  private int lastIdUsed;
  
  public int getNextId() {
    return ++lastIdUsed;
  }
}

/* 인스턴스 X를 생성하고, lastIdUsed 필드를 42로 설정한 다음, 두 스레드가 해당 인스턴스를 공유한다.
   1. 한 스레드는 43을 받는다. 다른 스레드는 44를 받는다. lastIdUsed는 44가 된다.
   2. 한 스레드는 44를 받는다. 다른 스레드는 43을 받는다. lastIdUsed는 44가 된다.
   3. 한 스레드는 43을 받는다. 다른 스레드는 43을 받는다. lastIdUsed는 43이 된다. 
*/

동시성 방어 원칙

• 동시성 코드가 일으키는 문제로부터 시스템을 방어하는 원칙과 기술을 알아보자.
• 단일 책임 원칙은 주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙이므로
  동시성은 복잡성 하나만으로도 따로 분리할 이유가 충분하다.
  그런데도 불행히도 동시성과 관련이 없는 코드에서 동시성을 곧바로 구현하는 사례가 너무도 흔하다.
• 하지만 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있으며 독자적인 난관이 있다.
  또한 잘못 구현한 동시성 코드는 별 방식으로 실패하므로 다른 코드가 발목을 잡지 않더라도 동시성 하나만으로도 충분히 어렵다.
  그러므로 동시성 코드는 다른 코드와 분리하라.
• 객체 하나를 공유한 후 동일 필드를 수정할 경우 스레드가 서로 간섭하므로 예상치 못한 결과를 내놓는다.
  
• 이런 문제를 해결하기 위해 공유 객체를 사용하는 코드 내 임계 영역을 sychronized 키워드로 보호하라고 권장한다.
  이때 공유 자료를 수정하는 위치가 많을수록 보호할 임계 영역을 빼먹거나 올바로 보호했는지 확인하느라 문제가 발생한다.
  그러므로 자료를 캡슐화하되, 공유 자료를 최대한 줄여라.
• 공유 자료를 줄이려면 처음부터 공유하지 않는 방법이 제일 좋다. 이를 위해 객체를 복사해 읽기 전용으로 사용하거나
  각 스레드가 객체를 복사해 사용한 후 한 스레드가 해당 사본에서 결과를 가져오도록 한다.
• 각 스레드는 클라이언트 요청 하나를 처리하고 모든 정보는 비공유 출처에서 가져오며 로컬 변수에 저장하도록 한다.
  그러면 각 스레드는 다른 스레드와 동기화할 필요가 없으므로 세상에 자신만 있는 듯이 돌아갈 수 있다. 

라이브러리를 이해하라

• 자바 5는 동시성 측면에서 이전 버전과 많이 나아졌으므로 스레드 코드를 구현한다면 언어가 제공하는 클래스를 검토하라.
• 스레드 환경에 안전한 컬렉션을 사용한다.
  java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며, 성능도 좋다.
  그 중에는 ConcurrentHashMap, ReentrantLock, Semaphore, CountDownLatch 등이 있다.
• 서로 무관한 작업을 수행할 때는 executor 프레임워크를 사용한다.
• 가능하다면 스레드가 차단되지 않는 방법을 사용한다.
• 일부 클래스 라이브러리는 스레드에 안전하지 못하다.

실행 모델을 이해하라

• 다중 스레드 애플리케이션을 분류하는 방식은 여러 가지이며
  사용하는 실행 모델에는 '생산자-소비자', '읽기-쓰기', '식사하는 철학사들'이 있다.
• 생산자-소비자 모델은 생산자 스레드와 소비자 스레드가 한정된 자원으로 대기열을 사용하므로 
  생산자 스레드는 대기열에 빈 공간이 생길 때까지 기다리고, 소비자 스레드는 정보가 채워질 때까지 기다린다.
  대기열을 올바르게 사용하고자 생산자 스레드와 소비자 스레드는 서로에게 정보와 빈 공간에 대한 시그널을 보낸다.
  따라서 잘못하면 생산자 스레드와 소비자 스레드가 둘 다 진행 가능함에도 불구하고
  동시에 서로에게 시그널을 기다릴 가능성이 존재한다.
• 읽기-쓰기 모델에서 읽기 스레드는 주된 정보원으로 공유 자원을 사용하고 쓰기 스레드는 공유 자원을 갱신하게 된다.
  쓰기 스레드가 버퍼를 갱신하는 동안 읽기 스레드가 버퍼를 읽기 않게 하거나,
  읽기 스레드가 버퍼를 읽는 동안 쓰기 스레드가 버퍼를 갱신하지 않으려면, 복잡한 균형잡기가 필요하다.
  따라서 읽기 스레드의 요구와 쓰기 스레드의 요구를 적절히 만족시켜 처리율도 적당히 높이고 기아도 방지해야 한다.
  간단하 전략은 읽기 스레드가 없을 때까지 갱신을 우너하는 쓰기 스레드가 버퍼를 기다리는 방법이다.
  하지만 읽기 스레드가 계속 이어진다면 쓰기 스레드는 기아 상태에 빠진다.
  반면, 쓰기 스레드에게 우선권을 준 상태에서 쓰기 스레드가 계속 이어진다면 처리율이 떨어진다.
  양쪽 균형을 잡으면서 동시 갱신 문제를 피하는 해법이 필요하다.
• 식사하는 철학자들 모델에서는 둥근 식탁에 철학자들이 둘러앉게 되고 배가 고프면 양손에 포크를 집어들고 스파게티를 먹는다.
  양손에 포크를 쥐지 않으면 먹지 못하므로 왼쪽 철학자나 오른쪽 철학자가 포크를 사용하는 중이라면
  그쪽 철학자가 먹고 나서 포크를 내려놓을 때까지 기다려야 한다.
  여기서 철학자를 스레드로, 포크를 자원으로 바꿔 생각할 수 있다.
• 일상에서 접하는 대다수 다중 스레드 문제는 위 세 범주 중 하나에 속하므로 각 알고리즘을 공부하고 해법을 이해하라.

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

• 동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다.
• 자바 언어는 개별 메서드를 보호하는 synchronized라는 개념을 지원하지만
  공유 클래스 하나에 동기화된 메서드가 여럿이라면 구현이 올바른지 다시 한 번 확인해야 한다.
• 공유 객체 하나에는 메서드 하나만 사용하도록 권장한다.
• 하지만 공유 객체 하나에 여러 메서드가 필요한 상황도 생긴다.
  이럴 때는 클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠그고 마지막 메서드를 호출할 때까지 잠금을 유지하거나,
  서버에다 서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는 메서드를 구현하고 클라이언트를 이 메서드를 호출한다.
  또는 잠금을 수행하는 중간 단계로 연결 서버를 생성하여 원래 서버는 변경하지 않도록 하는 방법들을 고려한다.

동기화하는 부분을 작게 만들어라

• synchronized 키워드를 사용하면 락을 설정하게 되고 같은 락으로 감싼 모든 코드 영역은 한 번에 한 스레드만 실행이 가능하다.
• 하지만 락은 스레드를 지연시키고 부하를 가증시키므로 여기저기서 synchronized 문을 남발하는 코드는 바람직하지 않으므로
  임계영역만을 반드시 보호하도록 해야 한다. 따라서, 코드를 짤 때는 임계영역 수를 최대한 줄여야 한다.
• 하지만 임계영역을 줄인답시고 거대한 임계영역 하나를 구현할 경우 스레드 간에 경쟁이 늘어나고 프로그램 성능이 떨어진다.
• 그러므로 동기화하는 부분을 최대한 작게 만들어라.

올바른 종료 코드는 구현하기 어렵다

• 영구적으로 돌아가는 시스템을 구현하는 방법과 잠시 돌다 깔끔하게 종료하는 시스템을 구현하는 방법은 다르다.
• 깔끔하게 종료하는 코드는 올바르게 구현하기 어렵다.
  그 중 가장 흔히 발생하는 문제로는 스레드가 절대 오지 않을 시그널을 기다리는 데드락이다.
• 예를 들어, 부모 스레드가 자식 스레드를 여러 개 만든 후 모두가 끝나기를 기다렸다 자원을 해제하고 종료할 경우에
  자식 스레드 중 하나가 데드락에 걸린다면 부모 스레드는 영원히 기다리고, 시스템은 영원히 종료하지 못한다.
• 또는 부모 스레드는 모든 자식 스레드에게 작업을 멈추고 종료하라는 시그널을 전달하였지만
  자식 스레드 중 두 개가 생산자/소비자 관계여서 생산자 스레드는 재빨리 종료했지만
  소비자 스레드가 생산자 스레드에서 오는 시그널 메시지를 기다린다면
  차단 상태에 있으므로 종료하라는 시그널을 받지 못하게 되어 부모 스레드도 자식 스레드를 영원히 기다리게 된다.
• 그러므로 깔끔하게 종료하는 다중 스레드 코드를 짜야 한다면 시간을 투자해 올바로 구현하기 위해
  종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현해야 한다. 또한 이미 나온 알고리즘을 검토하기도 하라.

스레드 코드 테스트하기

• 코드가 올바르다고 증명하기는 현실적으로 불가능하며 테스트가 정확성을 보장하지는 않는다.
  그럼에도 충분한 테스트는 위험을 낮춘다.
• 그런데 같은 코드와 같은 자원을 사용하는 스레드가 둘 이상으로 늘어나면 상황은 급격하게 복잡해져 고려할 사항이 많아진다.
  그러므로 문제를 노출하는 테스트 케이스를 작성하고 프로그램 설정과 시스템 설정과 부하를 바꿔가면 자주 돌리고
  테스트가 실패하면 원인을 추적하도록 한다.
• 스레드 코드 테스트는 몇 가지 구체적인 지침을 제시한다.
• 다중 스레드 코드는 때때로 말도 안 되는 오류를 일으키지만
  대다수 개발자는 스레드가 다른 코드와 교류하는 방식을 직관적으로 이해하지 못하고 단순한 일회성 문제로 치부하고 무시한다.
  하지만 일회성 문제를 계속 무시한다면 잘못된 코드 위에 코드가 계속 쌓이게 되므로 시스템 실패를 일회성이라 치부하지 마라.
• 다중 스레드를 고려하지 않고 스레드 환경 밖에서 순차 코드부터 제대로 돌도록 반드시 확인한다.
  또한 스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시 디버깅하지 말고 밖의 코드를 먼저 올바로 돌려라.
• 다중 스레드를 쓰는 코드 부분을 다양한 환경(실행 중 스레드 수/실제환경인지 테스트 환경인지/테스트 코드 속도 등)에서
  실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라.
• 적절한 스레드 개수를 파악하려면 시행착오가 필요하므로 처음부터 다양한 설정으로 프로그램의 성능 측정 방법을 강구하고
  스레드 개수를 조율하기 쉽게 코드를 구현하거나 프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법,
  프로그램 처리율과 효율에 따라 스스로 스레드 개수를 조율하는 코드 등을 고민한다.
• 시스템이 스레드를 스와핑할 때도 문제가 발생하므로 프로세스 수보다 많은 스레드를 돌려 스와핑을 일으켜본다.
  스와핑이 잦을수록 임계영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.
• 다중 스레드 코드는 플랫폼에 따라 다르게 돌아가므로 코드가 돌아갈 가능성이 있는 플랫폼 전부에서 테스트를 수행하라.
• 스레드는 코드가 실행되는 수천 가지 경로 중에 아주 소수만 실패하기 때문에 스레드 버그를 발견하고 찾아내기가 아주 어렵다.
  이렇듯 드물게 발생하는 오류를 좀 더 자주 일으켜보기 위해서는
  보조 코드인 Object.wait(), Object.sleep(), Object.yield(), Object.priority() 메서드를 추가해 코드 실행 순서를 바꿔준다.
  각 메서드는 스레드가 실행되는 순서에 영향을 미쳐 버그가 드러날 가능성을 준다.
• 코드에 위와 같은 보조 코드를 추가하기 위해서는 코드에다 직접 wait(), sleep(), yield(), priority() 함수를 추가할 수 있다.
  이렇게 직접 구현할 경우 보조 코드를 삽입할 적정 위치를 직접 찾아야 하며,
  실행할 때마다 설정을 바꿔줄 방법이 필요하다. 또한 배포 환경에 보조 코드를 남겨두면 프로그램 성능이 떨어지게 된다.

// 보조 코드를 직접 추가
public sychronized String nextUrlOrNull() {
  if(hasNext()) {
    String url = urlGenerator.next();
    // 코드가 실행되는 경로를 바꿔준다. 그래서 이전에 실패하지 않았던 코드가 실패할 가능성을 열어준다.
    Thread.yield(); // 테스트를 위해 추가되었다.
    updateHasNext();
    return url;
  }
  return null;
}

• 또다른 방법으로는 AOF, CGLB, ASM 등과 같은 도구를 사용해 보조 코드를 자동으로 추가할 수 있다.
  ThreadJigglePoint 클래스를 두 가지로 구현하여 하나는 jiggle() 메서드를 비워두고 배포 환경에서 사용한다.
  다른 하나는 무작위로 nop, sleep이나 yield 등을 테스트 환경에서 수행한다.

// 보조 코드를 자동으로 추가
public class ThreadJigglePoint {
  public static void jiggle() {
  }
}

public sychronized String nextUrlOrNull() {
  if(hasNext()) {
    // 무작위로 sleep이나 yield를 호출하거나 아무 동작도 하지 않는다(nop).
    // 코드를 흔들어 스레드를 매번 다른 순서로 실행하여 오류가 드러날 확률을 크게 높여준다.
    ThreadJigglePoint.jiggle();
    String url = urlGenerator.next();
    ThreadJigglePoint.jiggle();
    updateHasNext();
    ThreadJigglePoint.jiggle();
    return url;
  }
  return null;
}