13장 - 동시성

객체는 처리의 추상화다. 스레드는 일정의 추상화다.

- 제임스 O.코플리엔 ^{JamesO. Coplien}

동시성과 깔끔한 코드는 양립하기 어렵다.

동시성이 필요한 이유?

동시성은 결합 ^Coupling을 없애는 전략이다. 즉, 무엇과 언제를 분리하는 전략이다. 무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다.

서블릿 모델

서블릿은 웹 혹은 EJB 컨테이너라는 우산 아래서 돌아가는데, 이들 컨테이너는 동시성을 부분적으로 관리한다. 웹 요청이 들어올 때마다 웹 서버는 비동기식으로 서블릿을 실행한다.
실제로는 결합분리 ^decoupling 전략은 완벽과 거리가 몹시 멀고 동시성을 정확히 구현하도록 주의를 기울여야 한다. 하지만 그럼에도 서블릿 모델이 제공하는 구조적 이점은 몹시 크다.

정보 수집기

단일 스레드 수집기는 웹 소켓에서 입출력을 기다리는 시간이 몹시 많다.
한 번에 한 사이트를 방문하는 대신 다중 스레드 알고리즘을 이용하면 수집기 성능을 높일 수 있다.

동시성이 반드시 필요한 상황이 존재하지만, 동시성은 어렵다. 다음은 동시성과 관련된 일반적인 미신과 오해 그리고 타당한 생각이다.

미신과 오해

동시성은 항상 성능을 높여준다.
→ 동시성은 때로 성능을 높여준다.
대기 시간이 몹시 길어 여러 스레드가 프로세서를 공유할 수 있거나, 여러 프로세서가 동시에 처리할 독립적인 계산이 많은 경우에만 높아진다.

동시성을 구현해도 설계는 변하지 않는다.
→ 일반적으로 무엇과 언제를 분리하면 시스템 구조가 크게 달라진다.

웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다.
→ 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야만 한다.

타당한 생각

동시성은 다소 부하를 유발한다.

동시성은 복잡하다.

일반적으로 동시성 버그는 재현하기 어렵다.

동시성을 구현하려면 흔히 근본적인 설계 전략을 재고해야 한다.

난관

그렇다면 동시성을 구현하기 어려운 이유는 무엇일까?
다음과 같은 가정을 보자.

public class x { // 1.인스턴스 x 생성 & 두 스레드가 해당 인스턴스 공유

    private int lastIdUsed; //2. 값을 42로 설정한 경우


    public int getNextId () { //3. 두 스레드가 해당 메서드 호출
        return ++lastIdUsed;
    }
}

한 스레드는 43, 다른 스레드는 44 → lastIdUsed는 44

한 스레드는 44, 다른 스레드는 43 → lastIdUsed는 44

한 스레드는 43, 다른 스레드는 43 → lastIdUsed는 43

두 스레드가 같은 변수를 동시에 참조하면 세 번째와 같이 놀라운 결과가 발생한다.

두 스레드가 자바 코드 한 줄을 거쳐 가는 경로는 수없이 많은데, 그중에 일부 경로가 잘못된 결과를 내놓기 때문이다.

동시성 방어 원칙

동시성 코드가 일으키는 문제로부터 시스템을 방어하는 원칙과 기술을 소개한다.

단일 책임 원칙^{Single Responsibility Principle, SRP}
주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙이다.

동시성은 복잡성 하나만으로도 따로 분리할 이유가 충분하다.
- 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.
- 동시성 코드에는 독자적인 난관이 있다.
- 잘못 구현한 동시성 코드는 별의별 방식으로 실패한다.
권장사항 : 동시성 코드는 다른 코드와 분리하라
따름 정리^corollary: 자료 범위를 제한하라

위의 내용 중 난관의 예시처럼 예상치 못한 결과를 위의 예시로 확인했다. 이런 문제를 해결하는 방안으로 공유 객체를 사용하는 코드 내 임계영역^{critical section}을 synchronized 키워드로 보호하라고 권장한다.

권장사항 : 자료를 캡슐화^{encapsulation}하라. 공유 자료를 최대한 줄여라
따름 정리: 자료 사본을 사용하라

공유 자료를 줄이려면 처음부터 공유하지 않는 방법이 제일 좋다.
공유 객체를 피하는 방법이 있다면 코드가 문제를 일으킬 가능성도 아주 낮아진다. 사본으로 동기화를 피할 수 있다면 내부 잠금을 없애 절약한 수행 시간이 사본 생성과 가비지 컬렉션에 드는 부하를 상쇄할 가능성이 크다.
따름 정리: 스레드는 가능한 독립적으로 구현하라

다른 스레드와 자료를 공유하지 않는다. 다른 스레드와 동기화가 필요가 없으므로 각 스레드는 세상에 자신만 있는 듯이 돌아갈 수 있다.

권장사항 : 독자적인 스레드로, 가능하다면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 단위로 분할하라

라이브러리를 이해하라

자바 5로 스레드 코드 구현할 경우 다음을 고려하라.

스레드 환경에 안전한 컬렉션을 사용한다.
서로 무관한 작업을 수행할 때는 executor 프레임워크를 사용한다.
가능하다면 스레드가 차단^blocking 되지 않는 방법을 사용한다.
일부 클래스 라이브러리는 스레드에 안전하지 못하다.

스레드 환경에 안전한 컬렉션

java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며 성능도 좋다.
자바 5를 사용한다면 ConcurrentHashMap부터 살펴보라고 권한다. ConcurrentHashMap은 거의 모든 상황에서 HashMap보다 빠르고 동시 읽기/쓰기를 지원하며 다중 스레드 상에서 안전한 복합 연산 메서드를 제공한다.

다음은 복잡한 동시성 설계를 지원하는 자바 5에 추가된 클래스들이다.


ReentrantLock	한 메서드에서 잠그고 다른 메서드에서 푸는 락(lock)이다.
Semaphore	전형적인 세마포다. 개수(count)가 있는 락이다.
CountDownLatch	지정한 수만큼 이벤트가 발생하고 나서야 대기 중인 스레드를 모두 해제하는 락이다. 모든 스레드에서 동시에 공평하게 시작할 기회를 준다.

권장사항 : 자바에서는 java.util.concurrent, java.util.concurrent.atomic, java.util.concurrent.locks를 익혀라.

실행 모델을 이해하라

다중 스레드 프로그래밍에서 사용하는 실행 모드를 살펴보기 전에 아래 표에 나와 있는 기본 용어부터 이해하자.


한정된 자원(Bound Resource)	다중 스레드 환경에서 사용하는 자원으로, 크기나 숫자가 제한적이다. 데이터베이스 연결 길이가 일정한 읽기/쓰기 버퍼 등이 예다.
상호 배제(Mutual Exclusion)	한 번에 한 스레드만 공유 자료나 공유 자원을 사용할 수 있는 경우를 가리킨다.
기아(Starvaction)	한 스레드나 여러 스레드가 굉장히 오랫동안 혹은 영원히 자원을 기다린다.
데드락(Deadlock)	여러 스레드가 서로가 끝나기를 기다린다. 모든 스레드가 각기 필요한 자원을 다른 스레드가 점유하는 바람에 어느 쪽도 진행하지 못한다.
라이브락(Livelock)	락을 거는 단계에서 각 스레드가 서로 방해한다. 스레드는 계속해서 진행하려 하지만, 공명(resonance)으로 인해, 굉장히 오랫동안 혹은 영원히 진행하지 못한다.

생산자-소비자 ^{Producer-Consumer}

하나 이상 생산자 스레드가 정보를 생성해 버퍼^buffer나 대기열^queue에 넣고 하나 이상 소비자 스레드가 대기열에서 정보를 가져와 사용한다. 이 대기열은 한정된 자원이다. 따라서 생산자 스레드는 공간이 있어야 정보를 채울 수 있으므로 공간이 생길 때까지 기다린다. 생산자 스레드는 대기열에 정보를 채운 다음 소비자 스레드에게 "대기열에 정보가 있다"는 시그널을, 소비자 스레드는 대기열에서 정보를 읽어들인 후 "대기열에 공간이 있다"는 시그널을 보낸다. 따라서 서로 진행 가능함에도 불구하고 동시에 서로에게서 시그널을 기다릴 가능성이 존재한다.
예시
- full(소비자 입장에서의 변수)
  - full = 사용할 수 있는 데이터가 버퍼에 있음
- n(전체 buffer갯수)
- mutex(상호배제를 위한 semaphore변수, 여기선 binary)
```
//Shared data
semaphore full = 0, empty = n, mutex = 1
```
```
do {
    produce an item x

P(empty)
P(mutex)  // lock 걸고
    ...

add x to buffer

...
V(mutex)   // lock 해제
V(full)

} while(1)
```
```
do {
P(full)  // 내용있는 버퍼 있는지 확인
P(mutex)  // lock 걸고
    ...

remove x to buffer to y

...
V(mutex)  // lock 풀고
V(empty)   // 빈 버퍼 증가

    ...

consume the item in y # 소비

} while(1)
```
읽기-쓰기^{Readers-Writers}

갱신을 허용하면 처리율에 영향을 미친다. 쓰기 스레드가 버퍼를 갱신하는 동안 읽기 스레드가 버퍼를 읽지 않으려면, 또 그 반대의 경우에도, 복잡한 균형 잡기가 필요하다.

따라서 읽기 스레드의 요구와 쓰기 스레드의 요구를 적절히 충족시켜 처리율도 적당히 높이고 기아도 방지하는 해법이 필요하다.
예시

mutex(reader끼리 상호배제용), db(r-w사이의 상호배제용)
```
// Shared data
readCount = 0;
// Synchronization variables
semaphore mutex = 1, db = 1
```
```
P(db) // lock 걸고

writing DB...

V(db) // lock 풀고
```
- writer의 starvation 발생가능
(Reader가 계속 나타나면 → mutex는 lock이 풀렸다 열렸다 하지만 db는 계속 lock이 걸려있기 때문에 write는 계속 기다려야함)
```
P(mutex)
readCount++   // read변수에 lock 걸고
if(readCount == 1)
P(db)      // lock writer
V(mutex)

reading DB...

p(mutex)
readCount--;
if(readCount == 0)
V(db)    // enable writer
V(mutex)
```
식사하는 철학자들^{Dining Philosophers} ¹

식사하는 철학자들 문제는 동시성과 교착 상태를 설명하는 예시로, 여러 프로세스가 동시에 돌아갈 때 교착 상태가 나타나는 원인을 직관적으로 알 수 있다. 어떤 경우에는 동시에 양쪽 포크를 집을 수 없어 식사를 못하는 기아 상태가 발생할 수도 있고, 몇몇 철학자가 다른 철학자보다 식사를 적게 하는 경우가 발생하기도 한다.

많은 기업 애플리케이션에서 겪는 문제다. 주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하 등을 겪는다. 각 알고리즘을 공부하고 해법을 직접 구현해보라.

권장사항 : 위에서 설명한 기본 알고리즘과 각 해법을 이해하라.
예시
```
// Synchronization variables
semaphore chopsticks[5]  // 1로 초기화된

// philosopher i
do {
    P(chopstick[i]);           // 오른쪽 젓가락 들고
P(chopstick[(i+1) % 5]);   // 왼쪽 젓가락 들고
...
    eat
    ...
    V(chopstick[i]);          // 오른쪽 젓가락 내려놓고
    V(chopstick[(i+1) % 5]);   // 왼쪽 젓가락 내려놓고
...
think()
...
} while(1)
```
- Deadlock 걸릴 가능성 있음
→ 모든 철학자가 동시에 배고파져 왼쪽 젓가락을 들어버린 경우

해결방안

(1) 젓가락을 두 개 모두 집을 수 있을 때만 집을 수 있게 함

(2) 우선순위 부여( 짝수번째 철학자는 왼쪽 젓가락부터 집도록 함)

등등

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

권장사항 : 공유 객체 하나에는 메서드 하나만 사용하라.

공유 객체 하나에 여러 메서드가 필요한 상황에서는 다음 세가지 방법을 고려한다.

클라이언트에서 잠금 - 클라이언트에서 서버를 잠근다.
서버에서 잠금 - 서버에다 "잠금" 메서드 구현하고 클라이언트에서 해달 메서드를 호출한다.
연결^Adapted 서버 - 잠금을 수행하는 중간 단계 생성.

동기화하는 부분을 작게 만들어라

자바에서 synchronized 키워드를 사용하면 락을 설정한다. 락으로 감싼 영역은 한 번에 한 스레드만 실행 가능하므로 락이 많을수록 스레드를 지연시키고 부하를 가중시킨다. 반면 임계영역^{critical section}은 반드시 보호해야 한다. 따라서 임계영역 수를 최대한 줄여야 한다.

권장사항 : 동기화하는 부분을 최대한 작게 만들어라.

올바른 종료 코드는 구현하기 어렵다

깔끔하게 종료하는 코드는 올바로 구현하기 어렵다. 가장 흔히 발생하는 문제가 데드락이다. 즉, 스레드가 절대 오지 않을 시그널을 기다린다.

권장사항 : 종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라.

스레드 코드 테스트하기

권장사항 : 문제를 노출하는 테스트 케이스를 작성하라. 프로그램 설정과 부하를 바꿔가며 자주 돌려라. 테스트가 실패하면 원인을 추적하라.

말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라.

스레드 코드에 잠입한 버그는 수천, 아니 수백만 번에 한 번씩 드러나기도 한다. 실패를 재현하기가 몹시 어렵기 때문에 단순한 '일회성' 문제로 치부하고 무시한다. 하지만 '일회성' 문제를 계속 무시한다면 잘못된 코드 위에 코드가 계속 쌓인다.

권장사항: 시스템 실패를 '일회성'이라 치부하지 마라.
다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자.

권장사항: 스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 마라. 먼저 스레드 환경 밖에서 코드를 올바로 돌려라.
다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있도록 스레드 코드를 구현하라.
- 한 스레드로 실행하거나, 여러 스레드로 실행하거나, 실행 중 스레드 수를 바꿔본다.
- 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
- 테스트 코드를 빨리, 천천히, 다양한 속도로 돌려본다.
- 반복 테스트가 가능하도록 테스트 케이스를 작성한다.
권장사항: 다양한 설정에서 실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라.
다중 스레드를 쓰는 코드 부분을 상황에 맞춰 조정할 수 있게 작성하라.

적절한 스레드 개수를 파악하려면 상당한 시행착오가 필요하다. 따라서 처음부터 스레드 개수를 조율하기 쉬운 방법을 고려하여 코드를 구현한다.
프로세서 수보다 많은 스레드를 돌려보라.

시스템이 스레드를 스와핑^swapping할 때도 문제가 발생한다.
다른 플랫폼에서 돌려보라.

다중 스레드 코드는 플랫폼에 따라 다르게 돌아간다. 따라서 코드가 돌아갈 가능성이 있는 플랫폼 전부에서 테스트를 수행해야 마땅하다.

권장사항: 처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라.
코드에 보조 코드^instrucment를 넣어 돌려라. 강제로 실패를 일으키게 해보라.

흔히 스레드 코드는 오류를 찾기가 쉽지 않다.
스레드 버그가 산발적이고 우발적이고 재현이 어려운 이유는 코드가 실행되는 수천 가지 경로 중 극소수만 실패하기 때문이다. 그래서 버그를 발견하고 찾아내기가 몹시 어렵다.

오류를 좀 더 자주 일으킬 방법은 보조 코드를 추가해 코드가 실행되는 순서를 바꿔준다.
코드에 보조 코드를 추가하는 방법은 두 가지다.
- 직접 구현하기
  
  코드에다 직접 wait(),sleep(),yield(),priority()함수를 추가한다.
```
    public synchronized String nextUrlNull() {
        if(hasNext()){
            String url = urlGenerator.next();
            Thread.yield(); //테스트를 위해 추가되었다.
            updateHasNext();
            return url;
        }
        return null;
    }
```
  위의 예처럼 yield()를 삽입하면 코드가 실행되는 경로가 바뀐다. 그래서 이전에 실패하지 않았던 코드가 실패할 가능성을 열어준다.
- 자동화
  
  보조 코드를 자동으로 추가하려면 AOF ^{Aspect-Oriented Framework},CGLIB, ASM 등과 같은 도구를 사용한다.
```
    public synchronized String nextUrlOrNull() {
        if (hasNext()) {
            ThreadJigglePoint.jiggle();
            String url = urlGenerator.next();
            ThreadJigglePoint.jiggle();
            updateHasNext();
            ThreadJigglePoint.jiggle();
            return url;
        }
        return null;
    }
```
  ThreadJigglePoint 클래스를 두 가지로 구현하면 편하다. 하나는 jiggle() 메서드를 비워두고 배포 환경에서 사용하고 다른 하나는 무작위로 nop, sleep이나 yield 등 테스트 환경에서 수행한다.
  
  코드를 흔드는 ^jiggle 이유는 스레드를 매번 다른 순서로 실행하기 위해서다. 좋은 테스트 케이스와 흔들기^jiggling 기법은 오류가 드러날 확률을 크게 높여준다.
  
  권장사항: 흔들기 기법을 사용해 오류를 찾아내라.

결론

무엇보다 먼저, SRP ^{Single Responsibility Principle}를 준수한다. 즉, 스레드 코드는 최대한 집약되고 작아야 한다는 의미다.

동시성 오류를 일으키는 잠정적인 원인을 철저히 이해한다.

사용하는 라이브러리와 기본 알고리즘을 이해한다.

보호할 코드 영역을 찾아내는 방법과 특정 코드 영역을 잠그는 방법을 이해한다.

스레드 코드는 많은 플랫폼에서 많은 설정으로 반복해서 계속 테스트 해야 한다. 테스트 용이성은 TDD^{Test Driven Development} 3개 규칙을 따르면 자연히 얻어진다.

시간을 들여 보조 코드를 추가하면 오류가 드러날 가능성이 크게 높아진다.

깔끔한 접근 방식을 취한다면 코드가 올바로 돌아갈 가능성이 극적으로 높아진다.

https://ko.wikipedia.org/wiki/%EC%8B%9D%EC%82%AC%ED%95%98%EB%8A%94_%EC%B2%A0%ED%95%99%EC%9E%90%EB%93%A4_%EB%AC%B8%EC%A0%9C ↩

13장 - 동시성

동시성이 필요한 이유?

난관

동시성 방어 원칙

라이브러리를 이해하라

실행 모델을 이해하라

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

동기화하는 부분을 작게 만들어라

올바른 종료 코드는 구현하기 어렵다

스레드 코드 테스트하기

결론

12장 - 창발성

17장 - 냄새와 휴리스틱

13장 - 동시성

동시성이 필요한 이유?

난관

동시성 방어 원칙

라이브러리를 이해하라

실행 모델을 이해하라

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

동기화하는 부분을 작게 만들어라

올바른 종료 코드는 구현하기 어렵다

스레드 코드 테스트하기

결론

Footnotes

12장 - 창발성

17장 - 냄새와 휴리스틱