Python queue 모듈 완전 가이드 | 기본부터 고급 사용법까지

1. Python의 큐란?

큐의 기본 개념

• 작업 스케줄링: 먼저 시작한 작업을 순서대로 실행한다.
• 버퍼링: 스트림 데이터를 일정량 큐에 저장하고 순차적으로 처리한다.
• 멀티스레드 간 통신: 여러 스레드가 동시에 데이터를 처리할 때, 큐를 사용하여 데이터 순서를 관리할 수 있다.

2. Python에서 큐의 용도

큐의 일반적인 사용 방법

• 작업 스케줄링: 여러 작업을 순서대로 처리할 때 최적의 방법 중 하나입니다. 예를 들어, 웹 서버가 대량의 요청을 받은 경우, 이러한 요청을 큐에 순차적으로 추가하고 순서대로 처리함으로써 자원을 효율적으로 사용합니다.
• 데이터 버퍼링: 스트림 처리 시 데이터를 일시적으로 저장하고, 처리 속도가 따라잡을 때까지 대기시키는 버퍼 역할을 합니다. 예를 들어, 비디오 스트리밍이나 실시간 데이터 처리 등에 유용합니다.
• 멀티스레드 간 데이터 공유: 큐는 서로 다른 스레드 간에 안전하게 데이터를 주고받기 위한 도구로 활용될 수 있습니다. 멀티스레드 프로그램에서 큐를 사용해 작업을 스레드 간에 할당할 수 있습니다.

3. queue 모듈 개요

클래스 설명

1. Queue（FIFO 큐）
   • 가장 기본적인 큐이며, 먼저 추가된 아이템이 가장 먼저 꺼내집니다. FIFO（First In, First Out）방식을 채택하고 있습니다。
   • 사용 예:
   import queue q = queue.Queue() q.put("task1") q.put("task2") print(q.get()) ## "task1"이 출력됩니다
2. LifoQueue（LIFO 큐）
   • 스택처럼, 마지막에 추가된 아이템이 가장 먼저 꺼내집니다. LIFO（Last In, First Out）방식을 채택하고 있습니다。
   • 사용 예:
   import queue q = queue.LifoQueue() q.put("task1") q.put("task2") print(q.get()) ## "task2"이 출력됩니다
3. PriorityQueue（우선순위 큐）
   • 우선도에 따라 아이템이 꺼내집니다. 값이 낮을수록 높은 우선도로 간주됩니다。
   • 사용 예： import queue q = queue.PriorityQueue() q.put((1, "task1")) q.put((3, "task3")) q.put((2, "task2")) print(q.get()) ## "(1, 'task1')"이 출력됩니다

4. FIFO 큐 구현 방법

기본적인 사용법

import queue

## FIFO 큐 생성
q = queue.Queue()

## 큐에 요소 추가
q.put("apple")
q.put("banana")
q.put("cherry")

## 큐에서 요소를 꺼내기
while not q.empty():
    print(q.get())

실제 사용 예시

5. 고급 큐 조작

큐 메서드

1. qsize()
   • 큐에 저장된 요소의 수를 반환합니다. 큐가 비었는지 확인하는 데 유용합니다。
   • 사용 예:
   q = queue.Queue() q.put("task1") print(q.qsize()) ## 1이 출력됩니다
2. empty()
   • 큐가 비었는지 여부를 판단합니다。True 또는 False가 반환됩니다。
   • 사용 예:
   q = queue.Queue() print(q.empty()) ## True가 출력됩니다
3. full()
   • 큐가 가득 찼는지 여부를 판단합니다。maxsize가 설정된 경우에 유효합니다。
   • 사용 예:
   q = queue.Queue(maxsize=2) q.put("task1") q.put("task2") print(q.full()) ## True가 출력됩니다
4. put(item)
   • 큐에 아이템을 추가합니다。block=True가 기본값으로 설정되어 있어 블로킹될 수 있습니다。타임아웃을 지정하여 처리를 제한할 수도 있습니다。
   • 사용 예:
   q = queue.Queue() q.put("task1")
5. get()
   • 큐에서 아이템을 꺼냅니다。아이템이 존재하지 않을 경우、block=True이면 아이템이 추가될 때까지 대기합니다。
   • 사용 예: q = queue.Queue() q.put("task1") task = q.get() print(task) ## "task1"이 출력됩니다

6. 큐에서의 예외 처리

큐의 예외 처리

1. queue.Full
   • 큐가 가득 찬 상태에서put()을 호출했을 때 발생합니다。
   • 예외 처리 예시:
   try: q.put("task", block=False) except queue.Full: print("큐가 가득 찼습니다")
2. queue.Empty
   • 큐가 비어 있는 상태에서get()을 호출했을 때 발생합니다。
   • 예외 처리 예시: try: task = q.get(block=False) except queue.Empty: print("큐가 비었습니다")

7. Python 멀티스레드에서 큐 사용

멀티스레드에서의 작업 관리

import queue
import threading

## 큐 생성
q = queue.Queue()

## 워커 스레드 정의
def worker():
    while True:
        item = q.get()
        print(f"처리 중: {item}")
        q.task_done()

## 스레드 시작
threading.Thread(target=worker, daemon=True).start()

## 작업을 큐에 추가
for item in range(5):
    q.put(item)

## 모든 작업 완료 대기
q.join()
print("모든 작업이 완료되었습니다")

8. 제한된 큐(Bounded Queue)의 사용

제한된 큐란?

1. 아이템을 추가할 수 없을 때의 동작 큐가 가득 찬 상태에서 새로운 아이템을 추가하려고 하면, 큐의 용량에 따라 동작이 수행됩니다. 일반적인 동작은 다음 두 가지입니다.

• 새로운 아이템 거부：큐가 가득 차면 더 이상 아이템을 받지 않고, 새로운 아이템 추가가 거부됩니다。
• 오래된 아이템 덮어쓰기：큐에서 가장 오래된 아이템을 삭제하고, 그 자리에 새로운 아이템을 추가합니다。

1. 리소스 관리 제한된 큐는 메모리나 CPU와 같은 리소스를 효율적으로 관리하기 위해 사용됩니다. 리소스 낭비를 피하고 제한된 범위 내에서 작업을 처리할 때 도움이 됩니다。

사용 예시

import queue

## 제한된 큐 생성
q = queue.Queue(maxsize=3)

## 큐에 아이템 추가
q.put("task1")
q.put("task2")
q.put("task3")

## 추가 아이템을 추가하려고 하면, 블록 또는 예외 발생
try:
    q.put_nowait("task4")
except queue.Full:
    print("큐가 가득 찼습니다")

9. 결론