Python 병렬 처리 완벽 가이드 | 효율적 구현법과 활용 예시

1. 소개

Python에서 병렬 처리의 중요성

2. Python에서의 병렬 처리 방법

병렬 처리의 주요 방법

1. 멀티스레드 (threading 모듈) 여러 스레드를 사용해 작업을 병행 실행하지만, Python의 GIL（Global Interpreter Lock）의 영향으로 CPU를 많이 사용하는 작업에서는 효과가 제한적입니다.
2. 멀티프로세스 (multiprocessing 모듈) 각 프로세스가 독립된 메모리 공간을 갖기 때문에 GIL의 영향을 받지 않아 진정한 병렬 처리가 가능합니다. 대규모 데이터 처리나 무거운 계산에 적합합니다.
3. 비동기 처리 (asyncio 모듈) 비동기 처리는 I/O 바운드 작업(네트워크 통신이나 파일 작업 등)에 효과적입니다. 이를 통해 대기 시간이 많은 처리를 효율적으로 진행할 수 있습니다.

3. 멀티프로세스 vs 멀티스레드

GIL(Global Interpreter Lock)의 영향

멀티스레드의 장점과 한계

import threading
import time

def worker(num):
print(f"Worker {num} starting")
time.sleep(2)
print(f"Worker {num} finished")

threads = []
for i in range(5):
t = threading.Thread(target=worker, args=(i,))
threads.append(t)
t.start()

for t in threads:
t.join()

멀티프로세스의 장점

from multiprocessing import Process
import time

def worker(num):
print(f"Worker {num} starting")
time.sleep(2)
print(f"Worker {num} finished")

if name == 'main':
processes = []
for i in range(5):
p = Process(target=worker, args=(i,))
processes.append(p)
p.start()

for p in processes:
    p.join()

4. Python에서 병렬 처리를 구현하는 방법

multiprocessing 모듈을 이용한 병렬 처리

from multiprocessing import Pool

def square(x):
return x * x

if name == 'main':
with Pool(4) as p:
result = p.map(square, [1, 2, 3, 4, 5])
print(result)

5. 비동기 처리와 그 용도

asyncio 모듈을 사용한 비동기 처리

import asyncio

async def worker(num):
print(f'Worker {num} starting')
await asyncio.sleep(1)
print(f'Worker {num} finished')

async def main():
tasks = [worker(i) for i in range(5)]
await asyncio.gather(*tasks)

asyncio.run(main())

6. 병렬 처리의 성능 튜닝

Joblib을 사용한 병렬화

from joblib import Parallel, delayed

def heavy_task(n):
return n ** 2

results = Parallel(n_jobs=4)(delayed(heavy_task)(i) for i in range(10))
print(results)

7. Python 병렬 처리의 실용적 활용 사례

데이터 처리와 웹 스크레이핑

8. 정리