การใช้ Python multiprocessing: คู่มือการประมวลผลแบบขนานเพื่อเพิ่มประสิทธิภาพ

1. บทนำ

2. multiprocessing คืออะไร?

2.1 ความจำเป็นของการประมวลผลแบบขนาน

2.2 ความแตกต่างกับซิงเกิลเธรด

3. ไวยากรณ์พื้นฐานของโมดูล multiprocessing

3.1 วิธีใช้คลาส Process

import multiprocessing

def worker_function():
    print("โปรเซสใหม่กำลังทำงาน")

if __name__ == "__main__":
    process = multiprocessing.Process(target=worker_function)
    process.start()
    process.join()

3.2 วิธีส่งอาร์กิวเมนต์ไปยังโปรเซส

def worker(number):
    print(f'Worker {number} กำลังทำงาน')

if __name__ == "__main__":
    process = multiprocessing.Process(target=worker, args=(5,))
    process.start()
    process.join()

4. การแชร์ข้อมูลและการซิงโครไนซ์

4.1 การใช้หน่วยความจำร่วมในการแชร์ข้อมูล

import multiprocessing

def increment_value(shared_value):
    with shared_value.get_lock():
        shared_value.value += 1

if __name__ == "__main__":
    shared_value = multiprocessing.Value('i', 0)
    processes = [multiprocessing.Process(target=increment_value, args=(shared_value,)) for _ in range(5)]

    for process in processes:
        process.start()

    for process in processes:
        process.join()

    print(f'ค่าที่ได้สุดท้าย: {shared_value.value}')

4.2 การใช้ Lock เพื่อป้องกันการชนกันของข้อมูล

5. การกระจายงานด้วย Process Pool

5.1 การใช้คลาส Pool

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == "__main__":
    with Pool(4) as pool:
        results = pool.map(square, range(10))
    print(results)

แผนภาพ: การกระจายงานด้วย Pool

5.2 ตัวอย่างการใช้ starmap

def multiply(x, y):
    return x * y

if __name__ == "__main__":
    with Pool(4) as pool:
        results = pool.starmap(multiply, [(1, 2), (3, 4), (5, 6), (7, 8)])
    print(results)

6. การใช้ทรัพยากร CPU ให้มีประสิทธิภาพสูงสุด

6.1 การใช้ cpu_count() เพื่อปรับจำนวนโปรเซส

from multiprocessing import Pool, cpu_count

if __name__ == "__main__":
    with Pool(cpu_count() - 1) as pool:
        results = pool.map(square, range(100))
    print(results)

6.2 การใช้ทรัพยากรระบบอย่างมีประสิทธิภาพ

7. กรณีการใช้งานจริงและแนวทางปฏิบัติที่ดีที่สุด

7.1 ตัวอย่างการใช้งานจริง

• การประมวลผลข้อมูลขนาดใหญ่: อ่านและประมวลผลหลายไฟล์พร้อมกัน
• การฝึกโมเดล Machine Learning แบบขนาน: รันการเทรนโมเดลหลายโปรเซสพร้อมกันเพื่อลดเวลา
• การทำ Web Crawling: ดึงข้อมูลจากหลายเพจพร้อมกันอย่างมีประสิทธิภาพ

7.2 แนวทางปฏิบัติที่ดีที่สุด

• การจัดสรรทรัพยากรอย่างเหมาะสม: กำหนดจำนวนโปรเซสตามจำนวนคอร์จริง
• การใช้ Debug และ Logging: ใช้ logging เพื่อติดตามสถานะของโปรเซสและจัดการข้อผิดพลาด

import logging
import multiprocessing

def worker_function():
    logging.info(f'โปรเซส {multiprocessing.current_process().name} เริ่มทำงาน')

if __name__ == "__main__":
    logging.basicConfig(level=logging.INFO)
    process = multiprocessing.Process(target=worker_function, name='Worker1')
    process.start()
    process.join()

• การจัดการข้อผิดพลาด: เนื่องจากมีหลายโปรเซสทำงานพร้อมกัน ต้องมีการใช้ try-except เพื่อจัดการข้อผิดพลาดไม่ให้กระทบกับโปรเซสอื่น

8. สรุป