Python multiprocessing | प्रक्रिया आधारदेखि प्रयोगसम्म

1. परिचय

2. multiprocessing भनेको के हो？

2.1 समानान्तर प्रक्रिया को आवश्यकता

2.2 सिंगल थ्रेडसँगको भिन्नता

3. multiprocessing मोड्युलको मूल संरचना

3.1 Process क्लासको प्रयोग

import multiprocessing

def worker_function():
    print("नयाँ प्रक्रिया चलाइयो")

if __name__ == "__main__":
    process = multiprocessing.Process(target=worker_function)
    process.start()
    process.join()

3.2 प्रक्रियामा आर्गुमेन्ट पास गर्ने तरिका

def worker(number):
    print(f'Worker {number} चलाइयो')

if __name__ == "__main__":
    process = multiprocessing.Process(target=worker, args=(5,))
    process.start()
    process.join()

4. डेटा साझेदारी र समक्रमण

4.1 साझा मेमोरी प्रयोग गरेर डेटा साझेदारी

import multiprocessing

def increment_value(shared_value):
    with shared_value.get_lock():
        shared_value.value += 1

if __name__ == "__main__":
    shared_value = multiprocessing.Value('i', 0)
    processes = [multiprocessing.Process(target=increment_value, args=(shared_value,)) for _ in range(5)]

    for process in processes:
        process.start()

    for process in processes:
        process.join()

    print(f'अन्तिम मान: {shared_value.value}')

4.2 लक प्रयोग गरेर डेटा प्रतिस्पर्धा रोक्नु

5. प्रोसेस पूल प्रयोग गरेर कार्यको वितरण

5.1 Pool वर्गको प्रयोग

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == "__main__":
    with Pool(4) as pool:
        results = pool.map(square, range(10))
    print(results)

चित्रण: Pool वर्गद्वारा कार्य वितरण

5.2 अनुप्रयोग उदाहरण: starmap प्रयोग गरेर बहु-आर्ग्युमेन्टको प्रक्रिया

def multiply(x, y):
    return x * y

if __name__ == "__main__":
    with Pool(4) as pool:
        results = pool.starmap(multiply, [(1, 2), (3, 4), (5, 6), (7, 8)])
    print(results)

6. CPU स्रोतको उत्तम उपयोग

6.1 cpu_count() प्रयोग गरेर प्रक्रिया संख्या अनुकूलन

from multiprocessing import Pool, cpu_count

if __name__ == "__main__":
    with Pool(cpu_count() - 1) as pool:
        results = pool.map(square, range(100))
    print(results)

6.2 सिस्टम स्रोतको प्रभावकारी उपयोग

7. वास्तविक उपयोग केसहरू र सर्वश्रेष्ठ अभ्यासहरू

7.1 उपयोग केसका विशिष्ट उदाहरणहरू

• ठूलो डेटा प्रशोधन: धेरै फाइलहरूलाई एकै समयमा पढ्न र प्रक्रिया गर्न आवश्यक पर्दा उपयोगी हुन्छ।
• मेशिन लर्निङको समानान्तर प्रशिक्षण: मोडेलको प्रशिक्षणलाई धेरै प्रक्रियाहरूमा एकै समयमा चलाएर समय घटाउँछ।
• वेब क्रोलिङ: धेरै पृष्ठहरूलाई समानान्तरमा क्रोल गरेर, प्रभावकारी रूपमा डेटा सङ्कलन गर्न सकिन्छ।

7.2 सर्वश्रेष्ठ अभ्यासहरू

• संसाधनको उत्तम वितरण: प्रणालीको भौतिक कोर संख्याको आधारमा उपयुक्त प्रक्रिया संख्या सेट गर्नु।
• डिबगिङ र लगिङको उपयोग: logging मोड्युल प्रयोग गरेर, प्रत्येक प्रक्रियाको स्थितिलाई ट्र्याक गरी, त्रुटि ह्यान्डलिङलाई उपयुक्त रूपमा सञ्चालन गर्नु।

import logging
import multiprocessing

def worker_function():
    logging.info(f'प्रक्रिया {multiprocessing.current_process().name} सुरु भयो')

if __name__ == "__main__":
    logging.basicConfig(level=logging.INFO)
    process = multiprocessing.Process(target=worker_function, name='वर्कर1')
    process.start()
    process.join()

• त्रुटि ह्यान्डलिङको कार्यान्वयन: multiprocessing मा, धेरै प्रक्रियाहरू एकै समयमा चल्ने कारण त्रुटि ह्यान्डलिङ महत्त्वपूर्ण हुन्छ। प्रक्रिया असामान्य रूपमा समाप्त भए पनि, मुख्य प्रक्रिया वा अन्य प्रक्रियाहरूलाई असर नपरोसको लागि, try-except वाक्य प्रयोग गरेर त्रुटि ह्यान्डलिङ कार्यान्वयन गर्नु।

8. सारांश