Maus mit Python automatisieren! PyAutoGUI-Leitfaden [Bilderkennung, Klick, Japanisch]

1. Einleitung (Vorteile und Anwendungsfälle der Automatisierung von Mausoperationen mit Python)

• Automatisierung von standardisierten Dateneingaben oder einfachen Aufgaben, die das mehrmalige Klicken am selben Ort erfordern
• Regelmäßige Überprüfung von Webseiten oder Anwendungen sowie das Erstellen von Screenshots
• Wiederholte Operationen in Spielen wie Farming-Runden oder Reroll (Reroll für bessere Werte) in festen Mustern
• Verwendung in der Batch-Verarbeitung von Geschäftssoftware oder als Teil von RPA (Robotic Process Automation)

2. Vorauswissen und Vorbereitung

pip install pyautogui
pip install pyperclip pillow

import pyautogui
print(pyautogui.position())

3. Grundlagen der Mausoperationen mit Python

3-1. Methode zum Bewegen des Mauszeigers

import pyautogui
pyautogui.moveTo(100, 200)

pyautogui.moveTo(500, 300, duration=2)

pyautogui.moveRel(50, 0)  # Nach rechts 50px bewegen

3-2. Klickoperationen (Einfach / Doppel / Rechtsklick)

pyautogui.click(400, 400)

pyautogui.doubleClick(400, 400)      # Doppelklick
pyautogui.rightClick(400, 400)       # Rechtsklick
pyautogui.click(400, 400, button='right')  # Rechtsklick (auch mit Argumentangabe OK)
pyautogui.click(400, 400, clicks=3, interval=0.5)  # 3 aufeinanderfolgende Klicks (0,5 Sekunden Intervall)

3-3. Drag-&-Drop-Operationen

# Von (300, 300) nach (600, 600) in 2 Sekunden draggen
pyautogui.moveTo(300, 300)
pyautogui.dragTo(600, 600, duration=2)

pyautogui.dragRel(100, 0, duration=1)  # Von aktueller Position nach rechts 100px draggen

3-4. Scrollen mit dem Mausrad

pyautogui.scroll(500)   # Um 500px nach oben scrollen
pyautogui.scroll(-300)  # Um 300px nach unten scrollen

4. Koordinaten-Erfassung und automatisches Klicken durch Bilderkennung

4-1. Methode zur Erhalt von Bildschirmkoordinaten

import pyautogui
input("Bewegen Sie den Mauszeiger zur Position, deren Koordinaten Sie erhalten möchten, und drücken Sie Enter:")
print(pyautogui.position())

pyautogui.displayMousePosition()

4-2. Klickposition durch Bildabgleich (Bilderkennung) spezifizieren

import pyautogui

# Suchen Sie auf dem Bildschirm nach dem Bereich, der mit button.png übereinstimmt, und klicken Sie auf dessen Zentrum
location = pyautogui.locateCenterOnScreen('button.png', confidence=0.8)
if location is not None:
    pyautogui.click(location)
else:
    print("Das Bild wurde nicht gefunden.")

• Passen Sie die Auflösung und Größe des Screenshot-Bilds so gut wie möglich an die tatsächliche Anzeige an
• Aufgrund von Unterschieden im OS oder Bildschirmvergrößerung kann es zu Nichtübereinstimmungen kommen
• Wenn sich die Farbe oder das Design des Buttons ändert, ist die Erkennung schwierig

5. Techniken zur Integration mit automatischer Tastatureingabe

5-1. Zeichen-Eingabe und Spezialtasten-Bedienung

import pyautogui

pyautogui.write('Hello, world!')          # Eingabe von alphanumerischen Zeichen
pyautogui.press('enter')                  # Enter-Taste drücken
pyautogui.hotkey('ctrl', 'a')             # Ctrl + A (Alles auswählen) senden
pyautogui.hotkey('ctrl', 'c')             # Ctrl + C (Kopieren)
pyautogui.hotkey('ctrl', 'v')             # Ctrl + V (Einfügen)

5-2. Tipps zur Automatisierung der japanischen Eingabe

import pyautogui
import pyperclip
import time

text = "Hallo, Python-Automatisierung!"
pyperclip.copy(text)                           # String in die Zwischenablage kopieren
pyautogui.hotkey('ctrl', 'v')                 # Mit Ctrl + V einfügen
time.sleep(0.2)                               # Zur Sicherheit kurz warten
pyautogui.press('enter')                      # Mit Enter bestätigen

5-3. Beispiel für die Kombination von Maus und Tastatur

import pyautogui
import pyperclip
import time

# Eingabefeld klicken
pyautogui.click(500, 350)

# Japanisch einfügen und Enter
pyperclip.copy("Testnachricht")
pyautogui.hotkey('ctrl', 'v')
time.sleep(0.2)
pyautogui.press('enter')

6. Sammlung praktischer Beispielcodes, die häufig verwendet werden

6-1. Skript für automatisches Klicken an angegebenen Koordinaten

import pyautogui
 import time

 # 10-mal, im Abstand von 2 Sekunden, auf Koordinate (400, 500) klicken
 for i in range(10):
     pyautogui.click(400, 500)
     time.sleep(2)

6-2. Button durch Bilderkennung finden und klicken

import pyautogui
 import time

 for i in range(5):
     location = pyautogui.locateCenterOnScreen('button.png', confidence=0.8)
     if location is not None:
         pyautogui.click(location)
         print("Button wurde geklickt")
     else:
         print("Button wurde nicht gefunden")
     time.sleep(1)

6-3. Umschalten zwischen mehreren Fenstern und automatisierte Bedienung

import pyautogui
 import time

 # Mit Alt + Tab das Fenster umschalten und klicken
 pyautogui.hotkey('alt', 'tab')
 time.sleep(0.5)
 pyautogui.click(300, 300)

6-4. Koordination von Maus- und Tastatureingaben

import pyautogui
 import pyperclip
 import time

 # Auf das Eingabefeld klicken und Text einfügen
 pyautogui.click(600, 400)
 pyperclip.copy("Automatisierungstestnachricht")
 pyautogui.hotkey('ctrl', 'v')
 time.sleep(0.2)
 pyautogui.press('enter')

7. Fortgeschrittene Tipps und Maßnahmen bei Problemen

7-1. Checkliste, wenn Klicks nicht funktionieren

• Fenster in den Vordergrund bringen Wenn das zu bedienende Fenster oder die Anwendung nicht im Vordergrund angezeigt wird, kann der Klick nicht wie erwartet ausgeführt werden. Es ist hilfreich, pyautoguis hotkey() usw. zu verwenden, um das Fenster mit Alt+Tab in den Vordergrund zu bringen.
• Koordinatenverschiebung – Unterschiede in der Bildschirmauflösung Wenn sich die Bildschirmauflösung oder Skalierungseinstellungen zwischen der Entwicklungsumgebung und der tatsächlichen Betriebsumgebung unterscheiden, können die angegebenen Koordinaten versetzt werden. Der Schlüssel ist, die Umgebung zu vereinheitlichen oder Bilderkennung zu kombinieren, um die Flexibilität der Koordinatenspezifikation zu erhöhen.
• Bilderkennung funktioniert nicht Selbst leichte Unterschiede in der Auflösung oder Farbgebung von Schaltflächen- oder Symbolbildern können zu einer Nicht-Erkennung führen. Erfassen Sie das Bild neu oder passen Sie den confidence-Wert an und versuchen Sie es erneut.

7-2. Schleifenverarbeitung – Automatischer Klick in festen Intervallen

import pyautogui
 import time

 try:
     while True:
         pyautogui.click(400, 500)
         time.sleep(60)  # Klick alle Minute
 except KeyboardInterrupt:
     print("Manuell gestoppt")

7-3. Sicherheitsmaßnahmen während der Automatisierungsausführung (PAUSE und FAILSAFE)

• pyautogui.PAUSE Eine Einstellung, die automatisch eine Wartezeit nach jeder Ausführung einer pyautogui-Funktion einfügt. Nützlich für die Koordination mit manuellen Operationen und Stabilisierung der Aktionen.

  import pyautogui
  pyautogui.PAUSE = 0.5  # 0,5 Sekunden Wartezeit zwischen allen Aktionen

• pyautogui.FAILSAFE Wenn Sie die Maus in die obere linke Ecke des Bildschirms bewegen, wird das Skript erzwungen gestoppt (standardmäßig aktiviert).

  import pyautogui
  pyautogui.FAILSAFE = True  # Sicherheitsvorrichtung aktivieren (Standard)

7-4. Unterschiede und Hinweise für jedes OS (Windows/Mac/Linux)

• Achtung bei Shortcut-Tasten (z. B. Unterschiede zwischen Ctrl und Cmd)
• Die Genauigkeit der Bilderkennung oder die Spezifikationen der Fensterverwaltung können je nach OS variieren
• Bestimmte Funktionen oder Tasteneingaben werden möglicherweise nur auf einigen OS unterstützt

8. Entwicklung zu GUI-Tools, Batch-Verarbeitung und exe-Dateien

8-1. GUI-Toolisierung (Nutzung von PySimpleGUI)

import PySimpleGUI as sg

import pyautogui
import time

layout = [
    [sg.Text('Klickkoordinaten (X, Y):')],
    [sg.InputText('400', key='X'), sg.InputText('500', key='Y')],
    [sg.Button('Klick starten'), sg.Button('Beenden')]
]

window = sg.Window('Maus-Autoklick-Tool', layout)

while True:
    event, values = window.read()
    if event in (None, 'Beenden'):
        break
    if event == 'Klick starten':
        x = int(values['X'])
        y = int(values['Y'])
        pyautogui.click(x, y)
        sg.popup('Geklickt')
window.close()

8-2. Batch-Verarbeitung – Ausführung mehrerer Aktionen in einer Charge

@echo off
python my_mouse_script.py
pause

8-3. exe-Datei (Erstellung ausführbarer Dateien für die Verteilung mit PyInstaller)

pip install pyinstaller

pyinstaller --onefile my_mouse_script.py

9. Zusammenfassung und zukünftige Entwicklungen

• Automatisierung wiederholter Aufgaben oder einfacher Operationen führt zu „Zeitersparnis“ und „Qualitätsverbesserung“
• Vielfältige Nutzung durch Kombination mit Bilderkennung oder Automatisierung der Tastatureingabe
• Durch Berücksichtigung von Maßnahmen bei Problemen und sicherem Design ist ein stabiler Betrieb möglich
• Entwicklungspotenzial in leicht teilbare Formen wie GUI-Umsetzung oder .exe-Erstellung

10. FAQ (Häufig gestellte Fragen und Antworten)

Q1. Funktioniert es auf Windows, Mac und Linux?

Q2. Was tun, wenn die Japanisch-Eingabe nicht funktioniert?

Q3. Was tun, wenn die Bilderkennungs-Klick-Funktion nicht funktioniert oder fehlschlägt?

• Ob das Screenshot-Bild die gleiche Größe und Farbgebung wie der tatsächliche Button oder das Icon hat
• Ob die Bildschirmvergrößerung oder Auflösung geändert wurde
• Ob Sie den confidence-Wert (z. B. 0.8 oder 0.9) anpassen, um die Erkennungsrate zu verbessern
• Ob das Design des Buttons oder Icons geändert wurde

Q4. Warum stoppt das Skript während der Ausführung oder gibt es Fehler?

Q5. Wie kann ich die Klickgeschwindigkeit oder die Intervalle der Aktionen anpassen?

Q6. Kann ich auch andere Operationen (Tastatur oder Bildschirmfotos usw.) automatisieren?