使用 Python 自動化滑鼠操作！PyAutoGUI 完整指南【影像辨識・點擊・日文輸入對應】

1. 引言（使用Python自動化滑鼠操作的優點・應用實例）

• 定型資料輸入，或多次點擊相同位置的簡單作業自動化
• 網頁或應用程式的定期檢查，或擷取螢幕截圖
• 遊戲內的周回或重刷等，固定模式的重複操作
• 業務軟體的批次處理，或作為RPA（機器人流程自動化）的一部分活用

2. 前提知識與準備

pip install pyautogui
pip install pyperclip pillow

import pyautogui
print(pyautogui.position())

3. 使用 Python 進行滑鼠操作的基礎

3-1. 滑鼠游標的移動方法

import pyautogui
pyautogui.moveTo(100, 200)

pyautogui.moveTo(500, 300, duration=2)

pyautogui.moveRel(50, 0)  # 向右移動 50px

3-2. 點擊操作（單擊／雙擊／右鍵點擊）

pyautogui.click(400, 400)

pyautogui.doubleClick(400, 400)      # 雙擊
pyautogui.rightClick(400, 400)       # 右鍵點擊
pyautogui.click(400, 400, button='right')  # 右鍵點擊（指定引數也可）
pyautogui.click(400, 400, clicks=3, interval=0.5)  # 連續點擊 3 次（間隔 0.5 秒）

3-3. 拖曳＆放下操作

# 從 (300, 300) 拖曳到 (600, 600)，花費 2 秒
pyautogui.moveTo(300, 300)
pyautogui.dragTo(600, 600, duration=2)

pyautogui.dragRel(100, 0, duration=1)  # 從目前位置向右拖曳 100px

3-4. 使用滑鼠滾輪進行滾動

pyautogui.scroll(500)   # 向上滾動 500px
pyautogui.scroll(-300)  # 向下滾動 300px

4. 座標取得・影像辨識的自動點擊

4-1. 螢幕座標的取得方法

import pyautogui
input("將滑鼠游標移動到想取得座標的位置，按 Enter 鍵：")
print(pyautogui.position())

pyautogui.displayMousePosition()

4-2. 使用影像匹配（影像辨識）特定點擊位置

import pyautogui

# 在螢幕上搜尋與 button.png 一致的位置，並點擊其中央
location = pyautogui.locateCenterOnScreen('button.png', confidence=0.8)
if location is not None:
    pyautogui.click(location)
else:
    print("找不到影像。")

• 螢幕截圖影像盡可能與實際顯示的解析度或大小相符
• 因作業系統或螢幕放大率的差異可能無法匹配
• 按鈕顏色或設計變更時難以辨識

5. 與鍵盤自動輸入的聯動技巧

5-1. 文字輸入與特殊鍵操作

import pyautogui

pyautogui.write('Hello, world!')          # 英數字的輸入
pyautogui.press('enter')                  # 按下 Enter 鍵
pyautogui.hotkey('ctrl', 'a')             # 傳送 Ctrl + A（全選）
pyautogui.hotkey('ctrl', 'c')             # Ctrl + C（複製）
pyautogui.hotkey('ctrl', 'v')             # Ctrl + V（貼上）

5-2. 自動化日文輸入的訣竅

import pyautogui
import pyperclip
import time

text = "你好，Python 自動化！"
pyperclip.copy(text)                           # 將字串複製到剪貼簿
pyautogui.hotkey('ctrl', 'v')                 # 以 Ctrl + V 貼上
time.sleep(0.2)                               # 為了保險起見稍等片刻
pyautogui.press('enter')                      # 以 Enter 鍵確定

5-3. 滑鼠與鍵盤的聯動範例

import pyautogui
import pyperclip
import time

# 點擊輸入欄
pyautogui.click(500, 350)

# 貼上日文並按 Enter
pyperclip.copy("測試訊息")
pyautogui.hotkey('ctrl', 'v')
time.sleep(0.2)
pyautogui.press('enter')

6. 常用實踐範例程式碼集

6-1. 指定座標自動點擊的腳本

import pyautogui
 import time

 # 10 次、間隔 2 秒點擊座標 (400, 500)
 for i in range(10):
     pyautogui.click(400, 500)
     time.sleep(2)

6-2. 使用影像辨識尋找並點擊按鈕

import pyautogui
 import time

 for i in range(5):
     location = pyautogui.locateCenterOnScreen('button.png', confidence=0.8)
     if location is not None:
         pyautogui.click(location)
         print("已點擊按鈕")
     else:
         print("找不到按鈕")
     time.sleep(1)

6-3. 切換多個視窗並自動操作

import pyautogui
 import time

 # 使用 Alt + Tab 切換視窗，並點擊
 pyautogui.hotkey('alt', 'tab')
 time.sleep(0.5)
 pyautogui.click(300, 300)

6-4. 滑鼠操作＋鍵盤操作的聯動

import pyautogui
 import pyperclip
 import time

 # 點擊輸入欄，並貼上自動化測試訊息
 pyautogui.click(600, 400)
 pyperclip.copy("自動化測試訊息")
 pyautogui.hotkey('ctrl', 'v')
 time.sleep(0.2)
 pyautogui.press('enter')

7. 應用技巧・故障排除

7-1. 點擊無效時的檢查清單

• 視窗的前置化 操作目標的視窗或應用程式若未顯示在「最前面」，可能無法如預期般點擊。pyautogui 的 hotkey() 等功能，使用 Alt+Tab 將視窗前置的技巧也很有效。
• 座標偏移・畫面解析度的差異 開發環境與實際運作環境的畫面解析度或縮放設定若不同，指定的座標可能會偏移。統一環境，或結合影像辨識來提升座標指定的彈性是重點。
• 影像辨識無法運作 按鈕或圖示影像的解析度或色調僅稍有不同，就可能無法辨識。請重新擷取影像，或調整 confidence 值後再試。

7-2. 迴圈處理・固定間隔的自動點擊

import pyautogui
 import time

 try:
     while True:
         pyautogui.click(400, 500)
         time.sleep(60)  # 每分點擊一次
 except KeyboardInterrupt:
     print("手動停止了")

7-3. 自動化執行中的安全措施（PAUSE 和 FAILSAFE）

• pyautogui.PAUSE 所有 pyautogui 函式執行後，自動插入等待時間的設定。與人類操作的兼顧或動作穩定化也很有效。

  import pyautogui
  pyautogui.PAUSE = 0.5  # 所有動作之間等待 0.5 秒

• pyautogui.FAILSAFE 將滑鼠移動到畫面左上角，即可強制停止腳本（預設為啟用）。

  import pyautogui
  pyautogui.FAILSAFE = True  # 啟用安全裝置（預設）

7-4. 各 OS（Windows/Mac/Linux）的差異・注意事項

• 快捷鍵（例如 Ctrl 和 Cmd 的差異）需注意
• 影像辨識的精度或視窗管理的規格可能因 OS 而異
• 特定功能或按鍵輸入可能僅在某些 OS 上支援

8. 向 GUI 工具、批次化、exe 化的發展

8-1. GUI 工具化（PySimpleGUI 的活用）

import PySimpleGUI as sg
 import pyautogui
 import time

 layout = [
     [sg.Text('點擊座標 (X, Y):')],
     [sg.InputText('400', key='X'), sg.InputText('500', key='Y')],
     [sg.Button('點擊開始'), sg.Button('結束')]
 ]

 window = sg.Window('滑鼠自動點擊工具', layout)

 while True:
     event, values = window.read()
     if event in (None, '結束'):
         break
     if event == '點擊開始':
         x = int(values['X'])
         y = int(values['Y'])
         pyautogui.click(x, y)
         sg.popup('已點擊')
 window.close()

8-2. 批次處理化・多個動作的一括執行

@echo off
 python my_mouse_script.py
 pause

8-3. exe 化（使用 PyInstaller 製作散布用執行檔）

pip install pyinstaller

pyinstaller --onefile my_mouse_script.py

9. 總結・今後的發展

• 重複作業或簡單操作的自動化所帶來的「時間縮短」與「品質提升」
• 與影像辨識或鍵盤輸入自動化的組合，帶來多樣的活用
• 意識到故障時的對策・安全設計，從而能穩定運作
• GUI化或exe化等，容易與周圍分享的形式的發展性

10. FAQ（常見問題與解答）

Q1. Windows・Mac・Linux 都能運作嗎？

Q2. 日文輸入無法順利進行時的對策是？

Q3. 影像辨識點擊無法進行・失敗時該怎麼辦？

• 螢幕截圖影像是否與實際的按鈕或圖示相同大小・色調
• 畫面放大率或解析度是否未變更
• 調整 confidence 值（例如：0.8 或 0.9）來提高辨識率
• 按鈕或圖示的設計是否未變更

Q4. 執行中腳本停止・發生錯誤的原因是什麼？

Q5. 想調整點擊速度或動作間隔時該怎麼做？

Q6. 除了滑鼠操作（鍵盤或畫面擷取等）也能自動化嗎？