desktop computer automation

CRITICAL RULES — VIOLATIONS WILL BREAK THE WORKFLOW: Never run midscene commands in the background. Each command must run synchronously so you can read its output (especially screenshots) before deciding the next action. Background execution breaks the screenshot-analyze-act loop.

Run only one midscene command at a time. Wait for the previous command to finish, read the screenshot, then decide the next action. Never chain multiple commands together.

Allow enough time for each command to complete. Midscene commands involve AI inference and screen interaction, which can take longer than typical shell commands. A typical command needs about 1 minute; complex act commands may need even longer.

أتمتة سطح المكتب المستندة إلى الرؤية باستخدام Midscene. تحكم في سطح المكتب (macOS وWindows وLinux) باستخدام أوامر اللغة الطبيعية. يعمل بالكامل من لقطات الشاشة - لا يلزم وجود DOM أو تسميات إمكانية الوصول. يمكن التفاعل مع جميع العناصر المرئية على الشاشة بغض النظر عن مجموعة التكنولوجيا. المشغلات: فتح التطبيق، اضغط على المفتاح، سطح المكتب، الكمبيوتر، انقر على الشاشة، اكتب النص، لقطة شاشة لسطح المكتب، إطلاق التطبيق، نافذة التبديل، أتمتة سطح المكتب، التحكم في الكمبيوتر، النقر بالماوس، اختصار لوحة المفاتيح، التقاط الشاشة، البحث على الشاشة، قراءة الشاشة، التحقق من النافذة، إغلاق التطبيق، تصغير النافذة، تكبير النافذة مدعوم من Midscene.js (https://midscenejs.com) المصدر: web-infra-dev/midscene-skills.