browser automation

CRITICAL RULES — VIOLATIONS WILL BREAK THE WORKFLOW: Never run midscene commands in the background. Each command must run synchronously so you can read its output (especially screenshots) before deciding the next action. Background execution breaks the screenshot-analyze-act loop.

Run only one midscene command at a time. Wait for the previous command to finish, read the screenshot, then decide the next action. Never chain multiple commands together.

Allow enough time for each command to complete. Midscene commands involve AI inference and screen interaction, which can take longer than typical shell commands. A typical command needs about 1 minute; complex act commands may need even longer.

Automazione del browser basata sulla visione utilizzando Midscene. Funziona interamente tramite screenshot: non sono richieste DOM o etichette di accessibilità. Può interagire con tutti gli elementi visibili sullo schermo indipendentemente dallo stack tecnologico. Apre una nuova scheda del browser per ciascun URL di destinazione tramite Puppeteer (Chrome senza testa). Utilizza questa abilità quando l'utente desidera: - Sfoglia, naviga o apri pagine web - Raschiare, estrarre o raccogliere dati da siti Web - Compila moduli, fai clic sui pulsanti o interagisci con elementi web - Verificare, convalidare o testare il comportamento dell'interfaccia utente del frontend - Cattura screenshot delle pagine web - Automatizza i flussi di lavoro web in più fasi - Esegui l'automazione del browser o controlla il contenuto del sito web Realizzato da Midscene.js (https://midscenejs.com) Fonte: web-infra-dev/midscene-skills.