authenticated-web-scraper

Scrapes content from websites that require authentication (2FA, SSO, corporate login) by leveraging the user's Windows Edge browser via Chrome DevTools Protocol (CDP). Designed for WSL2 environments where Playwright/Puppeteer can't directly reach Windows browser ports.

Key insight: WSL2 cannot reach Windows localhost:9222 directly. The scraper script must run on the Windows side via cmd.exe /c "node script.mjs".

Tell user to authenticate, then confirm they can see content.

Edge CDP を使用して、認証された Web サイトを WSL2 からスクレイピングします。ユーザー認証のためにヘッド付き Edge を起動し、次に Chrome DevTools プロトコル経由でヘッドレス スクレイピングを起動します。内部 Wiki、ドキュメント サイト、または 2FA/SSO ログインが必要なサイトをミラーリングする場合に使用します。 ソース: rysweet/amplihack。