Что такое crawl?
Сканируйте любой веб-сайт и сохраняйте страницы в виде локальных файлов уценки. Используйте, когда вам нужно загрузить документацию, базы знаний или веб-контент для автономного доступа или анализа. Код не требуется — просто укажите URL. Источник: tavily-ai/tavily-plugins.