Веб-скрапинг ZoomInfo: как безопасно извлекать данные о компаниях и людях

Парсинг ZoomInfo можно выполнять по-разному. Используйте широкий спектр инструментов разведки, включая готовые решения. Или пишите собственные скрипты с нуля. 

В этом руководстве мы детально разберем скрапинг ZoomInfo. Обсудим, как это делать, зачем это нужно, частые проблемы и многое другое. Вам нужно готовое или кастомное решение? Тогда этот гайд — то, что вы искали. 

Основные выводы

• ZoomInfo предоставляет доступ к данным о компаниях и людях. Это полезно для продаж, маркетинга и аналитики.
• Платформы с детальной информацией упрощают исследования. Это выгодно бизнесу, аналитикам и провайдерам услуг скрапинга.
• Сбор данных с ZoomInfo должен быть легальным. Соблюдайте этические нормы, условия использования сервиса и законы о конфиденциальности.
• Для эффективного парсинга нужен правильный Python-сетап. Потребуются инструменты вроде Selenium, httpx и BeautifulSoup.
• Веб-страницы ZoomInfo динамические. Часто используется встроенный JSON, что делает извлечение данных проще.
• Скрапинг включает несколько этапов. Загрузка страницы, поиск элементов или JSON, извлечение информации, ее очистка и сохранение.
• Чтобы избежать блокировок, сервисы используют ротируемые прокси. Также добавляют задержки, имитируют поведение реального браузера и ответственно подходят к масштабированию.

Зачем парсить данные с ZoomInfo

Главная причина — доступ к огромным объемам информации. Вы получаете сведения о компаниях и их сотрудниках. Что именно можно собрать? Детальные профили организаций, фирмографические данные, списки персонала, должности. Доступны прямые контакты (из баз данных), оценки выручки, технологические стеки и сигналы о намерениях.

Бизнес использует эти данные для построения стратегии. Продажи, маркетинг, рекрутинг — сферы применения обширны. Для B2B-компаний эта информация критически важна. Она помогает командам продаж запускать более эффективные B2B-кампании. В целом, бизнес извлекает данные из ZoomInfo для создания списков целевых лидов и обогащения CRM-систем. Также это полезно для изучения рыночных трендов, улучшения охватов и бизнес-разведки.

Юридические и этические соображения

Избегайте потенциальных штрафов. Вот ключевые моменты, о которых нужно помнить при скрапинге ZoomInfo:

• Условия обслуживания: Данные ZoomInfo защищены строгими правилами. Платформа диктует свои условия. Обязательно прочтите и соблюдайте их перед запуском любых задач по скрапингу.
• Автоматический сбор данных: Важно помнить — автоматизация может нарушать условия. Это ведет к бану IP или юридическим искам. Действуйте крайне осторожно.
• Регулирование: Учитывайте регион, с которым работаете. Законы о конфиденциальности, такие как GDPR и CCPA, регулируют защиту личных данных. Обращайтесь с контактной информацией ответственно. Не допускайте утечки чувствительных данных.
• Авторское право: Этичный скрапинг требует уважения к правилам платформы и правам на данные. Перепродажа информации, полученной с таких ресурсов как ZoomInfo, может быть запрещена.
• Альтернативы скрапингу: Хотите избежать рисков? Рассмотрите официальные API или лицензионный доступ. Это избавит от недостатков, связанных с парсингом данных.

Настройка проекта

Перед стартом нужно подготовиться. Это поможет избежать сбоев в процессе. Сначала создайте чистое рабочее пространство Python (virtualenv). Это изолирует зависимости.

Вам понадобятся ключевые библиотеки Python. Selenium необходим для страниц, перегруженных JS. Httpx послужит отличным асинхронным HTTP-клиентом. А BeautifulSoup пригодится для парсинга.

Настройка окружения

Вот процедура, которой можно следовать при настройке среды:

1. Установка Python: Установите Python 3.10 или новее. Создайте виртуальное окружение, чтобы держать зависимости отдельно.
2. Установка библиотек: Установите основные инструменты командой pip install playwright httpx beautifulsoup4. Playwright отвечает за автоматизацию браузера, httpx — за HTTP-запросы, а BeautifulSoup — за разбор кода. Затем инсталлируйте браузеры Playwright, используя python -m playwright install.

Предварительные требования для скрапинга ZoomInfo

Что нужно для доступа и успешного сбора данных?

• Доступ к данным: Вам нужен аккаунт ZoomInfo. Убедитесь в наличии прав на просмотр нужной информации перед запуском скриптов.
• Инструмент автоматизации браузера: Используйте Playwright или Selenium. Они необходимы для загрузки динамического контента.
• Прокси: Вероятно, потребуются прокси. Ротируемые резидентные или серверные (datacenter) варианты помогут справиться с лимитами. Это снизит риск блокировки IP, которая может прервать сессию скрапинга.
• Интернет-соединение: Канал должен быть быстрым и стабильным. Также продумайте метод управления сессиями для хранения куки и обработки аутентификации.
• Инструменты парсинга: Нужен Parsel или BeautifulSoup. Они извлекут структурированные данные со страницы.
• Хранилище: Позаботьтесь о безопасности. Храните учетные данные или API-ключи в переменных среды или файле .env.

Понимание структуры данных ZoomInfo

Важно понимать структуру данных ZoomInfo до начала работы. Это сэкономит время и ресурсы. Во-первых, страницы ZoomInfo построены на динамическом контенте, управляемом JavaScript. Большинство профилей компаний и людей загружают информацию через встроенные блоки JSON или структурированные HTML-секции.

Понимание организации данных помогает бизнесу. Вы будете точно знать, на что нацелиться при скрапинге и какие инструменты выбрать. Например, страницы компаний обычно содержат основной обзорный раздел. Также есть панели с контактами, фирмография и секции технологий. Профили людей, напротив, включают личные детали, рабочие роли и связи с компаниями. Зная расположение каждой секции, вы сможете извлечь данные максимально точно.

Какие данные можно извлечь из ZoomInfo

Вот исчерпывающий список типов данных о компаниях, которые собирают инструменты скрапинга:

• Название компании.
• Индустрия и сектор.
• Количество сотрудников.
• Оценка выручки.
• Адрес штаб-квартиры.
• Номера телефонов и имейлы (основные бизнес-контакты).
• URL веб-сайта.
• Описание и обзор компании.
• Технологии, используемые компанией.
• Ключевые лица принимающие решения (ЛПР) и их должности.
• Ссылки на социальные сети.
• Данные о намерениях или сигналы к покупке (если доступны).

Определение расположения данных в HTML

Следуйте этим шагам, чтобы найти целевые элементы и получить доступ к данным:

1. Откройте страницу профиля в браузере, например в Google Chrome. Запустите инструменты разработчика (ПКМ → Просмотреть код / Inspect).
2. Используйте панель Elements. Изучите структуру страницы и найдите секции с нужными данными.
3. Наведите курсор на элементы. Это подсветит их расположение на странице. Так проще убедиться, что вы нашли верный блок.
4. Используйте CSS-селекторы (например, .company-info__name) или XPath (например, //h1[@class=’title’]) для нацеливания на конкретные элементы при скрапинге.
5. Не забывайте проверять встроенный JSON внутри тегов <script>. Многие страницы ZoomInfo загружают структурированные данные именно туда. Парсить эти блоки скриптов часто надежнее, чем скрапить «сырой» HTML.
6. Скопируйте селектор. Нажмите правой кнопкой мыши на элементе в DevTools и выберите Copy > Copy selector или Copy XPath.
7. Протестируйте селектор в вашем инструменте автоматизации (в данном случае Playwright). Убедитесь, что он возвращает правильный элемент, прежде чем добавлять его в скрипт.

Написание скрапера для ZoomInfo

Вот высокоуровневый рабочий процесс для сбора данных с ZoomInfo:

1. Подтвердите легальность доступа: Прежде чем начать, важно убедиться, что у вас есть право собирать данные с этой платформы.
2. Следуйте четкому пошаговому плану: Ключевые шаги веб-скрапинга таковы: Рендеринг страницы > Поиск данных > Извлечение > Очистка/валидация > Сохранение > Мониторинг ошибок и их исправление. Такая структура держит инструмент в порядке. Это также упрощает поиск проблем, если что-то пойдет не так.
3. Используйте инструмент автоматизации браузера для JS-тяжелых страниц: ZoomInfo подгружает большинство деталей через JavaScript. Используйте инструменты вроде Playwright, чтобы загрузить полную страницу, как это делает реальный браузер. Для большей эффективности комбинируйте их с библиотеками парсинга типа BeautifulSoup или httpx для сетевых запросов.
4. Заложите надежность в инструмент скрапинга: Добавьте логирование для отслеживания событий. Настройте повторные попытки (retries) при сбоях загрузки и ограничение частоты запросов (rate limiting). Не перегружайте сервер.

Скрапинг информации о компании

Вот процедура извлечения информации о компании из ZoomInfo:

1. Загрузите страницу профиля компании полностью: Используйте инструмент автоматизации браузера (Playwright в нашем случае). Откройте страницу и дождитесь завершения http-запроса. Ваша цель — убедиться, что каждая секция профиля компании полностью прогрузилась.
2. Проверьте наличие встроенных данных JSON: Большинство современных страниц хранят структурированную информацию внутри тегов <script>. Эти данные часто содержат детали о компании в чистом формате JSON. Если данные есть в JSON, это самый простой и стабильный источник для парсинга и сохранения.
3. Используйте HTML-элементы, если JSON недоступен: В сценариях, где структурированный JSON не найден, изучите страницу. Найдите стабильные блоки HTML. Playwright предоставляет полный отрендеренный HTML. Затем вы можете использовать BeautifulSoup для извлечения конкретных полей, нацеливаясь на CSS-селекторы или XPath. Элементы, такие как название компании, ссылка на сайт, индустрия и адрес, обычно находятся в предсказуемых контейнерах.
4. Фокусируйтесь на основных полях компании: При веб-скрапинге вы обычно будете извлекать детали, включая имя компании, URL веб-сайта, физический адрес, индустрию или категорию, количество сотрудников и оценки выручки или размера.
5. Очистите и сохраните данные: После извлечения почистите данные. Убедитесь, что они соответствуют единому стилю и формату перед сохранением.
6. Сохраняйте результаты с полезными метаданными: Храните данные в формате CSV или JSONL. Всегда записывайте URL страницы и время извлечения. Наличие этих метаданных упрощает отслеживание и отладку в будущем.

Веб-скрапинг данных о людях или каталогах

1. Загрузите страницу каталога с помощью автоматизации: Страницы людей и каталоги в значительной степени зависят от Javascript. Вам снова понадобится Playwright для загрузки профилей сотрудников. Когда страница полностью прогрузится, можно скроллить или взаимодействовать с ней. Делайте это так же, как обычный пользователь.
2. Обработка пагинации или ленивой загрузки: Большинство страниц используют пагинацию и ленивую загрузку (lazy loading). Новые данные появляются только при переходе на следующую страницу или прокрутке вниз. С помощью Playwright эти действия можно автоматизировать. Это раскроет больше результатов. Если сайт использует фоновый API-запрос для подгрузки новых записей, вы можете отследить это через вкладку Network в браузере. Нашли? Теперь можно извлекать эти данные эффективнее. Используйте HTTP-библиотеку, например httpx или requests. Это позволит избежать ручной загрузки каждой страницы.
3. Извлеките детали о каждом человеке с помощью селекторов и парсеров: Страница загрузила видимые данные? Следующий шаг — вытащить конкретную информацию о разных людях. Найдите HTML-элементы, содержащие имена, должности, email (если показан), номера телефонов и детали компании. Playwright позволяет нацелиться на эти элементы через CSS-селекторы или XPath. Также рассмотрите возможность передачи HTML страницы в библиотеку парсинга, такую как BeautifulSoup. Это поможет извлечь и очистить данные структурированным способом.
4. Повторно используйте сессии и куки, чтобы избежать повторных входов: Страницы каталогов часто требуют, чтобы вы оставались залогинены. Однако постоянный вход в систему может замедлить ваш инструмент или спровоцировать проверки безопасности. Playwright умеет автоматически сохранять куки, необходимые для аутентификации. Так что, если вы позже переключитесь на более быстрые HTTP-запросы для определенных эндпоинтов, можно использовать те же сессионные куки. Вас не выкинет из системы, и блок не прилетит.
5. Контролируйте скорость инструмента, чтобы избежать бана IP: Автоматический веб-скрапинг выглядит подозрительно, если шлет слишком много запросов. И слишком быстро. Используйте Playwright для внедрения временных задержек. Библиотеки типа httpx помогут разнести прямые сетевые запросы во времени при получении дополнительных данных.

Пример фрагмента кода:

from playwright.sync_api import sync_playwright
from bs4 import BeautifulSoup

def scrape_all_text():
    with sync_playwright() as pw:
        browser = pw.chromium.launch(headless=True)
        page = browser.new_page()

        page.goto("https://zoominfo.com/company_name")
        page.wait_for_load_state("networkidle")

        html = page.content()
        browser.close()

        soup = BeautifulSoup(html, "html.parser")
        all_text = soup.get_text(separator=" ", strip=True)

        return all_text

result = scrape_all_text()
print(result)

Этот код извлекает весь видимый текст со всей веб-страницы (https://zoominfo.com/company_name).

Работа с защитой от ботов

При парсинге платформ вроде ZoomInfo, где хранятся чувствительные и ценные данные, вы можете столкнуться со строгими анти-бот системами. Давайте разберем, как обойти эти ограничения.

Использование ротируемых резидентных прокси

С ротируемыми резидентными прокси ваши запросы распределяются по разным IP-адресам. Кажется, что подключения идут от множества разных пользователей. Это снижает риск бана IP. Каждый адрес можно настроить так, чтобы он оставался в рамках лимитов ZoomInfo. Кроме того, резидентные прокси используют IP реальных домашних устройств. ZoomInfo сложнее обнаружить и заблокировать их. Они просто не выглядят как прокси.

Применение стелс-браузеров и решателей капчи (CAPTCHA)

Использование инструментов скрытой автоматизации позволяет вашему браузеру вести себя как реальный пользователь. Это скрывает индикаторы, выдающие активность робота. Такие инструменты корректируют параметры: отпечатки браузера (fingerprints), строки user-agent и другие мелкие детали. На них и смотрят анти-бот системы. В сценариях, где появляется CAPTCHA для проверки человечности, используйте сервисы для её решения. Это поможет вашему инструменту скрапинга преодолевать преграды бесшовно.

Масштабирование и оптимизация сбора данных

Для крупных проектов придется парсить данные с сотен или даже тысяч страниц. Один из способов достичь такого масштаба — запуск нескольких инстансов браузера. Или использование асинхронных стратегий для быстрой обработки больших датасетов. Чтобы оптимизировать процесс, повторно используйте сессии браузера, обрабатывайте пагинацию автоматически и полагайтесь на эндпоинты со структурированными данными, если они доступны.

Веб-скрапинг результатов поиска с пагинацией

Страницы поиска и каталоги обычно показывают результаты на нескольких веб-страницах. Чтобы собрать все данные по запросу, ваш инструмент должен уметь находить кнопку «Далее» или ссылки пагинации и последовательно переходить по ним, шаг за шагом.

Каждый раз при загрузке новой страницы результатов повторяйте процесс извлечения. Сохраняйте записи. Это пошаговое движение гарантирует, что вы захватите полный набор данных, а не только первую страницу выдачи.

Рекурсивный краулинг по связанным компаниям

Платформы разведки, такие как ZoomInfo, обычно предоставляют внутренние ссылки на компании-партнеров, конкурентов или связанные организации. Ваши инструменты скрапинга могут переходить по этим внутренним ссылкам. Это логично расширяет ваш набор данных. Дополнительные профили собираются без ручного поиска каждого из них.

Эта техника называется рекурсивный краулинг. Собрав данные с одного профиля, ваш инструмент находит релевантные ссылки на странице. И посещает их как новые цели. Создается цепочка связанных страниц. Это дает гораздо более богатый датасет при сохранении организованной структуры.

Парсинг ZoomInfo без блокировок

Мы уже упоминали ранее: ZoomInfo и подобные платформы могут заблокировать ваше соединение. Особенно если заметят необычное поведение при скрапинге. Чтобы избежать блокировки, мы рекомендуем использовать прокси с ротацией IP-адресов.

При использовании ротируемых IP ZoomInfo будет видеть эти подключения так, будто они идут с разных устройств. Это позволяет вашему инструменту отправлять множество запросов, не триггеря детекторы ботов.

Другие техники, помогающие избежать бана, включают добавление коротких случайных задержек между загрузками страниц. Также используйте реалистичные заголовки браузера, соответствующие обычному трафику. Поддерживайте постоянные отпечатки браузера. Избегайте любого поведения, которое выглядит автоматизированным в процессе парсинга.

Пример кода полного инструмента для скрапинга:

from time import sleep
import random
import json
from pathlib import Path

from playwright.sync_api import sync_playwright
from bs4 import BeautifulSoup

START_URL = "https://zoominfo.com/company_name"  # replace with the exact URL you intend to scrap
NEXT_SELECTOR = "a.next"             # CSS selector for the site's "next" link
OUT_FILE = Path("playwright_results.jsonl")

def polite_sleep(min_s=0.8, max_s=1.8):
    sleep(random.uniform(min_s, max_s))

def extract_all_text(html: str) -> str:
    soup = BeautifulSoup(html, "html.parser")
    return soup.get_text(separator=" ", strip=True)

def save_record(record: dict):
    OUT_FILE.parent.mkdir(parents=True, exist_ok=True)
    with OUT_FILE.open("a", encoding="utf-8") as f:
        f.write(json.dumps(record, ensure_ascii=False) + "\n")

def run_simple_crawl(start_url: str, max_pages: int = 5, headless: bool = True):
    with sync_playwright() as pw:
        browser = pw.chromium.launch(headless=headless)
        page = browser.new_page(user_agent="EducationalScraper/1.0")
        url = start_url
        pages = 0

        try:
            while url and pages < max_pages:
                page.goto(url)
                # wait until network is idle so JS can finish
                page.wait_for_load_state("networkidle")
                polite_sleep()

                html = page.content()
                text = extract_all_text(html)
                save_record({"url": url, "text_preview": text[:1000], "_scraped_at": __import__("time").time()})

                pages += 1
                print(f"Saved page {pages}: {url}")

                # try to find and click a Next link (if present)
                next_el = page.query_selector(NEXT_SELECTOR)
                if next_el:
                    try:
                        next_el.click()
                        polite_sleep()
                        url = page.url
                        continue
                    except Exception:
                        break
                else:
                    break

        finally:
            browser.close()

if __name__ == "__main__":
    run_simple_crawl(START_URL)

Приведенный выше скрипт на Python использует Playwright для рендеринга страниц, BeautifulSoup для извлечения всего видимого текста, переходит по одной ссылке «Далее» до установленного лимита страниц и сохраняет превью текста каждой страницы в файл JSONL.

Устранение неполадок и частые ошибки

При веб-скрапинге ZoomInfo вы можете столкнуться с некоторыми ошибками. Давайте обсудим распространенные проблемы и способы их решения.

• Таймауты (Timeouts): Страницы с тяжелым JavaScript или медленная сеть могут грузиться дольше. Чтобы минимизировать риск ошибок таймаута, увеличьте время ожидания. Убедитесь, что ваш инструмент автоматизации ждет появления всех элементов.
• Отсутствующие данные: Иногда данные загружаются только после прокрутки или клика по вкладке. Убедитесь, что ваш инструмент взаимодействует со страницей точно так же, как человек. И проверяет наличие структурированного JSON, если он доступен.
• Заблокированные страницы или CAPTCHA: Видите неожиданные блокировки? Замедлите запросы, смените IP-адреса, убедитесь, что ваши заголовки соответствуют обычному браузерному трафику. Триггеры CAPTCHA часто указывают на то, что ваш инструмент движется слишком быстро. Или повторяет действия неестественно. Внесите изменения в конфигурацию парсера ZoomInfo, чтобы минимизировать срабатывания капчи.
• Нестабильные результаты: Динамический контент может меняться. Это зависит от локации, состояния логина или сессии. Попробуйте повторно использовать ту же сессию браузера. Убедитесь, что куки хранятся правильно.
• Сбои навигации: Кнопки пагинации или внутренние ссылки могут перемещаться. Или меняться. Не забывайте регулярно обновлять селекторы. Что-то перестало работать? Проинспектируйте страницу через DevTools.

Заключительные мысли

Эта статья дает полное понимание того, как можно парсить данные с ZoomInfo. Будь то информация о компании, детали сотрудников или данные о ключевых фигурах в любой индустрии. Все инструменты скрапинга, упомянутые в этом руководстве, включая Playwright, httpx и BeautifulSoup, являются открытым ПО. Они бесплатны для использования.

Однако помните об этике сбора данных. Следуйте условиям обслуживания ZoomInfo, чтобы избежать юридических проблем. Если вы столкнулись с трудностями, такими как лимиты запросов или блокировки IP, использование резидентных прокси с ротацией IP поможет обойти эти ограничения. ProxyWing предоставляет прокси для скрапинга, которые дают вам доступ к миллионам IP в более чем 190 странах.