Привет всем!
LinkedIn — это сокровищница из более чем 850 миллионов профессионалов, готовых принять участие. Занимаетесь ли вы продажами, подбором персонала, исследованиями или просто поиском работы, есть горы данных, которые могут помочь вам добиться успеха.
Но просматривать каждый профиль вручную — это невероятно медленно. Так как же нам эффективно извлечь эти данные из LinkedIn?
Веб-скрапинг.
Инструменты парсинга позволяют автоматизировать поиск в LinkedIn, чтобы извлекать именно то, что вам нужно, и тогда, когда вам это нужно. Как эксперт по парсингу веб-страниц, извлекший миллионы профилей LinkedIn, я покажу вам, как воспользоваться этой золотой жилой.
К концу этого руководства вы сможете:
- Соберите тысячи личных и корпоративных профилей LinkedIn всего за несколько кликов.
- Раскройте подходящих перспектив и кандидатов, спрятанных среди 850 миллионов пользователей LinkedIn.
- Отслеживайте в LinkedIn новые объявления о вакансиях, сведениях о приеме на работу и другие оповещения в режиме реального времени.
- Юридически и этично извлекайте важные для вас данные (не волнуйтесь, я вас обеспечу)
Итак, если вы готовы вывести свою игру в LinkedIn на новый уровень, давайте начнем!
LinkedIn в цифрах: золотая жила данных
Давайте рассмотрим огромный объем информации, полученной с помощью парсинга LinkedIn:
850 миллионов членов – База пользователей LinkedIn представляет собой огромный пул перспективных и талантливых специалистов.
40 млн компаний – LinkedIn, насчитывающий более 40 миллионов страниц компаний, является основным источником данных B2B.
21 млн открытых рабочих мест – Множество новых возможностей для соискателей и рекрутеров.
570,000+ навыков – Подробные данные о навыках помогают сопоставить кандидатов с должностями.
Пользователи из более чем 200 стран – LinkedIn глобален, пользователи есть повсюду.
Это просто статистика высокого уровня. Но вот что становится интереснее…
Каждый профиль LinkedIn также содержит десятки полей данных, таких как:
- Должности и названия компаний
- Электронная почта, номера телефонов и ссылки на социальные сети.
- Опыт, навыки и сертификаты
- История образования и степени
- Должностные инструкции и обязанности
Для компаний вы можете извлечь такие поля, как:
- Размер компании и отрасль
- Технологии и продукты
- Имена и изменения руководства
- Тенденции найма и новые объявления о вакансиях
- Посты в новостной ленте и рост сотрудников
Эти высокоточные данные используются во всех вариантах бизнес-использования, которые мы рассмотрим далее.
Примеры использования парсинга веб-страниц LinkedIn
Давайте рассмотрим некоторые из основных способов, которыми компании используют парсинг LinkedIn:
Поиск продаж
LinkedIn — мечта каждого торгового представителя. Вы можете определить соответствующих потенциальных клиентов и быстро получить доступ к их контактным данным и биографии.
С помощью парсинга веб-страниц отделы продаж могут:
Получить списки потенциальных клиентов – Очистка названий и названий компаний для исходящего поиска
Обогатите данные CRM – Добавляйте социальные профили и истории трудоустройства к лидам.
Отслеживайте новые триггеры – Мониторинг компаний на предмет смены руководства, новых сотрудников и т. д.
Это превращает случайный холодный охват в целевые персонализированные продажи.
Pro Tip: Отсортируйте потенциальных клиентов в своей CRM по силе соединения с LinkedIn, чтобы расставить приоритеты среди теплых потенциальных клиентов.
Подбор персонала и хедхантинг
LinkedIn стал каналом рекрутинга №1. Более 75% соискателей работы используют его при поиске.
Рекрутеры очищают профили LinkedIn, чтобы:
Исходные кандидаты – Находите подходящих потенциальных клиентов, даже если они не ищут активно.
Перспективы исследований – Изучите историю работы, навыки и образование кандидатов.
Определить оборот – Следите за страницами конкурентов, чтобы увидеть, уходят ли сотрудники.
Создавайте кадровые резервы – Курировать базы данных потенциальных кандидатов на ключевые должности.
Это открывает пассивные резервы талантов и выявляет кандидатов, которых Indeed или Monster могут пропустить.
Pro Tip: Попробуйте просмотреть профили сотрудников, которые недавно приобрели такие востребованные навыки, как Kubernetes или знания в области искусственного интеллекта.
Исследования рынка и конкуренции
Страницы витрин компании предоставляют ценную информацию для исследования целевых рынков и мониторинга конкурентов.
Исследователи могут очистить LinkedIn для:
Смена руководства – Выявление новых руководителей, увольнений и организационных структур.
Тенденции найма – Определить области роста по вакансиям и новым сотрудникам.
Сообщения в ленте новостей – Получайте информацию о запусках продуктов, объявлениях и сообщениях о культуре.
Рост сотрудников – Отслеживайте численность персонала с течением времени как показатель роста.
Непрерывный мониторинг LinkedIn создает четкое представление о внешних угрозах и возможностях.
Pro Tip: Настройте автоматический парсер, который будет еженедельно проверять страницы конкурентов и предупреждать вас обо всем полезном.
Поиск работы
Наконец, не забывайте о соискателях работы! Инструменты парсинга помогают кандидатам:
Поиск возможностей – Получайте оповещения, когда целевые работодатели публикуют новые вакансии.
Исследовательские компании – Перед подачей заявки проверьте культуру и стили управления ветеринаров.
Поиск инсайдерских контактов – Определите сотрудников, с которыми можно сотрудничать во время процесса.
Это может иметь огромное значение при попытке получить идеальную роль.
Pro Tip: Поищите недавних выпускников вашей школы, которые сейчас работают в компании, чтобы найти дружеские связи.
Конечно, это всего лишь примеры возможных вариантов использования. Ключевым моментом является определение того, какие данные будут для вас наиболее ценными, а затем их извлечение в нужном масштабе.
Парсинг LinkedIn с юридической и этической точки зрения
Теперь, прежде чем мы углубимся в инструкции, давайте рассмотрим правила дорожного движения. Разрешено ли парсинг веб-страниц LinkedIn?
Вот несколько ключевых принципов, которые следует соблюдать с этической и юридической точки зрения:
Используйте только общедоступные профили – Избегайте входа в личные учетные записи или уклонения от аутентификации.
Не спамьте – Добавьте задержки и ограничения в свой парсер, чтобы избежать переполнения LinkedIn.
Ротация прокси – Смешайте свои IP-адреса, чтобы не допустить переочистки одного.
Соблюдать robots.txt – Блокируйте любые запрещенные страницы, определенные LinkedIn.
Атрибутируйте данные правильно – Не изображайте скопированные данные как официально полученные из LinkedIn.
Условия использования Mind – Будьте в курсе условий использования LinkedIn.
Если вы будете следовать этим рекомендациям, вы сможете без проблем очистить большинство общедоступных данных LinkedIn. Предприятия делают это каждый день в пределах разумного.
Однако очистка конфиденциальных полей, таких как контактная информация, сопряжена с некоторым риском. Прежде чем массово собирать и продавать личные данные, разумно проконсультироваться с юристом.
Но для небольшого внутреннего личного использования (привлечение потенциальных клиентов, исследования, набор персонала и т. д.) все будет в порядке. Просто следите за своими манерами!
Шаг за шагом: парсинг страниц компаний LinkedIn
Ладно, настало время самого интересного – на самом деле парсинг LinkedIn!
Давайте рассмотрим, как извлечь профили компаний с помощью Apify, моего любимого инструмента:
1. Получите инструмент для очистки URL-адресов компании Apify LinkedIn.
Сначала возьмите Поиск компаний на LinkedIn от Apify со своего сайта или магазина.
В Apify есть множество удобных парсеров, которые каждый может использовать бесплатно — никакого программирования не требуется. Здесь мы сосредоточимся на их инструментах LinkedIn.
2. Добавьте целевые компании
Затем добавьте список компаний, для которых вы хотите получить URL-адреса LinkedIn. Поместите каждое из них на новую строку.
Вы можете добавлять отдельные имена или загружать целые списки в форматах CSV/Excel.
3. Установите параллелизм (необязательно)
Это поле определяет, сколько экземпляров браузера работает параллельно. Чем выше, тем быстрее царапается.
Я бы рекомендовал начать с 15-25 одновременных браузеров. Вы можете масштабироваться по мере того, как становитесь более опытными.
Слишком много браузеров рискуют быть заблокированными, поэтому наращивайте их постепенно.
4. Нажмите «Выполнить», чтобы начать очистку.
После настройки просто нажмите «Выполнить», чтобы запустить парсер. Он автоматически выполнит поиск в LinkedIn и извлечет соответствующие URL-адреса профилей компаний.
Статус изменится на «Выполняется» до завершения.
5. Экспорт данных компании LinkedIn
Наконец, нажмите «Хранилище», чтобы увидеть очищенные URL-адреса компаний LinkedIn. Вы можете экспортировать их в формате CSV, JSON, Excel и т. д.
И мы закончили! Извлекать страницы компаний LinkedIn с помощью Apify очень быстро и легко — никакого кодирования не требуется.
Теперь давайте посмотрим, как получить URL-адреса личного профиля LinkedIn.
Шаг за шагом: очистка личных профилей LinkedIn
Процесс создания личных профилей LinkedIn практически идентичен. Мы будем использовать Apify Поиск людей в LinkedIn инструмент.
1. Загрузите Apify LinkedIn People Finder
Возьмите Поиск людей в LinkedIn парсер из Apify Store.
2. Добавьте имена в Scrap
Затем добавьте имена профилей LinkedIn, которые вы хотите найти. Опять одно имя в строке.
Вы можете вводить отдельных лиц или загружать длинные списки, как обычно.
3. Выберите язык (необязательно).
Если вы хотите ограничить результаты определенным языком, вы можете установить это здесь.
Например, выберите «Французский», чтобы получать только французские профили.
4. Нажмите «Выполнить», чтобы начать.
Нажмите «Выполнить», и парсер начнет поиск этих имен в LinkedIn и вернет все URL-адреса профилей, которые он найдет.
5. Экспорт результатов
После завершения перейдите в «Хранилище», чтобы загрузить очищенные URL-адреса профиля LinkedIn в формате CSV, Excel и т. д.
Вот и все! С помощью инструментов Apify любой может очистить личные страницы LinkedIn и страницы компании без каких-либо технических знаний.
Теперь давайте углубимся в некоторые профессиональные советы и передовые тактики, которые помогут повысить уровень вашего парсинга LinkedIn.
Повышайте уровень парсинга LinkedIn: советы профессионала
Помимо основных URL-адресов, из LinkedIn можно извлечь гораздо больше данных, чтобы получить действительно полезную информацию.
Вот несколько продвинутых способов получить еще больше пользы от парсинга LinkedIn:
Очистка электронной почты и номеров телефонов
Контактная информация имеет неоценимое значение для продаж и рекрутинга, но LinkedIn скрывает адреса электронной почты и номера телефонов.
К счастью, парсеры все еще могут извлечь их из LinkedIn несколькими разными способами:
Парсить электронные письма из текстов профиля LinkedIn, которые некоторые пользователи добавляют публично.
Создание адресов электронной почты с именами и компаниями
Покупайте целевые списки контактов, законно собранные в Интернете.
Службы добавления электронной почты, такие как Clearbit or ZoomInfo здесь также есть отличные источники.
Отслеживайте изменения компании с течением времени
Вместо разовых проверок запустите сценарии по расписанию для наблюдения за целевыми компаниями. Пусть они отследят:
- Новые вакансии и тенденции найма персонала
- Прибавка и уход руководства
- Основные анонсы в новостной ленте
Затем отправляйте оповещения своей команде по продажам или подбору персонала, когда будут обнаружены изменения.
Это автоматизирует поиск потенциальных клиентов и конкурентную разведку.
Очистка международных локаций
LinkedIn поддерживает более 20 языков и каждую страну. Не забудьте распространить свои царапины по всему миру.
Запустите отдельные парсеры, ориентированные на такие регионы, как DACH, LATAM, APAC и т. д. И переведите любые поисковые запросы на местные языки.
Это задействует более 700 миллионов международных профилей, которые игнорирует большинство конкурентов.
Целевые конкретные навыки и звания
Лучшие перспективы — это не просто старые профили — вам нужны правильные роли и набор навыков.
При парсинге добавьте фильтры для:
Названия должностей, такие как основатель, разработчик, генеральный директор.
Старшинство, такое как директор, вице-президент, менеджер
Такие навыки, как «Python», «Full Stack Development»
Сертификаты, такие как PMP, CPA, Six Sigma.
Тогда вы получите потенциальных клиентов, действительно соответствующих открытым вакансиям или потребностям клиентов.
Извлечение полных данных профиля
URL-адреса — это только начало. Чтобы обеспечить эффективную автоматизацию, извлеките полные данные профиля, например:
- Названия должностей, компании и сроки пребывания
- Электронная почта и номера телефонов
- Навыки, образование, волонтерство
- Ссылки на профили в социальных сетях
Эти богатые данные используются во всем: от оценки кандидатов до сегментации и развития потенциальных клиентов.
Использование прокси для крупномасштабного парсинга
Когда вы будете готовы вывести парсинг LinkedIn на новый уровень, вам понадобятся прокси.
Доверенные выступать в качестве посредника для ваших запросов, направляя каждый из них через уникальный IP-адрес. Это предотвращает блокировку IP-адресов в LinkedIn с одного и того же IP-адреса.
Вот несколько лучших прокси-сервисов, которые я рекомендую:
БрайтДата – Более 40 миллионов частных IP-адресов по всему миру от 500 долларов США в месяц.
СмартПрокси – 1 млн+ смешанных IP-адресов от $200/мес.
Геосерфинг – Резидентные IP-адреса с таргетингом на страну
Соакс – Бюджетные резидентные прокси от $50/мес.
Имея достаточное количество прокси, вы можете масштабироваться и извлекать миллионы профилей LinkedIn, не отключаясь.
Я бы посоветовал начать с пула как минимум из 5,000 IP-адресов — чем больше, тем лучше. Вращайте их по каждому запросу.
Результаты парсинга LinkedIn и контрольные показатели
Так чего же можно ожидать от новых блестящих парсеров LinkedIn? Вот несколько ориентиров, которые помогут определить ваши ожидания:
Профили в день: Более 20,000 XNUMX в день парсинга в больших масштабах
Компании в день: 50,000 XNUMX+ страниц компании в день
URL-адреса на IP: В качестве меры безопасности я рекомендую чередовать прокси после примерно 500 URL-адресов каждый. LinkedIn блокирует слишком большую очистку отдельных IP-адресов.
Скорость очистки: Веб-скраперы могут сканировать страницы менее чем за 1 секунду, но я бы посоветовал установить задержку в 2–5 секунд между запросами в целях безопасности. Вы хотите избежать наводнения в LinkedIn.
Счета: Используйте одну учетную запись для примерно 500 очисток URL-адресов. Регулярно переходите на новые тестовые учетные записи, чтобы сохранить доступ.
Благодаря правильной конфигурации, оптимизированной для баланса скорости и масштаба, вы можете со временем извлекать миллионы профилей. Но начните с малого и продвигайтесь вверх.
Обработка блоков LinkedIn и CAPTCHA
При интенсивном парсинге LinkedIn может создать на вашем пути некоторые препятствия:
HTTP-статус 429 – Это означает, что ваша ставка ограничена. Замедлите работу парсера или увеличьте ротацию прокси.
HTTP-статус 503 – Ошибка недоступности услуги. Обычно временное. Подождите немного и повторите попытку.
CAPTCHAs – Страшное «ты робот?» тесты. Используйте такие инструменты, как СмертьОтCaptcha решать их автоматически.
Профиль не найден – Если у вас их много, возможно, LinkedIn блокирует ваш IP-адрес парсера. Ротация прокси.
Ключевым моментом является наличие достаточного количества прокси для постоянной ротации. Я рекомендую 40,000 24+ для тяжелого парсинга 7/1,000. Бюджет менее XNUMX долларов США в месяц для резидентных прокси.
Расширенные инструменты парсинга LinkedIn
Apify позволяет легко начать парсинг LinkedIn без программирования, но для опытных пользователей есть и другие мощные инструменты:
Осьминога – Визуальный парсер со встроенными парсерами LinkedIn.
parseHub – Веб-скребок с графическим интерфейсом пользователя и шаблонами LinkedIn.
СкребокAPI – API для скриптов парсинга JavaScript
Питон – Библиотеки, такие как Selenium и BeautifulSoup, для пользовательских парсеров.
проксисканирование – Резидентные ротационные прокси, предназначенные для парсинга
Это требует больше технических навыков, но обеспечивает дополнительную гибкость для пользовательских парсеров LinkedIn, помимо базовых URL-адресов.
Очистка данных LinkedIn: заключительные мысли
И вот оно — все, что вам нужно, чтобы начать собирать профили LinkedIn как профессионал.
Ключевые моменты, которые следует запомнить:
LinkedIn — это золотая жила для продаж, рекрутинга, исследований и поиска работы, если вы можете извлечь данные.
Сосредоточьтесь на этическом извлечении полей, ценных для ваших целей, из общедоступных профилей.
Используйте такие инструменты, как Apify, чтобы быстро очищать LinkedIn в больших масштабах без навыков программирования.
Постоянно меняйте прокси, чтобы избежать блокировок при запуске больших парсеров.
Расширяйтесь по всему миру и выбирайте нишевые роли и навыки, чтобы получить качественные перспективы.
Отслеживайте изменения в компании с течением времени, а не просто разовые изменения.
Выйдите за рамки базовых URL-адресов, чтобы получить телефон, электронную почту и полные данные профиля.
Парсинг раскрывает весь потенциал LinkedIn. Но используйте эти силы во благо! С отличными данными приходит и большая ответственность.
Если у вас есть еще вопросы, обращайтесь! Мне нравится помогать людям использовать возможности данных LinkedIn.
Приятного извлечения!
- Олег
