Как извлечь все данные из рекламы в Facebook

Привет! Вы когда-нибудь задумывались, почему Facebook показывает вам определенную рекламу во время просмотра? Мне это тоже интересно.

Как эксперт по парсингу веб-страниц, я был рад узнать, что Facebook на самом деле хранит свои рекламные данные открытыми для доступа всех желающих. Facebook создал нечто под названием «Библиотека рекламы», которое позволяет вам копаться в рекламных данных любого бренда, чтобы понять, почему вы видите их рекламу.

В этом посте я расскажу вам все, что вам нужно знать, чтобы самостоятельно получить доступ к этим данным с помощью веб-скрапинга. С помощью всего лишь небольшого количества кода Python вы можете извлечь массу полезной информации из виртуальной золотой жилы рекламной информации Facebook.

Давайте начнем! Вот что мы рассмотрим:

• Что такое библиотека рекламы Facebook и что в ней?
• Как парсинг веб-страниц может помочь выявить конкурентную информацию на основе рекламных данных Facebook
• Пошаговое руководство по созданию пользовательского парсера рекламы на Facebook
• Реальные примеры масштабного анализа данных Facebook Ads
• Часто задаваемые вопросы о законности и этике парсинга рекламы в Facebook

Хорошо, обо всем по порядку: что именно представляет собой эта библиотека объявлений Facebook?

Библиотека рекламы Facebook: хрустальный шар маркетолога 🔮

В 2018 году Facebook запустил библиотеку рекламы, чтобы повысить прозрачность рекламы, особенно политической. Он содержит данные обо всех активных и неактивных рекламных объявлениях, связанных с социальными вопросами, выборами и политикой по всему миру.

Facebook со временем расширил библиотеку, включив в нее больше категорий рекламы, помимо политики:

• Все активные объявления в США теперь можно просмотреть
• Также включены объявления в Великобритании и ЕС, связанные с брендингом или жильем/работой.

По состоянию на 2024 год библиотека рекламы Facebook содержит данные о более чем 120 миллиона объявлений работает через Facebook, Instagram, Messenger и Audience Network.

Это огромное хранилище рекламной информации! Вот некоторые ключевые данные, которые он может вам дать:

👤 Кто заплатил за рекламу и сколько потратили

🎯 Местоположение, возраст, пол и интересы тех, кто увидел рекламу

📈 Показатели, охват, частота и стоимость показов

😀 Реакции, комментарии и репосты на рекламный креатив

🎞️ Изображения, видео и текст, использованные в объявлении.

🗓️ Когда показывалась реклама и как долго

Для маркетологов и аналитиков это настоящая золотая жила. Извлекая эти данные, вы можете:

• Посмотрите, какую рекламу показывают ваши конкуренты
• Узнайте, на какую аудиторию ориентируются бренды
• Анализируйте высокоэффективные рекламные креативы и копируйте их.
• Рассчитайте отраслевые стандарты расходов на рекламу и ее эффективности.
• Определить тенденции и сезонность по вертикали

Теперь давайте посмотрим, как вы можете использовать парсинг веб-страниц, чтобы получить ценную информацию о конкурентах.

Веб-скрапинг для получения конкурентной рекламной информации в Facebook

Просмотр вручную библиотеки рекламы Facebook занял бы вечность. Вот где на помощь приходит парсинг веб-страниц!

Веб-скрапинг использует автоматических ботов для извлечения больших объемов данных с веб-сайтов. С помощью всего лишь небольшого количества кода Python вы можете за считанные минуты очистить тысячи рекламных объявлений Facebook.

Вот несколько реальных примеров того, как компании используют веб-скрейпинг для конкурентной разведки рекламы в Facebook:

• Аналитическая компания в социальных сетях БрендВсего собирает рекламу, чтобы сравнить расходы, креативы и таргетинг конкурентов.
• Pathmatics собирает данные библиотеки рекламы Facebook в рамках своей платформы многоканальной маркетинговой аналитики.
• SimilarWeb использует парсинг веб-страниц для анализа рекламных стратегий конкурентов в Facebook.

Бренды используют эту конкурентную информацию для оптимизации своих рекламных кампаний и отличия от конкурентов. Это похоже на хрустальный шар, позволяющий понять, что работает для других рекламодателей! 💡

Хорошо, давайте теперь запачкаем руки с помощью пошагового руководства по парсингу веб-страниц…

Как создать парсер рекламы Facebook на Python

В этом уроке мы будем использовать Питон вместе с Scrapy Фреймворк для парсинга веб-страниц. Вот что вам понадобится:

• Python 3.6 + – В последних версиях есть отличные инструменты для парсинга веб-страниц.
• Скрэпи-модуль – pip install scrapy для начала

Не волнуйтесь, если вы никогда раньше не программировали на Python — я предоставлю все необходимые фрагменты кода. Давайте поскребём!

1. Создайте новый проект Scrapy

Сначала мы инициализируем новый проект Scrapy для нашего бота Facebook Ad Scraper:

scrapy startproject fb_ad_scraper

Это создаст структуру папок и нужные нам файлы.

2. Напишите код паука

«Паук» — это часть Scrapy, которая сканирует веб-страницы и извлекает данные. Давайте запишем нашего паука в fb_ad_scraper/spiders/fb_spider.py:

import scrapy

class FBSpider(scrapy.Spider):

  name = ‘fb_ad_scraper‘

  def start_requests(self):
    url = ‘https://www.facebook.com/ads/library/?active_status=all&ad_type=all&country=US‘ 
    yield scrapy.Request(url=url, callback=self.parse)

  def parse(self, response):
    for ad in response.css(‘div.ad_cluster‘):
      yield {
        ‘text‘: ad.css(‘span::text‘).get(),
        ‘reactions‘: ad.css(‘div.reactions::text‘).get() 
        # And so on to extract all ad data
      }

Этот паук будет сканировать URL-адрес библиотеки объявлений, проходя по каждому рекламному контейнеру (div.ad_cluster) и извлекать данные, такие как текст и реакции. Довольно круто, правда? 😎

Обязательно импортируйте любые другие необходимые библиотеки, например re и json чтобы помочь проанализировать данные.

3. Запустите паука

Теперь мы готовы запустить нашего бота! В вашем терминале запустите:

scrapy crawl fb_ad_scraper -o results.json

Это соберет данные о тысячах объявлений и выведет все это в файл JSON. Легкий!

Вот пример данных, которые мне удалось извлечь во время моих тестовых прогонов:

{
   "text": "Winter deals going on now!",
   "reactions": "45",
   "shares": "8", 
   "comments": "3"  
}

4. Сохраните данные

Чтобы сохранить собранные рекламные данные в порядке, вам нужно сохранить их в базе данных. Scrapy делает это легко с помощью Трубопроводы.

Вот пример кода для сохранения наших объявлений MongoDB:

import pymongo

class MongoDBPipeline(object):

  def __init__(self):
    client = pymongo.MongoClient(‘mongodb://localhost:27017‘)
    self.mongo_db = client["fb_ads"]

  def process_item(self, item, spider):
    self.mongo_db["ad_data"].insert(dict(item))
    return item

Многие приложения, например Tableau, могут подключаться к MongoDB для анализа и составления отчетов. Довольно ловко!

5. Запланируйте паука

Чтобы поддерживать наш набор рекламных данных в актуальном состоянии, мы можем запланировать автоматический запуск паука с помощью таких инструментов, как Воздушный поток:

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta


default_args = {
  ‘owner‘: ‘Facebook Ads‘,
  ‘depends_on_past‘: False,
  ‘start_date‘: datetime(2023, 1, 15),
  ‘email‘: [‘[email protected]‘],
  ‘email_on_failure‘: False,
  ‘email_on_retry‘: False,
  ‘retries‘: 1,
  ‘retry_delay‘: timedelta(minutes=5)
}

dag = DAG(
  ‘facebook_ads‘, 
  default_args=default_args, 
  schedule_interval=‘0 0 * * *‘, #Runs once per day
  )

run_scraper = PythonOperator(
  task_id=‘run_fb_scraper‘,
  python_callable=run_facebook_scraper,
  dag=dag
)

run_scraper

Теперь наш парсер будет запускаться автоматически каждый день, чтобы быть в курсе последних рекламных объявлений! 📅

Вот и все! Выполнив эти шаги, вы можете использовать Scrapy для создания собственного веб-скребка для извлечения данных из рекламы Facebook в большом масштабе.

Не разработчик? Без проблем! Вот несколько парсинговых сервисов, которые могут извлечь для вас данные из рекламы Facebook:

• Соскоб – Готовый API и инструменты для парсинга веб-страниц
• ParseHub – Графический парсинг веб-страниц без программирования
• Импорт.ио – Парсинг «укажи и щелкни» для создания каналов данных.

Хорошо, теперь давайте посмотрим, какие интересные идеи вы можете извлечь из всех этих данных…

Анализ данных рекламы в Facebook: 5 примеров из реальной жизни

После того, как вы создадите свой собственный веб-скребок и накопите большой набор данных, начинается самое интересное — превращение этих данных в ценную информацию!

Вот лишь несколько примеров того, как бренды используют рекламные данные Facebook:

Мониторинг рекламных расходов конкурентов

Спортивный ритейлер может проанализировать расходы ключевых конкурентов с течением времени, чтобы создать ориентиры и выявить рост расходов в связи с такими событиями, как выпуск новых продуктов:

Анализ таргетинга аудитории

Модный бренд может видеть, на какие возрастные группы и интересы ориентируются конкуренты, чтобы найти прибыльную, но неиспользованную аудиторию для своей рекламы:

Top Audiences Targeted for Rival Brand A:

- Gen Z & Millennials (13-34)
- Interests: Fitness, Sustainability, Pop Culture

Оптимизация рекламных креативов

Агентство может провести A/B-тестирование рекламных заголовков и изображений, которые лучше всего подходят для их творческой стратегии:

Ad Headline A: "Black Friday Sale!"
- 3k reactions
- 2% CTR 

Ad Headline B: "Up to 50% off limited styles"
- 5k reactions 
- 5% CTR ✅

Мониторинг тенденций и сезонности

Бренд потребительских товаров может анализировать тенденции в категориях, чтобы прогнозировать периоды загруженности продаж и соответствующим образом адаптировать маркетинговые планы:

- Beauty ads peak in December (holiday gifting) 
- Food & drink ads highest in June/July (summer BBQs)

Сравнение тестов производительности

Агентство может рассчитать средние значения CPM, CPC и CTR по отраслям, чтобы оценить результаты рекламы для клиентов:

Average Facebook Ad Benchmarks by Industry:

- E-Commerce 
   - CPM: $5.50
   - CPC: $0.65
   - CTR: 0.90%

- B2B SaaS
   - CPM: $8.40  
   - CPC: $1.20
   - CTR: 0.33% 

Возможности безграничны! Вы можете анализировать данные, однако вам нужно опередить конкурентов.

На этой ноте давайте подведем итоги некоторыми ключевыми вопросами, которые часто возникают у людей, касающихся этики и законности при сборе данных Facebook…

Законно ли и этически очищать рекламу в Facebook? Основные часто задаваемые вопросы

Условия Facebook запрещают сбор данных ЧАСТНЫХ пользователей, но данные общедоступной библиотеки рекламы являются законной игрой, если вы следуете передовой практике.

Вот несколько ключевых вещей, которые следует иметь в виду:

Законно ли собирать данные библиотеки рекламы Facebook?

Да, данные библиотеки рекламы Facebook являются общедоступными и могут быть законно очищены в соответствии с юридическим прецедентом и условиями Facebook. Просто не заходите в частные профили или учетные записи пользователей.

Нужно ли мне разрешение Facebook на сбор их рекламы?

Нет, вам не требуется явного разрешения на сбор общедоступных данных Facebook, таких как реклама. Просто соблюдайте такие вещи, как ограничения скорости.

Разве не весь парсинг веб-страниц незаконен?

Нисколько! Веб-сбор общедоступных данных в целом законен в США. Только не взламывайте сайты, не скрывайте платный доступ и не публикуйте повторно контент, защищенный авторским правом.

Могу ли я парсить рекламу конкурентов на Facebook?

Да, данные о рекламе конкурентов общедоступны и доступны для анализа всем желающим. Только не вводите себя в заблуждение и не нарушайте условия.

Этично ли парсить Facebook, не сказав им об этом?

Если вы соблюдаете условия обслуживания сайта и имеете доступ только к общедоступным данным, этический парсинг помогает уравнять правила игры в отношении данных.

Подводя итог, можно сказать, что анализ общедоступных рекламных данных Facebook посредством парсинга веб-страниц совершенно законен и этичен, если все сделано правильно. Это дает каждому справедливый способ извлечь выгоду из огромных объемов маркетинговой информации Facebook.

Дайте мне знать, если у вас есть еще вопросы! Я всегда рад поговорить подробнее об этике и передовых методах очистки данных.

Пусть статистика рекламы в Facebook течет!

Ну вот оно! С помощью небольшого количества веб-кода Python вы можете получить доступ к огромному количеству информации из библиотеки рекламы Facebook.

Теперь вы можете:

• Следите за рекламными кампаниями конкурентов
• Найдите скрытую прибыльную аудиторию
• Посмотрите, какие креативы работают лучше всего
• Определить отраслевые тенденции и ориентиры

Возможности безграничны, когда вы можете извлечь данные о рекламе любого бренда на платформах Facebook. Это сокровищница маркетинговой информации, которая только и ждет, чтобы ее открыли.

Я надеюсь, что это руководство оказалось для вас полезным и вам понравится использовать обширные рекламные данные Facebook! Не стесняйтесь обращаться к нам, если вы когда-нибудь захотите больше поговорить о парсинге веб-страниц или вам понадобится совет по началу работы.

Приятного извлечения!