Top Google Search API's in 2024

Zoeken op internet is een hoeksteen van ons online leven. En als het om zoeken gaat, domineert Google: volgens cijfers gaat ruim 92% van het zoekverkeer op de desktop via hen NetMarketShare.

Dat zijn maar liefst 63 miljard zoekopdrachten per maand, mogelijk gemaakt door de systemen van Google. Toegang tot zoekgegevens op die schaal is als digitaal goud voor ontwikkelaars en bedrijven. Maar in tegenstelling tot concurrent Bing biedt Google geen directe toegang tot hun index via een API.

Door de jaren heen hebben velen gebruik willen maken van de enorme hoeveelheid zoekgegevens van Google. In deze gids bespreken we welke opties er vandaag de dag in 2024 bestaan ​​voor programmatische toegang tot Google-resultaten. Zie het als een overzicht van het ‘Google Search API’-landschap.

We zullen specifiek onderzoeken:

• Google's eigen Custom Search API-aanbod
• Webscraping-benaderingen om Google-gegevens te extraheren
• Services van derden die zoek-API's leveren

Laten we erin duiken!

De beperkte aangepaste zoek-API van Google

Gezien de dominantie van Google op het gebied van zoeken, zou je verwachten dat ze een API bieden die toegang geeft tot hun volledige index en resultaten. Maar dat is niet het geval.

Google biedt wel een Custom Search API, maar dit is het wel niet een traditionele zoek-API:

Met de Custom Search API kunt u een zoekmachine maken voor uw website of een verzameling websites. U kunt uw zoekmachine configureren met instellingen zoals welke sites u wilt doorzoeken, aangepaste branding, uiterlijk en gevoel, enz.

Enkele belangrijke beperkingen van de Custom Search API:

• Er wordt alleen gezocht op specifieke sites/pagina's die u definieert, niet op het hele internet.
• U moet elke site die u wilt doorzoeken handmatig configureren.
• De resultaten komen uit de index van Google, maar u bepaalt de filter- en rangschikkingscriteria.
• De gratis gebruikslaag legt een strikte limiet op van 100 zoekopdrachten per dag.
• Betaald gebruik kost $ 5 per 1000 zoekopdrachten, met een maximum van 10 zoekopdrachten per dag.

De Custom Search API biedt waarde doordat u aangepaste Google-zoekopdrachten kunt insluiten in een website of interne tool. Maar de beperkingen maken het onbruikbaar als een manier om toegang te krijgen tot bredere Google-zoekgegevens.

Bij voorbeeldStel dat u zoekresultaten voor de zoekopdracht 'beste laptops' wilt analyseren. Met de Custom Search API kunt u alleen resultaten voor die zoekopdracht zien op sites die u specifiek heeft geconfigureerd. Geen gemakkelijke manier om het volledige Google-perspectief te krijgen.

Dit drijft veel ontwikkelaars ertoe alternatieve methoden te zoeken om gebruik te maken van de zoekresultaten van Google. Laten we die hierna bespreken.

De zoekresultaten van Google schrapen

Webscraping (ook wel webgegevensextractie of webharvesting genoemd) is een populaire techniek geworden voor het verkrijgen van Google-zoekgegevens.

De basisbenadering is om automatiseer programmatisch zoekopdrachten naar Google, haal de HTML-resultatenpagina's op en extraheer vervolgens de gewenste gegevens – titel, links, fragmenten, enz. In zekere zin maakt u uw eigen aangepaste "Google Search API".

Enkele veelgebruikte tools en programmeertalen die worden gebruikt voor webscrapen zijn:

• Talen voor algemeen gebruik: Python (Mooie Soep, Scrapy), Javascript/Node.js (Poppenspeler, Toneelschrijver), Ruby (Mechanize, Watir)
• Visuele hulpmiddelen: Apify, ParseHub, Octoparse
• Cloud diensten: ScrapingBee, Scrapy Cloud, ParseHub Cloud

Met webscraping kunt u zeer rijke, gestructureerde gegevens uit de zoekresultaten van Google halen. Dit bevat:

• Organische zoekresultaten
• advertenties
• Gerelateerde vragen
• Uitgelichte fragmenten
• Informatie over kennisgrafieken
• Afbeeldingen
• Inhoud van het tabblad Nieuws
• En nog veel meer

Het op grote schaal webscrapen van Google brengt echter enkele uitdagingen met zich mee:

• Google maakt gebruik van geavanceerde botdetectie en CAPTCHA's om scraping te blokkeren. Schrapers moeten ontwijkingstactieken gebruiken.
• Schrapen verdeeld over te veel IP's loopt het risico volledig geblokkeerd te raken. Vereist een zorgvuldige orkestratie.
• Technisch gezien in strijd met de Servicevoorwaarden van Google (hoewel zelden afgedwongen).
• Google past regelmatig het ontwerp van de resultatenpagina aan, waarbij scrapers worden afgebroken totdat ze zijn bijgewerkt.

Dus terwijl u flexibiliteit en toegang krijgt tot rijke gegevens, vereist webscraping meer technische vaardigheden en onderhoud dan een officiële API. Afwegingen om te overwegen.

Gotcha's schrapen

Laten we wat dieper ingaan op enkele van de belangrijkste problemen die zich voordoen bij het webscrapen van Google Zoeken:

• CAPTCHA's – Google toont CAPTCHA’s heel snel aan scrapers, soms zelfs op eerste verzoek. De schraper moet logica gebruiken om de uitdagingen te analyseren, op te lossen en te omzeilen.

• IP-blokkering – Als u te intensief van één IP-adres schrapt, wordt dit gemarkeerd en geblokkeerd door de systemen van Google. U moet dus een grotere groep IP's orkestreren en er doorheen roteren.

• Lay-outverschuivingen – Google past het ontwerp van de zoekresultatenpagina regelmatig een beetje aan. Elke wijziging kan een schraper kapot maken die afhankelijk is van hardgecodeerde HTML-parsering. Schrapers moeten voortdurend worden bijgewerkt.

• Varianten van zoekopdrachten – Het verzamelen van een breed scala aan unieke zoekopdrachten is veiliger dan het steeds opnieuw herhalen van dezelfde zoekopdrachten. Frequentie wekt argwaan.

• Gebruikersagenten – Scraperverzoeken moeten zoveel mogelijk de tekenreeksen van echte browsergebruikersagenten nabootsen en deze regelmatig roteren.

Hoewel deze problemen het schrapen van Google niet triviaal maken, kunnen ze worden opgelost met voldoende technische expertise en infrastructuur. Voor grootschalige commerciële databehoeften is die investering vaak de moeite waard.

Gebruikmaken van zoek-API's van derden

Het bouwen en onderhouden van een Google-scraping-oplossing op bedrijfsniveau is complex. Velen kiezen ervoor om die overhead te vermijden door gebruik te maken van commerciële diensten van derden die beheerde Google-zoek-API's bieden.

Deze providers gebruiken hun eigen Google-scrapers op een robuuste infrastructuur en stellen de verzamelde gegevens vervolgens beschikbaar via schonere API's en dashboardinterfaces. Enkele toonaangevende opties:

SerpApi

SerpApi richt zich uitsluitend op het bieden van een krachtige Google-zoek-API. Kenmerken omvatten:

• JSON-reacties met volledig gestructureerde gegevens voor organische advertenties, gerelateerde zoekopdrachten, enz.
• Locatietargeting wereldwijd.
• Aangepaste user agents en proxyrotatie om blokkades te voorkomen.
• API's voor automatisch aanvullen van Google en gerelateerde zoekopdrachten.
• Integraties voor Algolia en ElasticSearch.
• SLA voor 99.5% uptime.

Prijzen beginnen bij $ 49/maand voor maximaal 5 zoekopdrachten. Abonnementen gaan tot 200 zoekopdrachten voor $ 999/maand.

SnelleAPI

Naast hun enorme API-marktplaats biedt RapidAPI een speciale Google-zoek-API met de volgende mogelijkheden:

• JSON-antwoorden met algemene velden zoals titel, link, fragment.
• Locatie- en taalparameters.
• Gerelateerde zoekopdrachten, zoeken in woordenboeken en API's voor automatisch aanvullen.
• Gratis niveau van 500 verzoeken per maand.
• Pay-as-you-go-prijzen vanaf $ 15/maand voor 5 zoekopdrachten.

RapidAPI heeft zwaar geïnvesteerd in infrastructuur, taakverdeling en ondersteuning voor ontwikkelaars.

SchrapenBee

ScrapingBee biedt webscraping als een beheerde service. Hun Google-zoekaanbod omvat:

• JSON-resultaten met geëxtraheerde titels, links, fragmenten, afbeeldingen, enz.
• Wereldwijde residentiële en datacenter-IP's om blokkades te voorkomen.
• Gratis proefversie van 1,000 zoekopdrachten.
• Prijsplannen vanaf $ 29/maand voor 10 zoekopdrachten.

ScrapingBee richt zich op proxybeheer en automatisering.

Apify

Apify biedt een Google-zoekschraper als onderdeel van hun grotere platform voor de extractie van webgegevens. Hoogtepunten:

• Gestructureerde JSON-resultaten (titel, link, fragment, beoordelingen, afbeeldingen enz.).
• Configureerbare locatietargeting en taalselectie.
• Geïntegreerde proxy-rotatie en captcha-oplossing.
• 30 dagen gratis op proef.
• Abonnementen vanaf $ 49/maand inclusief proxy-infrastructuur.

Apify biedt tools voor automatisering, opslag en gegevenslevering die verder gaan dan alleen Google Zoeken.

Hoe werken deze diensten?

In de kern werken diensten als SerpApi, RapidAPI, ScrapingBee en Apify door:

1. Het accepteren van inkomende API-verzoeken van klanten.
2. Deze verzoeken worden doorgestuurd naar hun eigen interne Google-scrapers.
3. Voer query's op schaal uit over meerdere proxy's en IP's.
4. Structureren van de geschraapte gegevens.
5. Schone JSON-resultaten retourneren aan de klant.

Door scrapingverzoeken van een groot klantenbestand samen te voegen, kunnen ze de infrastructuurkosten afschrijven en tegelijkertijd een gebruiksvriendelijkere interface bieden dan directe webscraping.

Vergelijk abonnementen en prijzen

Prijzen en abonnementen variëren per provider, maar er zijn enkele overeenkomsten:

• Gratis niveaus tussen 500-1000 zoekopdrachten om de API te proberen.
• Betaalde startersabonnementen ongeveer $ 30/maand voor ~10 zoekopdrachten.
• Pro-plannen in het bereik van $ 50-100/maand voor meer dan 100 zoekopdrachten.
• Enterprise-plannen voor bedrijven die meer dan 500 zoekopdrachten nodig hebben.

Hier ziet u bijvoorbeeld hoe de prijzen uitvallen voor 50,000 Google-zoekopdrachten per maand:

Dus hoewel de onderliggende technologie vergelijkbaar is, moet u op zoek gaan naar verschillen in Query's en oproepen Query. Een individuele zoekterm of verzoek ingediend bij Google Programmatisch op grote schaal bevragen van Google betekent dat de zoek-API (of webpagina) wordt aangeroepen met een reeks zoekopdrachten en de resultaten worden opgehaald. Het maximale aantal zoekopdrachten geeft dus het zoekvolume aan dat elke maand wordt ondersteund bij een bepaald prijsniveau. Prijsplannen en -niveaus De meeste zoek-API's van Google bieden meerdere tariefplannen of -niveaus. Lagere niveaus maken minder maandelijkse zoekopdrachten mogelijk voor een lagere basisprijs. Hogere niveaus kosten meer, maar bieden meer zoekmogelijkheden en extra voordelen, zoals prioriteitsondersteuning. Operationele kosten Providers maken voortdurend kosten voor infrastructuur, personeel en systemen om hun API's operationeel te houden. Hogere vraagvolumes zorgen voor meer servers, bandbreedte enz. De abonnementen zijn zo geprijsd dat ze deze kosten op grote schaal voor klanten kunnen terugverdienen. Gratis niveaus De meeste API's bieden een gratis laag waarmee u de service kunt testen voordat u betaalt. Tussen de 500 en 1000 gratis zoekopdrachten per maand is gebruikelijk. prijsstructuur, querylimieten en unieke functies.

De toekomst van Google Search API's

Gezien het primaat van Google op het gebied van zoeken, zullen we waarschijnlijk een voortdurende evolutie zien in de manier waarop ontwikkelaars toegang krijgen tot deze gegevens. Hier zijn enkele mogelijke ontwikkelingen aan de horizon:

• Robuuste betaalde API – Google zou Custom Search kunnen uitbreiden naar een betaalde API met bredere zoektoegang, vergelijkbaar met de oude Google Search API. Dit zou de prikkels om te schrappen verminderen.

• Partnerships – Google kan nauwer samenwerken met specifieke verticale zoekaggregators, zoals ze hebben gedaan in Shopping en Vluchten.

• Zelfbediening schrapen – Platforms zoals Apify zouden Google-scraping volledig zelfbediening mogelijk kunnen maken om het toegankelijker te maken.

• Browser-API – Gestructureerde gegevens kunnen worden vrijgegeven via een officiële browser-API voor Google-zoekpagina’s.

• Kennisgrafiek-API – De kennisgrafiek van Google bevat enorme entiteitsgegevens en kan worden geopend voor gestructureerde zoekopdrachten.

Voorlopig lijken webscraping en API's van derden klaar om de toegang tot zoekgegevens van Google in 2024 te domineren. Maar het terrein blijft evolueren, dus houd het in de gaten!

Waarde halen uit de uitgebreide zoekindex van Google

Hopelijk heeft deze gids een nuttig overzicht gegeven van het huidige landschap voor het programmatisch benutten van de zoekresultaten van Google. De opties die vandaag de dag beschikbaar zijn, maken de gegevens van Google toegankelijker dan ooit tevoren.

Voor persoonlijke en kleinschalige behoeften kan direct webscrapen de beste oplossing zijn. Maar voor grotere productietoepassingen bieden API's van derden, zoals SerpApi, RapidAPI, ScrapingBee of Apify, grote waarde via hun beheerde services.

Welke aanpak u ook kiest, het integreren van de geïndexeerde kennis van Google kan bedrijven, toepassingen en onderzoek enorm verbeteren. We beginnen nog maar net de potentiële waarde aan te boren die verborgen zit in die 63 miljard maandelijkse zoekopdrachten.

Bedankt voor het lezen! Laat het me weten als je nog vragen hebt.