أهم واجهات برمجة تطبيقات بحث Google في عام 2024

يعد البحث في الويب حجر الزاوية في حياتنا عبر الإنترنت. وعندما يتعلق الأمر بالبحث، فإن Google هو المسيطر - حيث أن أكثر من 92% من حركة البحث على سطح المكتب تمر عبرها وفقًا لذلك NetMarketShare.

هذا عدد مذهل يبلغ 63 مليار عملية بحث شهريًا مدعومة بأنظمة Google. إن الوصول إلى بيانات البحث على هذا النطاق يشبه الذهب الرقمي للمطورين والشركات. ولكن على عكس منافسها Bing، لا توفر Google إمكانية الوصول المباشر إلى فهرسها من خلال واجهة برمجة التطبيقات (API).

على مر السنين، أراد الكثيرون الاستفادة من بيانات البحث التي توفرها Google. سنتناول في هذا الدليل الخيارات المتاحة اليوم في عام 2024 للوصول إلى نتائج Google برمجيًا. فكر في الأمر باعتباره نظرة عامة على مشهد "Google Search API".

سنستكشف على وجه التحديد:

• عرض واجهة برمجة تطبيقات البحث المخصص الخاص بشركة Google
• طرق تجريف الويب لاستخراج بيانات Google
• خدمات الجهات الخارجية التي توفر واجهات برمجة تطبيقات البحث

دعونا الغوص في!

واجهة برمجة تطبيقات البحث المخصص المقيدة من Google

نظرًا لهيمنة Google على البحث، قد تتوقع منهم توفير واجهة برمجة التطبيقات (API) التي تمنح الوصول إلى فهرسهم ونتائجهم الكاملة. لكن هذه ليست هي القضية.

تقدم Google واجهة برمجة تطبيقات البحث المخصص، ولكن هذا هو الحال ليس واجهة برمجة تطبيقات البحث التقليدية:

تتيح لك واجهة برمجة تطبيقات البحث المخصص إنشاء محرك بحث لموقع الويب الخاص بك أو مجموعة من المواقع. يمكنك تكوين محرك البحث الخاص بك بإعدادات مثل المواقع التي تريد البحث فيها، والعلامة التجارية المخصصة، والشكل والمظهر، وما إلى ذلك.

بعض القيود الرئيسية على واجهة برمجة تطبيقات البحث المخصص:

• فهو يبحث فقط في مواقع/صفحات محددة تحددها، وليس على الويب بأكمله.
• يجب عليك تكوين كل موقع يدويًا لتتمكن من البحث فيه.
• تأتي النتائج من فهرس Google، لكنك تتحكم في معايير التصفية والتصنيف.
• تفرض فئة الاستخدام المجاني حدًا صارمًا يبلغ 100 استفسار يوميًا.
• يتكلف الاستخدام المدفوع 5 دولارات لكل 1000 استعلام، بحد أقصى 10 آلاف استعلام يوميًا.

توفر واجهة برمجة تطبيقات البحث المخصص قيمة من خلال السماح لك بتضمين بحث Google المخصص في موقع ويب أو أداة داخلية. لكن القيود تجعله غير قابل للاستخدام كوسيلة للوصول إلى بيانات بحث Google الأوسع.

مثلالنفترض أنك تريد تحليل نتائج البحث لطلب البحث "أفضل أجهزة الكمبيوتر المحمولة". باستخدام واجهة برمجة تطبيقات البحث المخصص، يمكنك فقط رؤية نتائج هذا الاستعلام على المواقع التي قمت بتكوينها على وجه التحديد. لا توجد طريقة سهلة للحصول على منظور Google الكامل.

يدفع هذا العديد من المطورين إلى البحث عن طرق بديلة للاستفادة من نتائج بحث Google. دعونا نناقش تلك القادمة.

استخلاص نتائج بحث جوجل

أصبح تجريف الويب (يُشار إليه أيضًا باسم استخراج بيانات الويب أو حصاد الويب) أسلوبًا شائعًا للحصول على بيانات بحث Google.

النهج الأساسي هو أتمتة الاستعلامات إلى Google برمجيًا، وجلب صفحات نتائج HTML، ثم استخراج البيانات المطلوبة - العنوان والروابط والمقتطفات وما إلى ذلك. بطريقة ما، أنت تقوم بإنشاء "واجهة برمجة تطبيقات بحث Google" المخصصة الخاصة بك.

تتضمن بعض الأدوات ولغات البرمجة الشائعة المستخدمة في تجريف الويب ما يلي:

• لغات الأغراض العامة: Python (Beautiful Soup، Scrapy)، Javascript/Node.js (محرك الدمى، الكاتب المسرحي)، Ruby (Mechanize، Watir)
• الأدوات البصرية: Apify، ParseHub، Octoparse
• خدمات سحابية: سكرابينج بي، سكرابي كلاود، بارس هاب كلاود

باستخدام ميزة تجريف الويب، يمكنك استرداد بيانات منظمة وغنية جدًا من نتائج بحث Google. هذا يتضمن:

• نتائج البحث العضوية
• استفسارات ذات صلة
• قصاصات مميزة
• معلومات الرسم البياني المعرفة
• الصور
• محتوى علامة تبويب الأخبار
• و اكثر

ومع ذلك، فإن تجريف Google على نطاق واسع يطرح بعض التحديات:

• تستخدم Google اكتشافًا متطورًا للروبوتات واختبارات CAPTCHA لمنع عملية التجريد. يجب على الكاشطات استخدام أساليب التهرب.
• يؤدي توزيع الكشط عبر عدد كبير جدًا من عناوين IP إلى خطر الحظر تمامًا. يحتاج إلى تنسيق دقيق.
• من الناحية الفنية، هذا مخالف لشروط خدمة Google (على الرغم من أنه نادرًا ما يتم تطبيقه).
• يقوم Google بانتظام بتعديل تصميم صفحة النتائج، وكسر أدوات الكشط حتى يتم تحديثها.

لذلك، بينما تتمتع بالمرونة وإمكانية الوصول إلى البيانات الغنية، فإن استخراج الويب يتطلب مهارات فنية وصيانة أكثر من واجهة برمجة التطبيقات الرسمية. المقايضات للنظر فيها.

كشط مسكتك

دعونا نتعمق قليلاً في بعض الصعوبات الرئيسية التي تنشأ عند إجراء بحث على الويب في Google:

• كبتشس - جوجل سريع جدًا في عرض اختبار CAPTCHA على أدوات استخراج البيانات، وأحيانًا عند الطلب الأول. تحتاج المكشطة إلى تشغيل المنطق لتحليل التحديات وحلها وتجاوزها.

• حجب IP - سيؤدي الاستخراج المكثف للغاية من عنوان IP واحد إلى وضع علامة عليه وحظره بواسطة أنظمة Google. لذلك تحتاج إلى تنظيم مجموعة أكبر من عناوين IP والتدوير من خلالها.

• تحولات التخطيط - كثيرًا ما يقوم Google بتعديل تصميم صفحة نتائج البحث بشكل طفيف جدًا. يمكن لأي تغيير أن يؤدي إلى كسر مكشطة تعتمد على تحليل HTML المشفر. يجب تحديث الكاشطات باستمرار.

• اختلافات الاستعلام - يعد حذف مجموعة واسعة من الاستعلامات الفريدة أكثر أمانًا من تكرار نفس الاستعلامات مرارًا وتكرارًا. التردد يثير الشكوك.

• وكلاء المستخدم – يجب أن تحاكي طلبات الكشط سلاسل وكيل مستخدم المتصفح الحقيقي قدر الإمكان، وتدويرها بشكل متكرر.

على الرغم من أن هذه المشكلات تجعل عملية تجريف Google أمرًا غير تافه، إلا أنه يمكن التغلب عليها من خلال الخبرة الفنية والبنية التحتية الكافية. بالنسبة لاحتياجات البيانات التجارية واسعة النطاق، غالبًا ما يكون هذا الاستثمار يستحق العناء.

الاستفادة من واجهات برمجة تطبيقات بحث الطرف الثالث

يعد إنشاء وصيانة حل Google على مستوى المؤسسات أمرًا معقدًا. يختار الكثيرون تجنب هذا الحمل باستخدام خدمات الطرف الثالث التجارية التي تقدم واجهات برمجة تطبيقات بحث Google المُدارة.

يقوم هؤلاء المزودون بتشغيل أدوات استخراج Google الخاصة بهم على بنية تحتية قوية، ثم يعرضون البيانات المجمعة من خلال واجهات برمجة التطبيقات وواجهات لوحة المعلومات الأكثر نظافة. بعض الخيارات الرائدة:

SerpApi

يركز SerpApi فقط على توفير واجهة برمجة تطبيقات بحث Google قوية. وتشمل الميزات:

• استجابات JSON مع بيانات منظمة كاملة للإعلانات العضوية وعمليات البحث ذات الصلة وما إلى ذلك.
• استهداف الموقع في جميع أنحاء العالم.
• وكلاء المستخدم المخصصون وتناوب الوكيل لتجنب الكتل.
• الإكمال التلقائي من Google وواجهات برمجة تطبيقات عمليات البحث ذات الصلة.
• التكامل مع Algolia وElasticSearch.
• وقت تشغيل بنسبة 99.5% لاتفاقية مستوى الخدمة.

يبدأ السعر من 49 دولارًا شهريًا لما يصل إلى 5 آلاف استفسار. تصل الخطط إلى 200 ألف استفسار مقابل 999 دولارًا شهريًا.

رابيدابي

بالإضافة إلى سوق API الضخم الخاص بها، توفر RapidAPI واجهة برمجة تطبيقات مخصصة لبحث Google تتمتع بالإمكانيات التالية:

• استجابات JSON مع الحقول المشتركة مثل العنوان والرابط والمقتطف.
• معلمات الموقع واللغة.
• عمليات البحث ذات الصلة والبحث في القاموس وواجهات برمجة التطبيقات للإكمال التلقائي.
• طبقة مجانية من 500 طلب شهريا.
• ادفع حسب استخدامك بأسعار تبدأ من 15 دولارًا شهريًا لـ 5 آلاف استعلام.

لقد استثمرت RapidAPI بشكل كبير في البنية التحتية وموازنة التحميل ودعم المطورين.

كشط النحل

يوفر ScrapingBee خدمة تجريف الويب كخدمة مُدارة. يتضمن عرض بحث Google الخاص بهم ما يلي:

• نتائج JSON مع العناوين والروابط والمقتطفات والصور وما إلى ذلك المستخرجة.
• عناوين IP السكنية ومراكز البيانات العالمية لتجنب الحظر.
• تجربة مجانية لـ 1,000 عملية بحث.
• تبدأ خطط الأسعار من 29 دولارًا شهريًا لـ 10 آلاف استفسار.

يركز ScrapingBee على إدارة الوكيل والأتمتة.

أبي

تقدم Apify مكشطة بحث Google كجزء من النظام الأساسي الأكبر لاستخراج بيانات الويب. يسلط الضوء:

• نتائج JSON المنظمة (العنوان والرابط والمقتطف والتقييمات والصور وما إلى ذلك).
• استهداف الموقع واختيار اللغة قابلان للتكوين.
• دوران الوكيل المتكامل وحل رموز التحقق.
• نسخة تجريبية مجانية لمدة 30 يومًا.
• الخطط تبدأ من 49 دولارًا شهريًا بما في ذلك البنية التحتية للوكيل.

يوفر Apify أدوات للأتمتة والتخزين وتسليم البيانات بما يتجاوز بحث Google فقط.

كيف تعمل هذه الخدمات؟

في جوهرها، تعمل خدمات مثل SerpApi وRapidAPI وScrapingBee وApify من خلال:

1. قبول طلبات API الواردة من العملاء.
2. إعادة توجيه هذه الطلبات إلى أدوات استخراج Google الداخلية الخاصة بهم.
3. تشغيل الاستعلامات على نطاق واسع عبر العديد من الوكلاء وعناوين IP.
4. هيكلة البيانات المحذوفة.
5. إرجاع نتائج JSON النظيفة إلى العميل.

ومن خلال تجميع طلبات النسخ عبر قاعدة كبيرة من العملاء، يمكنهم استهلاك تكاليف البنية التحتية مع توفير واجهة أكثر سهولة من استخراج البيانات المباشرة من الويب.

مقارنة الخطط والتسعير

تختلف الأسعار والخطط عبر مقدمي الخدمة، ولكن هناك بعض القواسم المشتركة:

• طبقات مجانية ما بين 500-1000 استعلام لتجربة واجهة برمجة التطبيقات.
• خطط مدفوعة للمبتدئين حوالي 30 دولارًا شهريًا لحوالي 10 آلاف استفسار.
• خطط احترافية في نطاق 50-100 دولارًا شهريًا لأكثر من 100 ألف استفسار.
• خطط المؤسسة للشركات التي تحتاج إلى أكثر من 500 ألف استفسار.

على سبيل المثال، إليك كيفية تغيير الأسعار لـ 50,000 عملية بحث على Google شهريًا:

لذلك، على الرغم من تشابه التكنولوجيا الأساسية، ابحث عن الاختلافات في الاستعلامات والاستعلام عن طريق المكالمات. مصطلح بحث فردي أو طلب يتم إرساله إلى Google. إن الاستعلام برمجيًا عن Google على نطاق واسع يعني استدعاء واجهة برمجة تطبيقات البحث (أو صفحة الويب) بسلسلة من الاستعلامات واسترداد النتائج. لذا يشير الحد الأقصى للاستعلامات إلى حجم البحث المدعوم كل شهر عند مستوى تسعير معين. خطط التسعير والطبقات تقدم معظم واجهات برمجة تطبيقات بحث Google خطط أو طبقات تسعير متعددة. تسمح المستويات الأدنى بعدد أقل من الاستعلامات الشهرية بسعر أساسي أرخص. تكلف المستويات الأعلى أكثر ولكنها تأتي مع بدلات بحث أكبر ومزايا إضافية مثل دعم الأولوية. يتحمل مقدمو التكاليف التشغيلية تكاليف مستمرة للبنية التحتية والموظفين والأنظمة للحفاظ على تشغيل واجهات برمجة التطبيقات الخاصة بهم. تؤدي أحجام الاستعلام الأعلى إلى زيادة عدد الخوادم وعرض النطاق الترددي وما إلى ذلك. ويتم تسعير الخطط لاسترداد هذه التكاليف على نطاق واسع عبر العملاء. الطبقات المجانية توفر معظم واجهات برمجة التطبيقات بعض المستويات المجانية للسماح باختبار الخدمة قبل الدفع. ما بين 500 – 1000 استفسار مجاني شهريًا هو أمر نموذجي. هيكل التسعير وبدلات الاستعلام والميزات الفريدة.

مستقبل واجهات برمجة تطبيقات بحث Google

ونظرًا لأولوية Google في البحث، فمن المحتمل أن نشهد تطورًا مستمرًا في كيفية وصول المطورين إلى هذه البيانات. فيما يلي بعض التطورات المحتملة في الأفق:

• واجهة برمجة تطبيقات مدفوعة أكثر قوة – يمكن لشركة Google توسيع البحث المخصص إلى واجهة برمجة تطبيقات مدفوعة مع إمكانية وصول أوسع للبحث، على غرار واجهة برمجة تطبيقات بحث Google القديمة. وهذا من شأنه أن يقلل من إلغاء الحوافز.

• الشراكات - قد تتعاون Google بشكل أعمق مع مجمعات بحث رأسية محددة، كما فعلت في التسوق ورحلات الطيران.

• تجريف الخدمة الذاتية - يمكن لمنصات مثل Apify تمكين خدمة Google ذاتية الخدمة بالكامل لتسهيل الوصول إليها.

• واجهة برمجة تطبيقات المتصفح – يمكن الكشف عن البيانات المنظمة من خلال واجهة برمجة تطبيقات المتصفح الرسمية لصفحات بحث Google.

• واجهة برمجة تطبيقات الرسم البياني للمعرفة – يحتوي الرسم البياني المعرفي لـ Google على بيانات هائلة عن الكيانات ويمكن فتحه للاستعلامات المنظمة.

في الوقت الحالي، يبدو أن استخراج الويب وواجهات برمجة التطبيقات التابعة لجهات خارجية مهيأة للسيطرة على الوصول إلى بيانات بحث Google في عام 2024. لكن التضاريس مستمرة في التطور، لذا ترقبوا ذلك!

استخراج القيمة من فهرس بحث Google الواسع

نأمل أن يكون هذا الدليل قد قدم نظرة عامة مفيدة على المشهد الحالي للاستفادة من نتائج بحث Google برمجيًا. الخيارات المتاحة اليوم تجعل الوصول إلى بيانات Google أكثر سهولة من أي وقت مضى.

بالنسبة للاحتياجات الشخصية والصغيرة الحجم، قد يكون تجريف الويب المباشر هو الأفضل. ولكن بالنسبة لتطبيقات الإنتاج الأكبر حجمًا، توفر واجهات برمجة التطبيقات التابعة لجهات خارجية مثل SerpApi أو RapidAPI أو ScrapingBee أو Apify قيمة كبيرة من خلال خدماتها المُدارة.

بغض النظر عن النهج الذي تختاره، فإن دمج المعرفة المفهرسة في Google يمكن أن يعزز الأعمال والتطبيقات والأبحاث بشكل كبير. لقد بدأنا للتو في الاستفادة من القيمة المحتملة المخفية في عمليات البحث الشهرية البالغة 63 مليارًا.

شكرا للقراءة! اسمحوا لي أن أعرف إذا كان لديك أي أسئلة أخرى.