ما هي فهرسة الموقع؟ كيف يحدث ذلك؟ يمكنك العثور على إجابات لهذه الأسئلة وغيرها في المقالة. فهرسة الويب (الفهرسة في محركات البحث) هي عملية إضافة معلومات حول موقع إلى قاعدة البيانات بواسطة روبوت محرك البحث ، والذي يتم استخدامه لاحقًا للبحث عن معلومات حول مشاريع الويب التي خضعت لمثل هذا الإجراء.
تتكون البيانات حول موارد الويب في أغلب الأحيان من الكلمات الرئيسية والمقالات والروابط والمستندات. يمكن أيضًا فهرسة الصوت والصور وما إلى ذلك. من المعروف أن خوارزمية الكشف عن الكلمات المفتاحية تعتمد على محرك البحث
هناك بعض القيود على أنواع المعلومات المفهرسة (ملفات فلاش ، جافا سكريبت).
إدارة البدء
فهرسة الموقع عملية معقدة. لإدارتها (على سبيل المثال ، لمنع إرفاق صفحة معينة) ، تحتاج إلى استخدام ملف robots.txt وإرشادات مثل Allow و Disallow و Crawl-delay و User-agent وغيرها.
أيضًا ، تُستخدم العلامات والدعائم للفهرسة وإخفاء محتوى المورد من Google و Yandex robots (تستخدم Yahoo العلامة).
في محرك بحث Goglle ، تتم فهرسة المواقع الجديدة من يومين إلى أسبوع ، وفي Yandex - من أسبوع إلى أربعة أسابيع.
هل تريد أن يظهر موقعك في استعلامات نتائج محرك البحث؟ ثم يجب معالجتها بواسطة Rambler و Yandex و Google و Yahoo وما إلى ذلك. يجب إعلام محركات البحث (عناكب ، أنظمة) بوجود موقع الويب الخاص بك ، ثم يقوموا بالزحف إليه كليًا أو جزئيًا.
العديد من المواقع لم تتم فهرستها لسنوات. المعلومات الموجودة عليها لا يطلع عليها أحد باستثناء أصحابها.
طرق المعالجة
يمكن فهرسة الموقع بعدة طرق:
- الخيار الأول هو الإضافة اليدوية. تحتاج إلى إدخال بيانات موقعك من خلال النماذج الخاصة التي تقدمها محركات البحث.
- في الحالة الثانية ، يجد روبوت محرك البحث نفسه موقع الويب الخاص بك عن طريق الروابط ويفهرسه. يمكنه العثور على موقعك عن طريق روابط من موارد أخرى تؤدي إلى مشروعك. هذه الطريقة هي الأكثر كفاءة. إذا وجد محرك بحث موقعًا بهذه الطريقة ، فإنه يعتبره مهمًا.
توقيت
فهرسة الموقع ليست سريعة جدًا. تختلف الشروط من أسبوع إلى أسبوعين. تعمل الروابط من مصادر موثوقة (مع علاقات عامة ممتازة و Titz) على تسريع وضع الموقع في قاعدة بيانات محرك البحث بشكل كبير. اليوم ، تعتبر Google الأبطأ ، على الرغم من أنها حتى عام 2012 يمكنها القيام بهذه المهمة في غضون أسبوع. إلىلسوء الحظ ، الأمور تتغير بسرعة كبيرة. من المعروف أن Mail.ru يعمل مع مواقع الويب في هذا المجال منذ حوالي ستة أشهر.
فهرسة موقع في محركات البحث غير ممكنة لكل متخصص. يتأثر توقيت إضافة صفحات جديدة إلى قاعدة بيانات موقع تمت معالجته بالفعل بواسطة محركات البحث بتكرار تحديث محتواه. في حالة ظهور معلومات جديدة باستمرار على أحد الموارد ، يعتبر النظام أنها محدثة بشكل متكرر ومفيدة للأشخاص. في هذه الحالة يتم تسريع عملها.
يمكنك متابعة تقدم فهرسة موقع ويب في أقسام خاصة لمشرفي المواقع أو في محركات البحث.
التغييرات
إذن ، لقد توصلنا بالفعل إلى كيفية فهرسة الموقع. وتجدر الإشارة إلى أن قواعد بيانات محرك البحث يتم تحديثها بشكل متكرر. لذلك ، قد يتغير عدد صفحات مشروعك المضافة إليها (يتناقص ويزيد) للأسباب التالية:
- عقوبات محرك البحث ضد الموقع ؛
- وجود اخطاء بالموقع
- تغيير خوارزميات محرك البحث ؛
- استضافة مثيرة للاشمئزاز (عدم إمكانية الوصول إلى الخادم الذي يقع فيه المشروع) وما إلى ذلك.
إجابات Yandex على الأسئلة الشائعة
"Yandex" هو محرك بحث يستخدمه العديد من المستخدمين. تحتل المرتبة الخامسة بين أنظمة البحث العالمية من حيث عدد طلبات البحث التي تمت معالجتها. إذا قمت بإضافة موقع إليه ، فقد يستغرق الأمر وقتًا طويلاً لإضافته إلى قاعدة البيانات.
إضافة عنوان URL لا يضمن فهرسته. هذه فقط إحدى الطرق التي يتم من خلالها إخبار روبوت النظامحول مورد جديد. إذا كانت هناك روابط قليلة أو معدومة إلى موقع من مواقع ويب أخرى ، فستساعدك إضافته في العثور عليه بشكل أسرع.
إذا لم تحدث الفهرسة ، فأنت بحاجة إلى التحقق مما إذا كان هناك أي فشل على الخادم في وقت إنشاء تطبيق له من Yandex robot. إذا أبلغ الخادم عن خطأ ، فسينهي الروبوت عمله ويحاول إكماله بترتيب ذهابًا وإيابًا. لا يمكن لموظفي Yandex زيادة سرعة إضافة الصفحات إلى قاعدة بيانات محرك البحث.
فهرسة موقع في Yandex مهمة صعبة نوعًا ما. أنت لا تعرف كيفية إضافة مورد إلى محرك البحث؟ إذا كانت هناك روابط لها من مواقع ويب أخرى ، فلن تحتاج إلى إضافة موقع خاص - سيجده الروبوت تلقائيًا ويفهرسه. إذا لم يكن لديك مثل هذه الروابط ، يمكنك استخدام نموذج "Add URL" لإخبار محرك البحث بوجود الموقع.
ضع في اعتبارك أن إضافة عنوان URL لا يضمن فهرسة (أو فهرسة) إنشاءك.
يتساءل الكثير من الناس عن المدة التي تستغرقها فهرسة موقع في Yandex. لا يقدم موظفو هذه الشركة ضمانات ولا يتوقعون الشروط. كقاعدة عامة ، منذ علم الروبوت بالموقع ، تظهر صفحاته في البحث في غضون يومين ، وأحيانًا في غضون أسبوعين.
العملية
"Yandex" هو محرك بحث يتطلب الدقة والاهتمام. تتكون فهرسة الموقع من ثلاثة أجزاء:
- Search robot يزحف إلى صفحات الموارد.
- محتوىيتم تسجيل (محتوى) الموقع في قاعدة البيانات (فهرس) نظام البحث.
- في 2-4 أسابيع ، بعد تحديث قاعدة البيانات ، يمكنك رؤية النتائج. سيظهر موقعك (أو لن يظهر) في نتائج البحث.
فحص الفهرسة
كيفية التحقق من فهرسة الموقع؟ هناك ثلاث طرق للقيام بذلك:
- أدخل اسم عملك في شريط البحث (على سبيل المثال ، "Yandex") وتحقق من كل رابط في الصفحتين الأولى والثانية. إذا وجدت عنوان URL الخاص ببناتك هناك ، فهذا يعني أن الروبوت قد أكمل مهمته.
- يمكنك إدخال عنوان URL لموقع الويب الخاص بك في شريط البحث. ستتمكن من رؤية عدد أوراق الإنترنت المعروضة ، أي المفهرسة.
- سجل على صفحات مشرفي المواقع في Mail.ru و Google و Yandex. بعد اجتياز التحقق من الموقع ، ستتمكن من رؤية نتائج الفهرسة وخدمات محرك البحث الأخرى التي تم إنشاؤها لتحسين أداء موردك.
لماذا تفشل Yandex؟
تتم فهرسة موقع في جوجل على النحو التالي: يقوم الروبوت بإدخال جميع صفحات الموقع في قاعدة البيانات ، بجودة منخفضة وعالية الجودة ، دون تحديد. ولكن يتم تضمين الوثائق المفيدة فقط في الترتيب. ويستبعد "Yandex" على الفور جميع مهملات الويب. يمكنه فهرسة أي صفحة ، لكن محرك البحث سيقضي في النهاية على كل القمامة.
كلا النظامين لهما فهرس تزايدي. تؤثر كلتا الصفحات منخفضة الجودة على ترتيب موقع الويب ككل. هناك فلسفة بسيطة في العمل هنا. موارد مفضلة خاصةسيشغل المستخدم مناصب أعلى في إصداره. لكن هذا الشخص نفسه سيجد صعوبة في العثور على موقع لم يعجبه في المرة الماضية.
لهذا السبب ، أولاً ، من الضروري تغطية نسخ مستندات الويب من الفهرسة ، والتحقق من الصفحات الفارغة ومنع المحتوى منخفض الجودة من الفهرسة.
تسريع Yandex
كيف يمكنني تسريع فهرسة الموقع في Yandex؟ اتبع هذه الخطوات:
- قم بتثبيت متصفح Yandex على جهاز الكمبيوتر الخاص بك واستخدمه لتصفح صفحات الموقع.
- تأكيد حقوق إدارة المورد في Yandex. Webmaster.
- انشر رابط المقال على Twitter. من المعروف أن Yandex تتعاون مع هذه الشركة منذ عام 2012.
- إضافة بحث من Yandex للموقع. في قسم "الفهرسة" ، يمكنك إدخال عناوين URL الخاصة بك.
- أدخل رمز "Yandex. Metrica" بدون تحديد "إرسال الصفحات للفهرسة محظور".
- قم بإنشاء ملف Sitemap موجود فقط للروبوت وغير مرئي للجمهور. سيبدأ التحقق معه. يتم إدخال عنوان ملف Sitemap في ملف robots.txt أو بالشكل المناسب في "مشرف الموقع" - "إعدادات الفهرسة" - "ملفات خرائط الموقع".
إجراءات وسيطة
ما الذي يجب القيام به حتى تتم فهرسة صفحة الويب بواسطة Yandex؟ يجب أن يعتبر محرك البحث المحلي الموقع هو المصدر الأساسي. هذا هو السبب في أنه حتى قبل نشر المقال ، من الضروري إضافة محتواه إلى شكل "نصوص محددة". خلاف ذلكسينسخ المخترقون السجل إلى مصدرهم وسيكونون الأول في قاعدة البيانات. نتيجة لذلك ، سيتم التعرف عليهم كمؤلفين.
قاعدة بيانات Google
بالنسبة لـ Google ، نفس التوصيات التي وصفناها أعلاه مناسبة ، فقط الخدمات ستكون مختلفة:
- جوجل + (استبدال تويتر) ؛
- جوجل كروم ؛
- أدوات Google للمبرمجين - "مسح" - "يشبه Googlebot" - خيار "مسح" - خيار "فهرس" ؛
- البحث داخل مورد من Google ؛
- Google Analytics (بدلاً من Yandex. Metrics).
حظر
ما هو حظر فهرسة الموقع؟ يمكنك تراكبها على الصفحة بأكملها وعلى جزء منفصل منها (رابط أو جزء من النص). في الواقع ، هناك حظر فهرسة عالمي وآخر محلي. كيف يتم تنفيذها
لنأخذ في الاعتبار حظر إضافة موقع ويب إلى قاعدة بيانات محرك البحث في ملف Robots.txt. باستخدام ملف robots.txt ، يمكنك استبعاد فهرسة صفحة واحدة أو عنوان مورد كامل مثل هذا:
- User-agent:
- Disallow: /kolobok.html
- Disallow: / foto /
تشير النقطة الأولى إلى أن التعليمات معرّفة لجميع PSs ، والنقطة الثانية تشير إلى حظر فهرسة ملف kolobok.html ، والثالثة لا تسمح بإضافة الحشو الكامل لمجلد foto إلى قاعدة البيانات. إذا كنت بحاجة إلى استبعاد صفحات أو مجلدات متعددة ، فيرجى تحديدها جميعًا في الروبوتات.
من أجل منع فهرسة صفحة إنترنت معينة ، يمكنك استخدام العلامة الوصفية لبرامج الروبوت. إنه يختلف عن ملف robots.txtحقيقة أنه يعطي تعليمات لجميع PS مرة واحدة. تتبع علامة meta tag هذه المبادئ العامة لتنسيق html. يجب وضعها في عنوان الصفحة بين العلامات. يمكن كتابة إدخال حظر ، على سبيل المثال ، على النحو التالي:.
اياكس
كيف تقوم Yandex بفهرسة مواقع Ajax؟ اليوم ، يتم استخدام تقنية Ajax من قبل العديد من مطوري مواقع الويب. بالطبع ، لديها إمكانات كبيرة. باستخدامه ، يمكنك إنشاء صفحات ويب تفاعلية سريعة ومنتجة.
ومع ذلك ، فإن روبوت محرك البحث "يرى" قائمة الويب بشكل مختلف عن المستخدم والمتصفح. على سبيل المثال ، ينظر الشخص إلى واجهة مريحة بها أوراق إنترنت محملة بشكل متحرك. بالنسبة إلى الزاحف ، يمكن أن يكون محتوى الصفحة نفسها فارغًا أو يتم تقديمه كبقية محتوى HTML الثابت ، حيث لا تعمل البرامج النصية.
يمكنك استخدام عنوان URL معلإنشاء مواقع Ajax ، لكن محرك البحث لا يستخدمه. عادةً ما يتم فصل جزء عنوان URL بعد. يجب أن يؤخذ هذا في الاعتبار. لذلك ، بدلاً من عنوان URL مثل https://site.ru/example ، يقوم بإنشاء تطبيق على الصفحة الرئيسية للمورد الموجود على https://site.ru. هذا يعني أن محتوى صحيفة الإنترنت قد لا يدخل في قاعدة البيانات. نتيجة لذلك ، لن تظهر في نتائج البحث.
لتحسين فهرسة مواقع Ajax ، دعمت Yandex التغييرات في روبوت البحث وقواعد معالجة عناوين URL لمواقع الويب هذه. اليوم ، يمكن لمشرفي المواقع أن يشيروا لمحرك بحث Yandex إلى الحاجة إلى الفهرسة عن طريق إنشاء مخطط مناسب في هيكل الموارد. لهذا تحتاج:
- استبدل الرمزفي عنوان URL للصفحاتعلى ال !. الآن سوف يفهم الروبوت أنه يمكنه التقدم للحصول على نسخة HTML من محتوى صفحة الإنترنت هذه.
- يجب وضع نسخة HTML من محتوى هذه الصفحة على عنوان URL حيث ! استبدلت بـ؟ _escaped_fragment _=.
