چگونگی معرفی سایت به گوگل، بینگ و یاهو

وقتی وب سایت شما آماده بهره برداری شد لازم است که آن را به گوگل معرفی کنید. این کار کاملا رایگان بوده و گوگل هیچ هزینه ایی را از شما از این بابت دریافت نمی کند. با این حال معرفی سایت به گوگل به تنهایی کافی نبوده و شما می بایست بدانید که روند کار موتور جستجو چگونه است تا وب سایت شما مورد توجه موتورهای جستجو قرار بگیرد. قبل از اینکه شما جستجو کنید، خزندگان وب (Web Crawlers) اطلاعات را از صدها میلیارد صفحه وب جمع آوری می کنند و آن را در فهرست جستجو (Search Index) سازماندهی می کنند. سپس آنها را توسط الگوریتم هایی رتبه بندی و ارائه می دهند. این بدان معناست که معرفی کردن وب سایت به موتور جستجو کافی نیست و شما می بایست اصول SEO را رعایت کرده تا رتبه خوبی را در آن موتورهای جستجو بدست آورید.

در ادامه این مقاله ابتدا روش ثبت وب سایت را در موتورهای جستجو و ثبت درخواست Recrawl توضیح می دهم. سپس روش خزیدن و نمایه سازی را توسط موتورهای جستجو توضیح می دهم و اینکه چطور نقشه سایت می تواند به این فرآیند کمک کند.

 

ثبت وب سایت در گوگل

گوگل شناخته ترین موتور جستجوی اینترنت است شاید بسیاری از کاربرهای عادی راه دیگری را بجز گوگل برای جستجو محتوا نشناسند. تقریبا 65% جستجو ها در گوگل انجام می شود. از این لحاظ بسیار مهم است که وب سایت شما در گوگل رتبه مناسبی داشته باشد. با معرفی وب سایت خود به گوگل شما این شانس را پیدا می کنید که در زمان کوتاه تری وب سایت تان توسط گوگل خزیده Crawl و ایندکس شود(Crawl و Indexing را ادامه این مقاله توضیح خواهم داد). البته این زمان فهرست شدن کاملا مشخص نیست و ممکن است گاه از چند روز تا چند هفته طول بکشد.

قبل از ثبت سایت در گوگل باید توجه داشته باشید که طراحی وب سایت خود از فهرست شدن وب سایت خود جلوگیری نکرده باشید. (مثلا با فایل robots.txt)

خوب چطور وب سایت را به گوگل معرفی کنیم؟

1. ابتدا می بایست وارد حساب کاربری خود در گوگل شوید.
2. به آدرس https://www.google.com/webmasters/tools/submit-url?continue=/addurl رفته یا از طریق Google Search Console وارد این قسمت شوید. (حتی می توانید در گوگل Add your URL to Google را جستجو کنید).
3. سپس آدرس وب سایت خود را بطور کامل و صحیح وارد کنید.
4. در صفحه کد امنیتی کد نمایش داده شده را وارد کنید.
5. پایان. روی Submit Request کلیک کنید.

 

معرفی سایت به موتور جستجوی بینگ

شاید Bing دومین موتور جستجوی پر طرفدار باشد. برای همین بد نیست که وب سایت خود را نیز به این موتور جستجو معرفی کنید. مراحل انجام این کار بسیار ساده بوده و شبیه گوگل است تنها باید به https://www.bing.com/toolbox/submit-site-url  بروید و آدرس وب سایت خود را Submit کنید. اما نسبت به گوگل شاید زمان بیشتری لازم باشد که نتیجه این ثبت را در جستجو حس کنید. به هر حال گوگل قویترین در این رشته است.

 

معرفی سایت به موتور جستجوی یاهو

هر چه موتور های جستجوی بیشتری شما را بشناسند کاربران بیشتری به وب سایت شما راهی خواهند شد. موتور جستجوی یاهو و بینگ با هم در ارتباط هستند اما با این حال این موتور جستجو محلی را برای ثبت آدرس وب سایت شما در نظر گرفته است. این سرویس نیز رایگان بوده و شما می توانید به راحتی این کار را انجام دهید.

1. به آدرس https://search.yahoo.com/info/submit.html  رفته سپس وارد حساب کاربری خود شوید.
2. در قسمت Mysite وارد Add Your Site شوید.
3. آدرس URL وب سایت خود را وارد کنید.
4. در صورت تمایل نقشه سایت خود را با فایل XML وارد کنید.
5. مراحل Verify را برای ثبت سایت خود بگذرانید.
6. روی Publish کلیک کنید.

 

همانطور که مشاهده کردید ثبت سایت در یک موتور جستجو بسیار ساده است. پس از ثبت آن موتور جستجو سایت شما را Crawl و Index می کند. علاوه بر آن نسبت به محتوای وب سایت شما رتبه بندی را انجام می دهد. توجه داشته باشید که دو بار وب سایت خود را معرفی نکنید چون ممکن است این حرکت شما به عنوان اسپم شناخته شده یا جریمه برای آن در نظر گرفته شود. برای آنکه وب سایت شما مجدد Crawl شود تنها می بایست درخواست Recrawl بدهید (چگونگی این درخواست در آخر همین مقاله توضیح داده شده است). البته اگر وب سایت شما دارای متادیتای nofollow یا noindex باشد نیز صفحات مربوط به آن در موتور جستجو فهرست نمی شود.

 

اصول جستجو و Crawl

قبل از اینکه شما جستجو کنید، خزندگان وب (Web Crawlers) اطلاعات را از صدها میلیارد صفحه وب جمع آوری می کنند و آن را در فهرست جستجو (Search Index) سازماندهی می کنند.

روند خزنده با لیستی از آدرس های وب از دفعات گذشته و نقشه های سایت ارائه شده توسط صاحبان وب شروع می شود. همانطور که Crawlers های گوگل از این وب سایت ها بازدید می کنند، از لینک های آن سایت ها برای کشف صفحات دیگر استفاده می کنند. این نرم افزارها توجه ویژه ای به سایت های جدید، تغییرات در سایت های موجود و لینک های مرده دارند. برنامه های کامپیوتری سایت ها را برای خزیدن انتخاب می کند و همچنین چه میزان و چه تعداد صفحاتی را از هر سایت بررسی شود مشخص می کنند.

گوگل ابزارهای وب مستر (Webmaster Tools) را ارائه می دهد تا صاحبان سایت درباره اینکه چطور سایت ها Crawl می شوند اطلاع داشته باشند. صاحبان سایت حتی می توانند در خواست Crawl مجدد دهند، اما گوگل هیچگاه مبلغی را جهت Crawl یک سایت بطور مرتبط نمی دهد بلکه گوگل تلاش می کند با یکسان بودن این فرایند برای همه ی سایت ها بهترین نتایج را به کاربران موتور جستجو ارائه دهد.

وب مانند یک کتابخانه در حال رشد با میلیاردها کتاب می ماند که هیچ سیستم ورودی مرکزی ایی ندارد. اما از نرم افزار شناخته شده به عنوان خزنده وب برای کشف صفحات عمومی وب قابل دسترس استفاده می کند. خزنده ها به صفحات وب می روند و پیوندهای مربوط به آن صفحات را دنبال می کنند، بسیار شبیه کاربران عادی که در حال مرور محتوا در وب هستند. آنها از یک لینک به لینک دیگر می روند و تا اطلاعات مربوط به این صفحات وب را بدست آورده و به سرورهای گوگل آورند.

 

سازماندهی اطلاعات توسط نمایه سازی

هنگامی که Crawlers یک صفحه وب را پیدا می کنند، سیستم های گوگل محتوای صفحات آن را مانند مرورگر رندر می کنند. نرم افزارهای گوگل از سیگنال های کلیدی – از کلمات کلیدی گرفته تا بروز بودن وب سایت – همه را در نمایه جستجو Search index ذخیره می کنند.

فهرست جستجوی Google شامل صدها میلیارد صفحه وب به حجم بیش از 100 میلیون گیگابایت است. این همانند نمایه در آخر یک کتاب است – با ورود هر کلمه به هر صفحه وب آن کلمه به ایندکس اضافه می شود. هنگامی که یک صفحه وب فهرست می شود، آن صفحه با تمامی محتویاتش اضافه می شود.

با استفاده از نمودار دانش Knowledge Graph، گوگل فراتر از تطابق کلمات کلیدی سعی در فهم بهتر مردم، مکان ها و علایق آنها دارد. برای انجام این کار، نه تنها اطلاعات مربوط به صفحات وب را بلکه انواع دیگر اطلاعات نیز را سازماندهی می کند. امروز جستجوی گوگل می تواند به شما در جستجوی متن از میلیون ها کتاب از کتابخانه های بزرگ، پیدا کردن زمان سفر از آژانس حمل و نقل عمومی یا در جستجوی منابع عمومی مانند بانک جهانی کمک کند.

 

اهمیت نقشه سایت

خزندگان وب از نقشه سایت استفاده می کنند. Sitemap یک فایل است که می توانید صفحات وب سایت خود را در آن فهرست کنید تا به گوگل و سایر موتورهای جستجو درباره سازمان و محتوای وب راهنمایی دهید. خزنده های موتور جستجو مانند Googlebot با خواندن این نقشه برای خزیدن هوشمندانه سایت شما بهره می برند.

همچنین نقشه سایت شما میتواند متادیتای ارزشمند مرتبط با صفحاتی را که در آن نقشه سایت ذکر شده است، ارائه دهد: متادیتا اطلاعاتی در مورد یک صفحه وب است، مانند: زمانی که آخرین صفحه به روز شد، چند بار صفحه تغییر یافت، و اهمیت صفحه نسبت به دیگر URL ها در سایت.

شما می توانید از نقشه سایت برای ارائه متادیتا و اطلاعات درباره انواع محتوای صفحه از قبیل عکس و ویدئو استفاده کنید. به عنوان مثال، شما می توانید اطلاعات مربوط به محتوای ویدئو و تصویر را به گوگل بدهید: محتوای یک ویدئو در نقشه سایت می تواند زمان پخش، دسته بندی، و رتبه بندی مناسب سن را مشخص کند. یا می تواند موضوع یک عکس، نوع و لایسنس را شامل شود.

آیا شما یک نقشه سایت نیاز دارید؟

اگر صفحات سایت شما به درستی مرتبط هستند، خزنده وب گوگل معمولا می تواند بیشتر سایت شما را خود کشف کند. با این حال، یک نقشه سایت می تواند خزیدن سایت شما را بهبود بخشد، به خصوص اگر سایت شما یکی از معیارهای زیر را داشته باشد:

• سایت شما بسیار بزرگ است. در نتیجه، احتمال دارد که خزنده های وب Google برخی از صفحات جدید یا تازه به روز شده شما را غفلت کند .
• سایت شما دارای یک بایگانی بزرگ از صفحات است که جدا شده یا به خوبی با یکدیگر ارتباط ندارند. اگر صفحات سایت به طور طبیعی مرجع یکدیگر نیستند، می توانید آنها را در یک نقشه سایت فهرست کنید تا اطمینان حاصل کنید که Google برخی از صفحات شما را نادیده نگیرد.
• سایت شما جدید است و تعداد اندکی لینک های خارجی دارد. Googlebot و سایر خزنده های وب از طریق دنبال کردن لینک ها از یک صفحه به وب دیگر می روند. در نتیجه، ممکن است گوگل صفحات شما را کشف نکند، اگر هیچ سایت دیگری به آنها لینک نباشد.
• سایت شما از محتوای رسانه هایی استفاده می کند که در Google News نمایش داده شده یا از حاشیه نویسی های سازگار با سایر نقشه های سایت استفاده می کند. گوگل زمانی که مناسب بداند می تواند اطلاعات بیشتری از نقشه های سایت برای جستجوی خود مد نظر قرار دهد.

با این حال گوگل با استفاده از یک Sitemap تضمین نمی کند که تمام موارد در نقشه سایت شما خزیده و نمایه شود، با این حال گوگل بر الگوریتم های پیچیده ای برای برنامه ریزی خزیدن تکیه می کند. اما در اغلب موارد، سایت شما از داشتن یک نقشه سایت سود می برد و هرگز به خاطر داشتن آن جریمه نخواهد شد.

 

درخواست Recrawl

اگر اخیرا یک صفحه در سایت خود اضافه کرده یا تغییراتی را ایجاد کرده باشید، می توانید از Google برای دوباره فهرست کردن آن با استفاده از ابزار Fetch as Google درخواست کنید. این ابزار به شما نشان می دهد که آیا این تغییرات در Crawling تاثیر دارد یا خیر.

شما تنها زمانی می توانید درخواست re-indexing را بکنید که:

• واکشی Fetch در وضعیت کامل، جزئی یا redirected داشته باشد.
• Fetch باید تازه باشد یعنی بیش از 4 ساعت از آن نگذشته باشد.

 

مراحل در خواست Recrawl and Reindex یک URL

1. ابتدا می بایست توسط ابزار Fetch as Google درخواست واکشی یا رندر کنید یا از جدول fetch یکی را که شرایط بالا را داراست انتخاب کنید. مطمئن شوید که صفحه مورد نظر شما در این عملیات ظاهر می شود، در غیر اینصورت ممکن است که این صفحه توسط گوگل Crawl نشود یا در جای اشتباهی دسته بندی شود.
2. سپس در روی Request indexing در کنار جدولFetch History کلیک کنید. اگر امکان Fetch ظاهر نشد یعنی این صفحه الزامات بالا را ندارد.
3. مشخص کنید که می خواهید تنها یک صفحه را Crawl کنید یا لینک ها مستقیم هم پردازش شود.

• باز گزینه Crawl only this URL (فقط یک لینک) شما می توانید در طول 30 روز 500 در خواست ReCrawl بدهید.
• اما با Crawl this URL and its direct links (یک لینک با لینک های مستقیم آن) شما تنها می توانید 10 در خواست در 30 روز را ثبت کنید.

4. سپس بر روی Submit کلیک کنید تا درخواست در صف قرار گیرد.
5. درخواست Recrawl بطور آنی و گارانتی شده نیست. معمولا چندین روز طول می کشد تا این درخواست پردازش شود. همچنین گوگل بخاطر تنوع و پیچیدگی های این فرآیند تضمین نمی کند که تمام صفحات و اطلاعات به طور کامل فهرست شوند.

 

رتبه بندی سایت (SERPs)

پس از Crawling و فهرست شدن وب سایت شما نوبت به ارائه وب سایت در موتورهای جستجو می شود. البته انتظار نداشته باشید که یک شبه این اتفاق بیافتد. اگر وب سایت شما اصول سئو را رعایت کرده باشد با این فهرست شدن باید چند ماهی منتظر باشید تا با توجه به رتبه بندی گوگل در نتایج جستجو محل مناسبی را بیابد. گوگل با الگوریتم های خود گاه تا 200 فاکتور را برای ارائه نتیجه در یک جستجو بکار می برد.

اما شما چه اصولی را باید در طراحی وب خود رعایت کرده باشید؟

• مناسب بودن برای دستگاه های موبایل، این امتیاز بزرگی است که در صورت Responsive نبودن طراحی خود کاربران و موتورهای جستجو را یکجا از دست می دهید.
• زمان بار گذاری: هرچه زمان بار گذاری وب سایت شما کمتر باشد شما رتبه بهتری دارید. (بعضی تحقیقات می گویند تقریبا هر کاربر 8 ثانیه در هر صفحه وب بطور میانگین می ماند، پس شما فرصت زیادی ندارید).
• لینک های ورودی از سایت های دیگر که این باعث می شود از طریق سایر صفحات باز Crawler به شما برسد.

کلمات کلیدی این نیز کاملا واضح است که گوگل در هر عبارت جستجو مهمترین آنها را انتخاب می کند. پس شما نسبت به محتوای وب سایت خود می بایست از کلمات کلیدی مرتبط در عناوین و تگ های خود استفاده کنید.