فایل Robots.txt چیست و چگونه می توان آن را ساخت؟

XML sitemap به گوگل گزارش میدهد تا وب سایت شما را به طور موثرتری خزش کند . این گزارش به شما نشان میدهد که گوگل چه تعداد URL در نقشه سایت شما مییابد و چه تعداد از آن صفحات به ایندکس گوگل منتهی میشوند. غالبا یک نقشه سایت XML به عنوان جدول محتوای وب سایت شما کار میکند . نقشه سایت XML به گوگل نوع محتوا و چیزهایی که درون وب سایت شما وجود دارد را به گوگل شرح میدهد . مزیت استفاده از Yoast برای ساخت XML Sitemap این است که این افزونه؛ نقشه سایت پویا با بروزرسانی خودکار برای شما میسازد. تنظیمات پیشرفته Yoast را فعالکنید .

هنگامی که یک طراح یا مدیر site از سایت مپ برای وبسایت خود استفاده کند، می تواند تمام اطلاعات موجود در آن را دسته بندی کرده و به اصطلاح لیست کند. مانند منوها که باعث میشود مهم ترین بخشها و دسته های سایت به کاربران و موتورهای جستجو معرفی شود. برای مثال، گوگل تا حد زیادی صفحات وب را از طریق لینک پیدا میکند و اگر سایت جدید است و بک لینک کمی دارد، در این صورت یک نقشه سایت برای کمک به گوگل در یافتن صفحات سایت شما بسیار موثر است. اگر این سه مورد را دارا هستید پس باهم شروع به کار میکینم . اینجا همان جایی است که نقشه سایت مورد نیاز است. نقشه سایت (sitemap یا xml sitemap) طرح کلی از وبسایت شما است که به موتورهای جستجو در پیداکردن، خزش و ایندکس تمام محتوای سایت شما کمک میکند. از طریق نقشه سایت می توانید دسترسی خزنده های گوگل را به صفحاتی که مایل نیستید ایندکس شوند محدود کنید. برای انتقال سایت از HTTP به HTTPS یا موارد دیگر، URL را تغییر ندهید (این کار به اعتبار سایت شما لطمه میزند) بلکه از کدهای redirection یا تغییر مسیر استفاده کنید که ترافیک ارگانیک سایت فعلی شما به صفحه جدید منتقل شود بدون اینکه تغییرات برای کاربران محسوس باشد.

به عنوان مثال در قانون سه کلیک ، Three-click rule یا سه بار تپ کردن برای کاربرین موبایلی ، بر روی این نکته تأکید می شود که کاربر باید بتواند تنها با سه کلیک به هرآنچه که می خواهد در سایت شما بیاید ، برسد . در این بخش قصد داریم در مورد چند ابزار کاربردی برای سئو تکنیکال و مباحثی همچون ریدایرکت ها، تنظیم دادههای ساختاربندی شده، تگ Hreflang، استفاده از نقشه سایت XML و نوایندکس کردن صفحات تگ و دستهبندی و… از داشبورد بر روی سایت مپ کلیک کنید . این به گوگل می گوید وب سایت شما را جستجو کرده و نمایه سازی کند . دلیل مهم تر این است که نقشه سایت XML راهی سریع برای نمایه سازی توسط گوگل است . نقشه سایت نرمال: این مورد رایجترین نوع نقشه سایت است. اسکیما ویدیویی تا حد زیادی جایگزین نیاز به نقشههای سایت ویدیویی شده است. UGC یا User Generated Content به معنای محتوایی است که توسط کاربر تولیده شده است. در چنین حالتی، کاربر در میان نتایج ارائه شده و با توجه به عنوان سئو، یک نتیجه را به عنوان پاسخ انتخاب می کند که این مسئله باعث رقابت در بین سایت ها می شود. آن دسته از صفحاتی که با جستجو در سایت به وجود می آیند.

اگر صفحهای یا صفحاتی را در robots.txt مشخص کردهاید تا خزش نشوند یا از برچسب ″noindex″ در متا تگ صفحه استفاده میکنید، نباید آن صفحه در نقشه سایت شما وجود داشته باشد. در این صفحه ابتدا متوجه میشوید نقشه سایت چیست و سپس با انواع نقشه سایت آشنا میشوید و در نهایت با روش ساخت نقشه سایت XML و ثبت آن در سرچ کنسول آشنا میشوید. توصیه میکنم وقتی نقشه سایت به هر روشی ساخته شد، آن را کاملا و به دقت چک کنید که لینکهای صفحات مورد نظر شما در آن وجود داشته باشند. بر اساس نظر گوگل، لینک نوفالو هیچ ارزشی به وبسایتی که بک لینک می گیرد، نمی دهد اما تجربه وبمستران بخصوص در ایران چیز دیگری می گوید. گوگل سند باکس را تاکنون تایید نکرده اما طبق تجربه و بنچ مارک، این واقعیت وجود دارد که برای وبسایت های جدید که تازه ایندکس آن ها آغاز شده است، از یک تا سه ماه در کلمات کلیدی اصلی رشد چندانی ندارند.

سئو منفی در بیشتر مواقع کسب وکارهای پر رونق و حوزههای پررقابت را مورد هدف قرار میدهد و کسب و کارهای کوچک خیلی در معرض خطر این نوع سئو نیستند اما پیشگیری بهتر از درمان سایت seocentro است. معنی این عبارت این است که ما دستورات را برای تمام ربات ها در نظر گرفته ایم. از خیلی سال قبل، تکنیک طراحی گرافیک کلیدی برای توضیح چیزهای متفاوت به صورت بصری بوده است بدون در نظر گرفتن اینکه آن موضوع ساده است یا پیچیده است. این کلمات کلیدی را در محتوای خود اضافه کنید و در صورت امکان برای هرکدام توضیحاتی بدهید. علاوه بر موارد مورد اشاره موتورهای جستجو سایت های با محتوای خوب را نیز در فهرست و نتایج جستجو خود بیشتر ترجیح می دهند. خزنده وقتی وارد صفحهای از سایت میشود، در هر لینکی (چه داخلی یعنی به دیگر صفحات همان سایت یا لندینگ پیجها چه خارجی یعنی به سایتهای دیگر) که در آن صفحه وجود داشته باشد هم میرود. نقشه سایت شما میگوید: این صفحه مهم است و باید ایندکس شود اما وقتی ربات گوگل وارد صفحه میشود، آنها را مسدود شده میبیند. اما زمانی که کاربر وارد سایت شما شده و با مشاهده محتوای نامناسب سریعا از آن خارج میشود، این نشان دهنده بی کیفیت بودن وب سایت شماست.

نقشه سایت، به موتورهای جستجو میگوید که کدام مطالب بیشترین اهمیت را دارند. سایت مپ زمان به روز رسانی یک صفحه ، تعداد دفعات آپدیت شدن صفحات و اهمیت نسبی یک صفحه را به موتورهای جستجو میگوید . البته موارد خاص اندکی وجود دارند که داشتن یک نقشه سایت در آن موارد واقعا سودمند است. چرا داشتن نقشه سایت مهم است؟ لزوما شما نیاز به داشتن نقشه سایت HTML در کنار نقشه سایت XML ندارید. سعی کنید محتواهایی تولید کنید که به نیاز مخاطب بیشتر پاسخ دهد. مهمترین گام، پیش از تولید محتوا شناسایی کلمات کلیدی است. پیدا کردن کلمات و عبارت های کلیدی برای سایت شما اهمیت بسیاری دارد.

ربات ­های خزنده در بررسی های بعدی، URLهای سایت مپ را مورد توجه قرار می دهند؛ این موضوع سبب می شود که صفحات سایت شما در موتورهای جستجو بیشتر دیده شوند. بنابراین داشتن سایت مپ، المان مهمی برای بهینه کردن سایت شماست و ربات های خزنده را راهنمایی می کند تا به راحتی به تمامی قسمت های سایت بروند. سایت مپ به گوگل میگوید محتوای شما چند بار آپدیت میشود و اهمیت آن چه قدر است . اگر از نقشه سایت استفاده نکنید احتمالا وب سایت شما دارای محتوای تکراری است که این اصلا خبر خوبی برای سئوی سایت شما نیست .

فایل مربوط به سایت خود را مشاهده کنید. نتایج کاملا مشخص هستند: زمانی که SEO را به صورت پروژه ای انتخاب می کنید یعنی از مدت زمان انتهای پروژه مطلع هستید، در واقع در این روش می توانید از جایگاه نهایی خود در گوگل اطلاع داشته باشید که این موضوع می تواند برای کارفرما بسیار خوشایند باشد. اگر یک فایل xml دارید که احتمال دارد بیش از ۵۰ مگابایت شود؛ آن را به چند فایل کوچکتر تقسیم کنید. اما اگر مفید نباشد ، Google نمی خواهد آن محتوا را در بهترین نتایج جستجو قرار دهد. سئو داخلی یا (On-Page SEO) که به آن SEO درون صفحه ای نیز گفته می شود. Robots.txt یک فایل متنی ساده است ، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند Notepad یا TextEdit ویرایش کنید.

همانطور که در موارد قبلی هم اشاره شد، محتوای تصویری در انتقال مفهوم موفقتر بوده و مخاطب بیشتری هم جذب میکند. به عنوان مثال چنانچه در مجموعه ای شروع به کار کنید ، اگر در ساعات و روزهای اول ، نکات مثبت آنجا از ویژگی های منفیش بیشتر بوده و شما را جذب خود کند ، رغبت و تمایل شما نیز برای ادامه کار بیشتر می شود . سئو، بهترین و بهصرفهترین روش جذب علاقهمندان است. بنابراین تا زمانی که حجم یک فایل xml حدود ۵۰MB باشد مناسب است. به طور کلی اگر نقشه سایت به خوبی کد نویسی شده باشد، آدرس های معتبر و مناسب را برای ربات ­های خزنده در دسترس قرار می دهد. عکسها تاثیر بسزایی بر جذابیت بصری یک سایت و جلب توجه کاربر به مطالب آن دارند و به همین دلیل انتخاب تصاویر مناسب و بهینه سازی آنها موجب افزایش ترافیک ارگانیک یک سایت خواهند شد.

اما این بدان معنا نیست که شما می خواهید صفحات محصول خود را فقط مانند پست های وبلاگ، خواندنی کنید یا به عبارت دیگر صرفا مطلبی بنویسید که خواندن آن برای افراد جذاب باشد. بهعنوانمثال، نقشه سایت شما به 5000 صفحه لینک دارد.اما هنگامیکه سرچ کنسول گوگل را مشاهده میکنید، سایت شما فقط 2،000 صفحه ایندکس شده دارد. در این مرحله نقشه سایت به سرچ کنسول گوگل اضافه خواهد شد و می توانید پس از دقایقی جزئیات آن را مانند تصویر زیر مشاهده کنید. یکی از بهترین ابزارها برای مشاهده تعداد واژه ها ابزاری است به اسم word counter که جزو محبوب ترین ابزار در این زمینه محسوب می شود. اولین گام شما ساخت یک نقشه سایت است.

در ابتدای کار میزان بودجه و اهداف خود در کلمات کلیدی را مشخص کنید. این نکته نشاندهنده این است که قبل از ایجاد هر صفحه جدید سایت یا پست وبلاگ، باید در مورد چگونگی گنجاندن کلمات کلیدی خود در محتوا فکر کرده باشید. تمام آنچه برای انجام آن نیاز دارید ، یک کلمه کلیدی محصول یا کلمه کلیدی اطلاعاتی را در آن وارد کنید. چرا که وقتی کاربران با آن کلمه کلیدی عکسی را جستجو می کنند، برچسب alt در نمایان شدن آن عکس مؤثر است. این جمله را شنیده اید که یک تصویر می تواند بیشتر از هزار کلمه سخن بگوید. سئو (SEO) به معنای فرآیند بهینه سازی صفحات وبسایت شما برای رتبه بندی برتر در نتایج گوگل است و گوگل با استفاده از الگوریتمهای مشخصی، به رتبه بندی بهترین و مرتبط ترین نتایج برای هر فرآیند جستجوی کاربران میپردازد. حال ذخیره ی تغییرات را بزنید .اکنون زمان ارسال XML sitemap به گوگل است . همچنین ایجاد و ارسال نقشه سایت XML را در وردپرس آسان می کند .

یا میتواند این باشد که تعداد صفحات موجود در سایت شما از بودجه خزش شما پیشی گرفتهاند. همانطور که میدانید یکی از قابلیت های بسیار مهم وردپرس وجود افزونه های بسیار زیاد و کاربردی می باشد. آن ها در بینگ و یاهو بسیار مفید خواهند بود. اطمینان حاصل کنید که آدرس نقشه سایت خود اضافه را کنید تا به همه ربات های موتور جستجو کمک کنید آن را به راحتی پیدا کنند. اگر نقشه­ ای از سایت شما داشته باشند می دانند که از کجا به کجا بروند و صفحات شما را رتبه بندی کنند. اگر از وردپرس استفاده میکنید، میتوانید با استفاده از افزونه Yoast SEO برای خود نقشه سایت ایجاد کنید. بهینهسازی ساختار سایت: تنها لینکهای خارجی نیستند که در سئو اهمیت دارند، بلکه لینکهای داخلی (لینکهای موجود در خود سایت) نیز نقش مهمی را در سئو ایفا میکنند. اما وقتی به گزارش سرچ کنسول نگاه میکنید، سایت شما تنها ۲۰۰۰ صفحه ایندکس شده دارد.