מחולל robots.txt

מהו מחולל robots.txt?

מחולל robots.txt עוזר ליצור את קובץ הטקסט הפשוט שמורה לסורקים אילו חלקים באתר מותר להם לסרוק. הוא משלב קבוצות User-agent, כללי Allow/Disallow, קישורי Sitemap והנחיות אופציונליות לקובץ robots.txt מוכן לפרסום בשורש האתר.

מה ניתן להגדיר?

אפשר ליצור קבוצות כללים נפרדות לסורקים שונים, להחיל תבניות נפוצות, להוסיף כתובת Sitemap אחת או יותר, ולהגדיר Host או Crawl-delay כאשר הסורקים היעד תומכים בכך. זה שימושי כאשר רוצים כללים כלליים לכל הבוטים וכללים מחמירים יותר לנתיבים כמו /admin/ או אזורים פחות חשובים.

כיצד צריך לפרסם את הקובץ?

בדקו את הפלט, שמרו אותו בשם robots.txt, והעלו אותו לרמת השורש של הדומיין, למשל https://example.com/robots.txt. אחרי הפרסום כדאי לבדוק את הקובץ בעזרת כלי Search Console או כלי בדיקת סריקה, ולוודא שהנתיבים וכתובות ה-Sitemap תואמים למבנה האתר הפעיל.

מהן המגבלות?

robots.txt הוא הוראת סריקה, לא מנגנון בקרת גישה. הוא יכול להנחות סורקים שמתנהגים כראוי, אבל הוא לא מגן על תוכן פרטי ולא חוסם בקשות ישירות. לכן דפים רגישים עדיין צריכים להיות מוגנים באמצעות אימות או הרשאות בצד השרת.