מילון מונחים · טכני
robots.txt וסורקי AI
robots.txt הוא קובץ טקסט שיושב בשורש האתר ומגדיר אילו סורקים רשאים לגשת לאילו כתובות. הקובץ שולט בסריקה, לא באינדוקס, כלומר גם כתובת שחסומה בו יכולה עדיין להופיע בתוצאות חיפוש במקרים מסוימים.
סורקי AI מרכזיים שכדאי להכיר
- GPTBot, הסורק של OpenAI
- ClaudeBot, הסורק של Anthropic
- Google-Extended, סורק נפרד מ-Googlebot, ל-Gemini
- PerplexityBot, הסורק של Perplexity
לחסום או לאפשר
ברוב המקרים, חסימת סורקי AI פירושה שהעסק שלכם פשוט לא יופיע בתשובות של אותו מנוע. אלא אם יש לכם סיבה עסקית ספציפית לחסום (למשל תוכן פרימיום בתשלום), ההמלצה הכללית היא לאפשר לכל הסורקים גישה חופשית, כי חסימה מבטלת פוטנציאל נראות משמעותי.
חסימת סורק AI לא שקולה למחיקת מידע, אלא ויתור מודע על הסיכוי שהמנוע יכיר וימליץ על העסק שלכם.
רוצים בדיקה טכנית של האתר שלכם?
אבחון חינם: נבדוק אם הסורקים החשובים באמת מגיעים אליכם.
⚡ קבלו אבחון נוכחות ב-AI בחינם