פרוטוקול נפוץ באינטרנט מגדיר למנועי חיפוש ורובוטים את אופן סריקת אתר, למידע נוסף וויקי באנגלית ואתר רשמי. אתרים רבים אינם משתמשים ב robots.txt. אני מכווה שאתם משתמשים בו, לכן אני כותב על טעויות נפוצות, שיפורים ושינויים. קובץ robots.txt משפיע באופן ישיר ועקיף על SEO. לפעמים גם פוסט או מאמר שנכתב במיוחד למנועי חיפוש נחסם בגלל טעות אחת בקובץ.