מהן הטעויות הנפוצות שעושים בעלי אתרים בעת שימוש בקובץ Robot.txt?

תוכן עניינים

מהן הטעויות הנפוצות שעושים בעלי אתרים בעת שימוש בקובץ Robot.txt?

מהן הטעויות הנפוצות שעושים בעלי אתרים בעת שימוש ב-Robot.txt?

#לא ניתן למצוא את קובץ robot.txt

#לא ניתן לפתוח את robot.txt

#לא ניתן ליצור robot.txt

טעויות נפוצות שבעלי אתרים עושים בעת שימוש ב-Robot.txt:

-לא כולל את ה-www בשם הדומיין או לא כולל שם דומיין בקובץ robots.txt

-לא להוסיף לוכסן נגרר אחרי שם הדומיין

-לא משתמש בתחביר המתאים

הטעויות הנפוצות ביותר הן:

שימוש בשורת "User-agent" כשורה הראשונה בקובץ.

הכללת יותר מדי שורות User-agent בקובץ, או התרת טווח רחב מדי של שורות User-agent.

איך מתבצעת כתיבה תקינה של Robot.txt?

Robot.txt הוא מסמך שבו משתמשים יכולים לרשום את כתובות האינטרנט המורשות לסרוק את האתר, ואת דפי הביניים המותרים לסריקה.

www.example.org

זה יאפשר סריקה של כתובת אינטרנט אחת בלבד, וזו תהיה www.example.org.

המסמך יאפשר גם סריקה של דפי ביניים, כגון blog.example.org או contact.example.org

www.example.org

^/בלוג/

^/צור קשר/

/צור קשר/צור קשר

robot.txt

סוכן משתמש: *

אסור: /

זהו קובץ robot.txt פשוט המאפשר לכל אחד לגשת לאתר אך מונע גישה לכל דבר תחת / אלא אם כן מותר במפורש על ידי הבעלים.

האם Robot.txt משפיע על קידום אורגני של האתר?

Robot.txt הוא קובץ בספריית השורש של שרת אינטרנט המכיל הוראות עבור אילו דפי אינטרנט מותר לסרוק, ואילו מהם חסומים לגישה על ידי בוטים של מנועי חיפוש.

קובצי Robot.txt קיימים עוד מהימים הראשונים של האינטרנט, אך לאחרונה מעוררים דאגה מכיוון שיותר ויותר אנשים משתמשים ברובוטים כדי לסרוק את האתרים שלהם. קבצים אלה יכולים להשפיע על אופן הדירוג של אתר בתוצאות החיפוש של Google, לכן חשוב לדעת אם קובץ Robot.txt של האתר שלך עושה את עבודתו כראוי

התשובה היא כן ולא, תלוי איך אתה משתמש בקובץ Robot.txt באתר האינטרנט שלך. אם אתה רק חוסם דפים או תיקיות מסוימים באופן מוחלט, זה ישפיע לרעה על הדירוג האורגני של האתר שלך מכיוון שגוגל לא תוכל לסרוק את הדפים או התיקיות האלה ולהוסיף אותם לאינדקס למסד הנתונים שלה למטרות אופטימיזציה למנועי חיפוש

דילוג לתוכן