Robots txt คืออะไร สำคัญต่อเว็บไซต์และ SEO แค่ไหน

หัวใจของการทำ SEO เพื่อให้เว็บไซต์ติดอันดับไม่ใช่เพียงแค่เลือก Keyword แต่แท้ที่จริงแล้วคือการเข้าใจพื้นฐานโครงสร้างต่าง ๆ ไปพร้อม ๆ กัน โดยโครงสร้างต่าง ๆ ของการทำ SEO นั้น มีอยู่มากมายหลายเรื่องมาก ซึ่งในบทความนี้เราจะมาทำความรู้จักกับ robots.txt อีกหนึ่งเทคนิคที่จะช่วยให้คุณทำ SEO ได้อย่างมีประสิทธิภาพมากขึ้น

Robots.txt คืออะไร?

เป็นไฟล์สคริปต์ที่ถูกสร้างขึ้นเพื่อบอกให้บอทของ Search Engine ทราบว่าเว็บไซต์หน้าไหนที่เราอยากให้เข้ามาเก็บข้อมูลหรือไม่ต้องการที่จะเก็บข้อมูล ซึ่งปกติ Search Engine Crawler จะเข้ามาค้นเว็บไซต์และจัดทำดัชนีอัตโนมัติ ดังนั้นเราจึงต้องทำเครื่องหมายกำกับไว้เพื่อไม่ให้บอทเข้าไปค้นทุกอย่างรวมถึงข้อมูลที่เราไม่อยากเปิดเผยนั่นเอง

ซึ่งหากเจ้าของธุรกิจมองว่าการทำ SEO ในเรื่องนี้นั้น เป็นเรื่องที่ซับซ้อน และต้องใช้ความชำนาญในการทำ Cotactic สามารถช่วยคุณแก้ไขปัญหาได้อย่างง่ายดาย เพราะเราเป็น SEO Agency ทำให้คุณหมดห่วงเรื่องการทำ SEO ไปได้เลย

ประโยชน์สำหรับการทำ SEO

ช่วยป้องกันไม่ให้บอทเข้ามาค้นหาและเอาหน้าเพจหรือข้อมูลบางอย่างที่เราไม่ต้องการไปแสดงเป็นผลลัพธ์ของการค้นหา เพื่อให้ผู้ที่เข้ามาใช้งานบนเว็บไซต์เข้ามายังหน้าเพจที่เราต้องการจริง ๆ

ป้องกันไฟล์หรือข้อมูลที่ไม่ต้องการเปิดเผย

เราอาจมีบางไฟล์ที่เราต้องการเก็บเป็นความลับเช่นข้อมูลส่วนตัว ข้อมูลสมาชิก ไฟล์เอกสารของสมาชิกหรือข้อมูลที่ไม่ต้องการให้ปรากฏในเครื่องมือค้นหา ซึ่งเราสามารถใช้ Robots.txt บล็อกไม่ให้บอทเข้าถึงเนื้อหาเหล่านี้ได้

ช่วยลดการเข้าถึงหน้าที่ไม่จำเป็น

ช่วยบล็อกไม่ให้บอทเข้ามาค้นหาเพจที่ซ้ำซ้อน เพจที่ไม่ได้ถูกเผยแพร่ หรือหน้าที่ไม่ควรแสดงผลบนการค้นหาที่อาจจะทำให้เครื่องมือค้นหาทำการประเมินลดลง เช่น หน้าที่เป็นส่วนของเว็บแอปพลิเคชัน หรือหน้าเข้าสู่ระบบ

ช่วยลดปริมาณการใช้ Crawl

ช่วยให้บอทเก็บข้อมูลได้ดีขึ้น มีความเจาะจงมากขึ้น ส่งผลให้เว็บไซต์มีโอกาสถูกจัดอันดับในผลการค้นหาได้มากขึ้น และ Web Performance ที่ดีขึ้น

ป้องกันบอทไม่ให้ทำ Index ไฟล์บนเว็บไซต์

บางครั้งอาจต้องการแยกไฟล์ เช่น PDF วิดีโอ และรูปภาพออกจากผลการค้นหา เพื่อเก็บไว้เป็นส่วนตัวหรือให้ Google มุ่งเน้นไปที่เนื้อหาที่สำคัญกว่า

สคริปต์และคำสั่ง Robots.txt ที่ควรรู้

สามารถถูกสร้างขึ้นผ่านเครื่องมือ Noteped, Sublime Text, Visual Studio Code เป็นต้นโดยหลัก ๆ จะมีคำสั่งที่จะทำหน้าที่บล็อก (Disallow) หรืออนุญาต (Allow) ให้บอทเข้ามา Crawl เว็บไซต์ทั้งเว็บไซต์หรือเฉพาะบางเพจที่เราเลือกไว้ รวมไปถึงคำสั่งที่บอกโลเคชันหรือ URL ของ Sitemap ด้วย

User-agent

คำสั่งนี้จะเป็นการบอกว่า Search Engine Crawler ต่าง ๆ ได้แก่ Googlebot, Bingbot, Yahoobot, AdsBot-Google, Googlebot-Image ฯลฯ ให้สามารถเข้าเก็บข้อมูลภายในเว็บไซต์ของเราได้ (ถ้าหากใช้เครื่องหมาย ดอกจัน (*) จะเป็นการบ่งบอกถึงให้ Crawler ทุกตัวเข้ามาเก็บข้อมูลได้)

Disallow

เป็นคำสั่งที่ไม่อนุญาตให้ Crawler ของ Search Engine (หรือ User-agent) เข้ามาเก็บข้อมูลในไฟล์หรือเข้าถึงโฟลเดอร์ เช่น Disallow: /users-account/ หมายความว่าเราไม่ต้องการให้บอทเข้ามาเก็บข้อมูลใน Subfolder ที่ชื่อ users-account

Allow

เป็นคำสั่งที่อนุญาตให้ Crawler ของ Search Engine (หรือ User-agent) เข้ามาเก็บข้อมูลในไฟล์หรือเข้าถึงโฟลเดอร์ เช่น Allow: /users-account/information.php หมายความว่าเราต้องการให้บอทเข้ามาเก็บข้อมูลใน Subfolder ดังกล่าว หรือแบบมีเงื่อนไข Disallow เช่น

Disallow: /users-account/

Allow: /users-account/information.php

หมายความว่าใน Folder ที่ชื่อ users-account ทั้งหมดเราไม่ต้องการให้บอทเข้ามาเก็บข้อมูลได้ยกเว้น /users-account/information.php

Sitemap

เป็นคำสั่งบอกตำแหน่งของ Sitemap ของเว็บไซต์ เพื่อให้ Crawler เข้าถึงโครงสร้างของเว็บไซต์ที่สร้างขึ้น ซึ่งคำสั่งนี้ อาจจะใส่หรือไม่ใส่ก็ได้ โดยคำสั่งดังกล่าวต้องเป็น URL ที่ถูกต้องสมบูรณ์เช่น https://www.test.com/sitemap.xml

วิธีการสร้างไฟล์ Robots.txt

หลังจากที่เรารู้คำสั่งต่าง ๆ เบื้องต้นแล้ว แต่หากยังไม่มีไฟล์ หรือหาไม่เจอ เราสามารถทำการสร้างไฟล์ขึ้นมา โดยมี 2 วิธีด้วยกัน 

สร้างด้วยตัวเอง

ใช้โปรแกรม notepad , notepad++ หรือ TextEdit (Mac) ก็ได้ ไฟล์ที่สร้างนี้จะต้องชื่อ robots.txt เท่านั้น และต้องเอาไฟล์นี้ไปวางไว้ที่ public_html โดยจะมีขั้นตอนดังนี้

1. ไปที่ ControlPanel หรือหน้าต่างจัดการ Hosting ของเราซึ่งเข้าผ่านเว็บ Hosting
2. เข้า “File” และคลิกที่ “File Manager”
3. จากนั้นให้เลือกเว็บโดเมนที่เราต้องการนำไฟล์ไปติด
4. สร้างโฟลเดอร์ชื่อว่า “robots.txt” โดยสร้างไว้ในโฟลเดอร์ /public_html/
5. เมื่อสร้างเสร็จแล้วให้คลิกขวาที่โฟลเดอร์อันที่เราพึ่งสร้างและเลือก “Edit”
6. จากนั้นจะมีหน้าต่างขาว ๆ ขึ้นมา ให้เรา Copy ไฟล์ที่เราเขียนไว้ มาวาง จากนั้นกด “Save” เป็นอันเสร็จสิ้น

สร้างด้วย Plugin

สำหรับผู้ที่ใช้งาน WordPress สามารถสร้างไฟล์ได้จาก Plugin “All In One SEO”ซึ่งจำเป็นต้องติดตั้งปลั๊กอินตัวนี้กับ WordPress ของเราก่อนโดยมีขั้นตอนทั้งหมดดังนี้

1. เลือกเมนู “Plug-in” ในหน้า WordPress ของเราแล้วค้นหาปลั๊กอิน All In One SEO จากนั้น Install ให้เรียบร้อยและกด Activate เพื่อให้ Plug-in ทำงาน
2. เมื่อติดตั้งเรียบร้อยแล้ว กลับไปที่หน้า Dashboard ที่เมนูด้านซ้ายคลิกที่ All in One SEO จากนั้นคลิกที่ Tools
3. หาส่วนที่เขียนว่า “Enable Custom Robots.txt” และกด Activate ปลั๊กอินจะปรากฏช่องสำหรับเขียนไฟล์โรบอทขึ้นมาให้
4. ใส่ User Agent, Rule (เลือกระหว่าง Allow กับ Disallow), และ Directory Path หรือ URLs ที่เราต้องการ
5. หากต้องการเพิ่ม Rule ให้กด “Add Rule” เมื่อเสร็จกด “Save Change” เป็นอันเสร็จสิ้น

ซึ่งยังมีอีกหลาย Plug-in อาทิเช่น Yoast และ Rankmath ที่สามารถสร้างไฟล์ได้เช่นเดียวกัน

ข้อควรระวังในการทำ

เป็นการเขียน Script คำสั่ง หาก Script ไม่ถูกต้อง หรือใช้คำสั่งผิด จะส่งผลต่อการเก็บข้อมูลและรวมไปถึงการจัดทำ Index บนเว็บไซต์ทั้งหมดของบอท ซึ่งอาจจะส่งผลเสียต่อเว็บไซต์ที่เราต้องการให้ติดอันดับ

เบื้องต้นสามารถตรวจสอบความถูกต้องของ Script ได้ที่ Google Search Console ด้วยเครื่องมือ Robots Testing Tool หากมีข้อผิดพลาดหรือน่าสงสัย Robot Testing Tool จะเตือนจำนวน Errors และ Warnings ให้ แต่ถ้าไม่มีข้อผิดพลาด จะขึ้นเป็น 0

สรุป

เป็นเครื่องมือสำคัญที่ช่วยในเรื่องของการประเมินคะแนน SEO ของเว็บไซต์ เนื่องจากเป็นเครื่องมือที่ช่วยควบคุมการเข้าถึงของบอทและทำให้เราสามารถกำหนดสิ่งที่ต้องการและไม่ต้องการในการแสดงผลบนเครื่องมือค้นหาได้ ดังนั้นหากเรานำมาใช้อย่างถูกต้องเชื่อว่าจะส่งผลดีต่อ คะแนน SEO ของเว็บไซต์ได้ไม่มากก็น้อย

ต้องการที่ปรึกษา หรือทีมงานมืออาชีพรับทำ SEO มาช่วยจัดการแก้ไขปัญหาและดันเว็บไซต์ให้ธุรกิจติดอันดับ 1 ติดต่อ Cotactic เลยวันนี้

โทร.065-095-9544

Inbox: m.me/cotactic  

Line: @cotactic

ให้ COTACTIC ดูแลธุรกิจของคุณ

เหมือนทีมการตลาดส่วนตัว

ติดต่อ COTACTIC

ให้ COTACTIC ติดต่อกลับ