หัวใจของการทำ SEO เพื่อให้เว็บไซต์ติดอันดับไม่ใช่เพียงแค่เลือก Keyword แต่แท้ที่จริงแล้วคือการเข้าใจพื้นฐานโครงสร้างต่าง ๆ ไปพร้อม ๆ กัน โดยโครงสร้างต่าง ๆ ของการทำ SEO นั้น มีอยู่มากมายหลายเรื่องมาก ซึ่งในบทความนี้เราจะมาทำความรู้จักกับ robots.txt อีกหนึ่งเทคนิคที่จะช่วยให้คุณทำ SEO ได้อย่างมีประสิทธิภาพมากขึ้น
Robots.txt คืออะไร?
Robots.txt เป็นไฟล์สคริปต์ที่ถูกสร้างขึ้นเพื่อบอกให้บอทของ Search Engine ทราบว่าเว็บไซต์หน้าไหนที่เราอยากให้เข้ามาเก็บข้อมูลหรือไม่ต้องการที่จะเก็บข้อมูล ซึ่งปกติ Search Engine Crawler จะเข้ามาค้นเว็บไซต์และจัดทำดัชนีอัตโนมัติ ดังนั้นเราจึงต้องทำเครื่องหมายกำกับไว้เพื่อไม่ให้บอทเข้าไปค้นทุกอย่างรวมถึงข้อมูลที่เราไม่อยากเปิดเผยนั่นเอง
ซึ่งหากเจ้าของธุรกิจมองว่าการทำ SEO ในเรื่องนี้นั้น เป็นเรื่องที่ซับซ้อน และต้องใช้ความชำนาญในการทำ Cotactic สามารถช่วยคุณแก้ไขปัญหาได้อย่างง่ายดาย เพราะเราเป็น SEO Agency ทำให้คุณหมดห่วงเรื่องการทำ SEO ไปได้เลย
ประโยชน์ของ Robots.txt สำหรับการทำ SEO
Robots.txt ช่วยป้องกันไม่ให้บอทเข้ามาค้นหาและเอาหน้าเพจหรือข้อมูลบางอย่างที่เราไม่ต้องการไปแสดงเป็นผลลัพธ์ของการค้นหา เพื่อให้ผู้ที่เข้ามาใช้งานบนเว็บไซต์เข้ามายังหน้าเพจที่เราต้องการจริง ๆ
ป้องกันไฟล์หรือข้อมูลที่ไม่ต้องการเปิดเผย
เราอาจมีบางไฟล์ที่เราต้องการเก็บเป็นความลับเช่นข้อมูลส่วนตัว ข้อมูลสมาชิก ไฟล์เอกสารของสมาชิกหรือข้อมูลที่ไม่ต้องการให้ปรากฏในเครื่องมือค้นหา ซึ่งเราสามารถใช้ Robots.txt บล็อกไม่ให้บอทเข้าถึงเนื้อหาเหล่านี้ได้
ช่วยลดการเข้าถึงหน้าที่ไม่จำเป็น
Robots.txt ช่วยบล็อกไม่ให้บอทเข้ามาค้นหาเพจที่ซ้ำซ้อน เพจที่ไม่ได้ถูกเผยแพร่ หรือหน้าที่ไม่ควรแสดงผลบนการค้นหาที่อาจจะทำให้เครื่องมือค้นหาทำการประเมินลดลง เช่น หน้าที่เป็นส่วนของเว็บแอปพลิเคชัน หรือหน้าเข้าสู่ระบบ
ช่วยลดปริมาณการใช้ Crawl
ช่วยให้บอทเก็บข้อมูลได้ดีขึ้น มีความเจาะจงมากขึ้น ส่งผลให้เว็บไซต์มีโอกาสถูกจัดอันดับในผลการค้นหาได้มากขึ้น และ Web Performance ที่ดีขึ้น
ป้องกันบอทไม่ให้ทำ Index ไฟล์บนเว็บไซต์
บางครั้งอาจต้องการแยกไฟล์ เช่น PDF วิดีโอ และรูปภาพออกจากผลการค้นหา เพื่อเก็บไว้เป็นส่วนตัวหรือให้ Google มุ่งเน้นไปที่เนื้อหาที่สำคัญกว่า
สคริปต์และคำสั่ง Robots.txt ที่ควรรู้
Robots.txt สามารถถูกสร้างขึ้นผ่านเครื่องมือ Noteped, Sublime Text, Visual Studio Code เป็นต้นโดยหลัก ๆ จะมีคำสั่งที่จะทำหน้าที่บล็อก (Disallow) หรืออนุญาต (Allow) ให้บอทเข้ามา Crawl เว็บไซต์ทั้งเว็บไซต์หรือเฉพาะบางเพจที่เราเลือกไว้ รวมไปถึงคำสั่งที่บอกโลเคชันหรือ URL ของ Sitemap ด้วย
User-agent
คำสั่งนี้จะเป็นการบอกว่า Search Engine Crawler ต่าง ๆ ได้แก่ Googlebot, Bingbot, Yahoobot, AdsBot-Google, Googlebot-Image ฯลฯ ให้สามารถเข้าเก็บข้อมูลภายในเว็บไซต์ของเราได้ (ถ้าหากใช้เครื่องหมาย ดอกจัน (*) จะเป็นการบ่งบอกถึงให้ Crawler ทุกตัวเข้ามาเก็บข้อมูลได้)
Disallow
เป็นคำสั่งที่ไม่อนุญาตให้ Crawler ของ Search Engine (หรือ User-agent) เข้ามาเก็บข้อมูลในไฟล์หรือเข้าถึงโฟลเดอร์ เช่น Disallow: /users-account/ หมายความว่าเราไม่ต้องการให้บอทเข้ามาเก็บข้อมูลใน Subfolder ที่ชื่อ users-account
Allow
เป็นคำสั่งที่อนุญาตให้ Crawler ของ Search Engine (หรือ User-agent) เข้ามาเก็บข้อมูลในไฟล์หรือเข้าถึงโฟลเดอร์ เช่น Allow: /users-account/information.php หมายความว่าเราต้องการให้บอทเข้ามาเก็บข้อมูลใน Subfolder ดังกล่าว หรือแบบมีเงื่อนไข Disallow เช่น
Disallow: /users-account/
Allow: /users-account/information.php
หมายความว่าใน Folder ที่ชื่อ users-account ทั้งหมดเราไม่ต้องการให้บอทเข้ามาเก็บข้อมูลได้ยกเว้น /users-account/information.php
Sitemap
เป็นคำสั่งบอกตำแหน่งของ Sitemap ของเว็บไซต์ เพื่อให้ Crawler เข้าถึงโครงสร้างของเว็บไซต์ที่สร้างขึ้น ซึ่งคำสั่งนี้ อาจจะใส่หรือไม่ใส่ก็ได้ โดยคำสั่งดังกล่าวต้องเป็น URL ที่ถูกต้องสมบูรณ์เช่น https://www.test.com/sitemap.xml
วิธีการสร้างไฟล์ Robots.txt
หลังจากที่เรารู้คำสั่งต่าง ๆ เบื้องต้นแล้ว แต่หากยังไม่มีไฟล์ robots.txt หรือหาไม่เจอ เราสามารถทำการสร้างไฟล์ขึ้นมา โดยมี 2 วิธีด้วยกัน
สร้างด้วยตัวเอง
ใช้โปรแกรม notepad , notepad++ หรือ TextEdit (Mac) ก็ได้ ไฟล์ที่สร้างนี้จะต้องชื่อ robots.txt เท่านั้น และต้องเอาไฟล์นี้ไปวางไว้ที่ public_html โดยจะมีขั้นตอนดังนี้
- ไปที่ ControlPanel หรือหน้าต่างจัดการ Hosting ของเราซึ่งเข้าผ่านเว็บ Hosting
- เข้า “File” และคลิกที่ “File Manager”
- จากนั้นให้เลือกเว็บโดเมนที่เราต้องการนำ Robots.txt ไปติด
- สร้างโฟลเดอร์ชื่อว่า “robots.txt” โดยสร้างไว้ในโฟลเดอร์ /public_html/
- เมื่อสร้างเสร็จแล้วให้คลิกขวาที่โฟลเดอร์อันที่เราพึ่งสร้างและเลือก “Edit”
- จากนั้นจะมีหน้าต่างขาว ๆ ขึ้นมา ให้เรา Copy “ Robots.txt” ที่เราเขียนไว้ มาวาง จากนั้นกด “Save” เป็นอันเสร็จสิ้น
สร้างด้วย Plugin
สำหรับผู้ที่ใช้งาน WordPress สามารถสร้างไฟล์ robots.txt ได้จาก Plugin “All In One SEO”ซึ่งจำเป็นต้องติดตั้งปลั๊กอินตัวนี้กับ WordPress ของเราก่อนโดยมีขั้นตอนทั้งหมดดังนี้
- เลือกเมนู “Plug-in” ในหน้า WordPress ของเราแล้วค้นหาปลั๊กอิน All In One SEO จากนั้น Install ให้เรียบร้อยและกด Activate เพื่อให้ Plug-in ทำงาน
- เมื่อติดตั้งเรียบร้อยแล้ว กลับไปที่หน้า Dashboard ที่เมนูด้านซ้ายคลิกที่ All in One SEO จากนั้นคลิกที่ Tools
- หาส่วนที่เขียนว่า “Enable Custom Robots.txt” และกด Activate ปลั๊กอินจะปรากฏช่องสำหรับเขียนไฟล์โรบอทขึ้นมาให้
- ใส่ User Agent, Rule (เลือกระหว่าง Allow กับ Disallow), และ Directory Path หรือ URLs ที่เราต้องการ
- หากต้องการเพิ่ม Rule ให้กด “Add Rule” เมื่อเสร็จกด “Save Change” เป็นอันเสร็จสิ้น
ซึ่งยังมีอีกหลาย Plug-in อาทิเช่น Yoast และ Rankmath ที่สามารถสร้างไฟล์ robots.txt ได้เช่นเดียวกัน
ข้อควรระวังในการทำ Robots.txt
การทำ Robots.txt เป็นการเขียน Script คำสั่ง หาก Script ไม่ถูกต้อง หรือใช้คำสั่งผิด จะส่งผลต่อการเก็บข้อมูลและรวมไปถึงการจัดทำ Index บนเว็บไซต์ทั้งหมดของบอท ซึ่งอาจจะส่งผลเสียต่อเว็บไซต์ที่เราต้องการให้ติดอันดับ
เบื้องต้นสามารถตรวจสอบความถูกต้องของ Script ได้ที่ Google Search Console ด้วยเครื่องมือ Robots Testing Tool หากมีข้อผิดพลาดหรือน่าสงสัย Robot Testing Tool จะเตือนจำนวน Errors และ Warnings ให้ แต่ถ้าไม่มีข้อผิดพลาด จะขึ้นเป็น 0
สรุป
robots.txt เป็นเครื่องมือสำคัญที่ช่วยในเรื่องของการประเมินคะแนน SEO ของเว็บไซต์ เนื่องจากเป็นเครื่องมือที่ช่วยควบคุมการเข้าถึงของบอทและทำให้เราสามารถกำหนดสิ่งที่ต้องการและไม่ต้องการในการแสดงผลบนเครื่องมือค้นหาได้ ดังนั้นหากเรานำ robots.txt มาใช้อย่างถูกต้องเชื่อว่าจะส่งผลดีต่อ คะแนน SEO ของเว็บไซต์ได้ไม่มากก็น้อย
ต้องการที่ปรึกษา หรือทีมงานมืออาชีพด้าน Online Marketing มาช่วยจัดการแก้ไขปัญหาและวางรากฐานให้ธุรกิจ ติดต่อ Cotactic เลยวันนี้
โทร.065-095-9544
Inbox: m.me/cotactic
Line: @cotactic
ติดต่อ COTACTIC
ให้ COTACTIC ติดต่อกลับ
