รับทําเว็บไซต์ รับทําseo
บทความที่น่าสนใจ

บทความ ที่น่าสนใจ

Robots.txt คืออะไร ทำไมถึงสำคัญกับการทำ seo ?

    robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง


    โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด


    ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง


    แต่คำถามตอนนี้คือ จะสร้างมันยังไง ?


    วิธีการคือให้สร้างไฟล์ที่ชื่อ robots.txt ขึ้นมาจากนั้นนำมาวางไว้ที่ Root Directory (ไดเรกเทอรี่เริ่มต้นของเว็บไซค์)
    เช่นเว็บของผมนะ http://www.idatabaseblog.com/robots.txt


    หลังจากนั้นก็อปปี้ข้อความนี้ลงไปในไฟล์ robotx.txt ครับ

    User-Agent: *
    Allow: /
    Sitemap: http://yourdomain.com/sitemap.xml


    ซึ่งข้อความข้างต้นนี้เป็นรูปแบบพื้นฐานในการสร้างไฟล์ robots.txt ที่ถูกต้องครับ
    โดย Allow: / หมายควายว่า ให้มันเก็บข้อมูลได้ทั้งหมดเลยครับ ส่วน
    Sitemap: http://yourdomain.com/sitemap.xml ให้ใส่ที่อยู่ URL ของ sitemap เราครับ ^^


    ที่นี้เราลองมาดูตัวอย่างนี้แล้วกันนะครับ เป็นกรณีที่สร้างไฟล์ robots.txt ให้เก็บข้อมูลในบางส่วนที่เราต้องการเปิดเผย

    User-agent: *
    Allow: /content
    Disallow: /admin
    Allow: /pic
    Disallow: /xxx
    Sitemap: http://yourdomain.com/sitemap.xml


    จากตัวอย่างนี้จะเห็นได้ว่า

    คำสั่ง Allow ก็คืออนุญาติให้มันเก็บไดเรกทอรี่ที่ระบุไว้ซึ่งในตัวอย่างคือ โพลเดอร์ content และ pic

    ส่วนคำสั่ง Disallow ก็คือคำสั่งที่ไม่อนุญาติให้มันเก็บไดเรกทอรี่ที่ระบุไว้ซึ่งในตัวอย่างคือ admin และ xxx

    เห็นไหมครับ การสร้างไฟล์ robots.txt ง่ายจะตาย แถมมีข้อดีหลายอย่างด้วยในการทำ SEO

    แต่ทั้งนี้ทั้งนั้น ก่อนที่ผมจะเขียนบทความนี้มีหลายคนถามผมมาเยอะเลยเกินว่า จะสร้างไฟล์ robots.txt ยังไงให้เจ๋ง

    อันนี้ผมก็ตอบไม่ได้นะครับ ผมก็เลยบอกว่า ถ้าอยากสร้างให้เจ๋งๆ ลองไปแงะประตูบ้าน เว็บดังๆเขาดูสิ ว่าเขาเขียนอะไรบ้าง ^^


    http://www.google.com/robots.txt

    User-agent: *
    Allow: /searchhistory/
    Disallow: /news?output=xhtml&
    Allow: /news?output=xhtml
    Disallow: /search
    Disallow: /groups
    Disallow: /images
    Disallow: /catalogs
    Disallow: /catalogues
    Disallow: /news
    Disallow: /nwshp
    Allow: /news?btcid=
    Disallow: /news?btcid=*&
    Allow: /news?btaid=
    Disallow: /news?btaid=*&
    Disallow: /setnewsprefs?
    Disallow: /index.html?
    Disallow: /?
    Disallow: /addurl/image?
    Disallow: /pagead/
    Disallow: /relpage/
    Disallow: /relcontent
    Disallow: /sorry/
    Disallow: /imgres
    Disallow: /keyword/
    Disallow: /u/
    Disallow: /univ/
    Disallow: /cobrand
    Disallow: /custom
    Disallow: /advanced_group_search
    Disallow: /googlesite
    Disallow: /preferences
    Disallow: /setprefs
    Disallow: /swr
    Disallow: /url
    Disallow: /default
    Disallow: /m?
    Disallow: /m/?
    Disallow: /m/lcb
    Disallow: /m/news?
    Disallow: /m/setnewsprefs?
    Disallow: /m/search?
    Disallow: /m/trends
    Disallow: /wml?
    Disallow: /wml/?
    Disallow: /wml/search?
    Disallow: /xhtml?
    Disallow: /xhtml/?
    Disallow: /xhtml/search?
    Disallow: /xml?
    Disallow: /imode?
    Disallow: /imode/?
    Disallow: /imode/search?
    Disallow: /jsky?
    Disallow: /jsky/?
    Disallow: /jsky/search?
    Disallow: /pda?
    Disallow: /pda/?
    Disallow: /pda/search?
    Disallow: /sprint_xhtml
    Disallow: /sprint_wml
    Disallow: /pqa
    Disallow: /palm
    Disallow: /gwt/
    Disallow: /purchases
    Disallow: /hws
    Disallow: /bsd?
    Disallow: /linux?
    Disallow: /mac?
    Disallow: /microsoft?
    Disallow: /unclesam?
    Disallow: /answers/search?q=
    Disallow: /local?
    Disallow: /local_url
    Disallow: /froogle?
    Disallow: /products?
    Disallow: /froogle_
    Disallow: /product_
    Disallow: /products_
    Disallow: /print
    Disallow: /books
    Disallow: /patents?
    Disallow: /scholar?
    Disallow: /complete
    Disallow: /sponsoredlinks
    Disallow: /videosearch?
    Disallow: /videopreview?
    Disallow: /videoprograminfo?
    Disallow: /maps?
    Disallow: /mapstt?
    Disallow: /mapslt?
    Disallow: /maps/stk/
    Disallow: /maps/br?
    Disallow: /mapabcpoi?
    Disallow: /center
    Disallow: /ie?
    Disallow: /sms/demo?
    Disallow: /katrina?
    Disallow: /blogsearch?
    Disallow: /blogsearch/
    Disallow: /blogsearch_feeds
    Disallow: /advanced_blog_search
    Disallow: /reader/
    Disallow: /uds/
    Disallow: /chart?
    Disallow: /transit?
    Disallow: /mbd?
    Disallow: /extern_js/
    Disallow: /calendar/feeds/
    Disallow: /calendar/ical/
    Disallow: /cl2/feeds/
    Disallow: /cl2/ical/
    Disallow: /coop/directory
    Disallow: /coop/manage
    Disallow: /trends?
    Disallow: /trends/music?
    Disallow: /notebook/search?
    Disallow: /music
    Disallow: /musica
    Disallow: /musicad
    Disallow: /musicas
    Disallow: /musicl
    Disallow: /musics
    Disallow: /musicsearch
    Disallow: /musicsp
    Disallow: /musiclp
    Disallow: /browsersync
    Disallow: /call
    Disallow: /archivesearch?
    Disallow: /archivesearch/url
    Disallow: /archivesearch/advanced_search
    Disallow: /base/search?
    Disallow: /base/reportbadoffer
    Disallow: /base/s2
    Disallow: /urchin_test/
    Disallow: /movies?
    Disallow: /codesearch?
    Disallow: /codesearch/feeds/search?
    Disallow: /wapsearch?
    Disallow: /safebrowsing
    Disallow: /reviews/search?
    Disallow: /orkut/albums
    Disallow: /jsapi
    Disallow: /views?
    Disallow: /c/
    Disallow: /cbk
    Disallow: /recharge/dashboard/car
    Disallow: /recharge/dashboard/static/
    Disallow: /translate_c
    Disallow: /translate_suggestion
    Disallow: /s2/profiles/me
    Allow: /s2/profiles
    Disallow: /s2
    Disallow: /transconsole/portal/
    Disallow: /gcc/
    Disallow: /aclk
    Disallow: /cse?
    Disallow: /tbproxy/
    Disallow: /MerchantSearchBeta/
    Disallow: /ime/
    Disallow: /websites?
    Disallow: /shenghuo/search?
    Disallow: /support/forum/search?
    Disallow: /reviews/polls/
    Disallow: /hosted/images/
    Disallow: /hosted/life/
    Disallow: /newspapers?
    Disallow: /search2001/search?

บทความที่น่าสนใจ

บทความ ล่าสุด

บทความ ความรู้ด้านไอที, คอมพิวเตอร์ Techonlogy, Gadget, ความรู้เกี่ยวกับคอมพิวเตอร์ กับทาง SoftMelt.com