{"id":11030,"date":"2021-05-24T11:09:04","date_gmt":"2021-05-24T09:09:04","guid":{"rendered":"https:\/\/help.marketingminer.com\/article\/robots-txt-mi-az-es-hogyan-mukodik\/"},"modified":"2023-03-21T11:13:05","modified_gmt":"2023-03-21T10:13:05","slug":"robots-txt-mi-az-es-hogyan-mukodik","status":"publish","type":"kb","link":"https:\/\/help.marketingminer.com\/hu\/article\/robots-txt-mi-az-es-hogyan-mukodik\/","title":{"rendered":"Robots.txt: mi az \u00e9s hogyan m\u0171k\u00f6dik?"},"content":{"rendered":"\n

A Robots.txt<\/strong> egy egyszer\u0171 sz\u00f6veges f\u00e1jl, amely megmondja a webrobotoknak (leggyakrabban a keres\u0151motorok l\u00e1nctalpasainak), hogy mely weboldalakat vagy f\u00e1jlokat lehet \u00e9s melyeket nem lehet felt\u00e9rk\u00e9pezni. J\u00f3 gyakorlat, ha a robots.txt f\u00e1jlban is szerepel a webhelyt\u00e9rk\u00e9p helye. <\/p>\n\n\n\n

\u00cdme egy p\u00e9lda az MM robots.txt f\u00e1jlra: https:\/\/www.marketingminer.com\/robots.txt<\/a>.<\/p>\n\n\n

\n
\"Marketing<\/figure><\/div>\n\n\n

Mire haszn\u00e1lj\u00e1k a robots.txt-t? <\/h2>\n\n\n\n

A robots.txt f\u00e1jl haszn\u00e1lat\u00e1val megakad\u00e1lyozhatja, hogy a l\u00e1nctalpasok hozz\u00e1f\u00e9rjenek bizonyos oldalakhoz\/f\u00e1jlokhoz. Ez kord\u00e1ban tartja az er\u0151forr\u00e1sokat, \u00e9s megakad\u00e1lyozza a szerver t\u00falterhel\u00e9s\u00e9t botokkal. Ezenk\u00edv\u00fcl a fontos oldalak felt\u00e9rk\u00e9pez\u00e9s\u00e9nek lehet\u0151v\u00e9 t\u00e9tel\u00e9vel seg\u00edt a felt\u00e9rk\u00e9pez\u00e9si k\u00f6lts\u00e9gvet\u00e9s<\/a> optimaliz\u00e1l\u00e1s\u00e1ban is.<\/p>\n\n\n

\n
\n <\/i>\n <\/div>\n
\n TIP<\/strong>: You want to pay attention to crawl budget optimization especially when you have a big site with 100k+ landing pages.\u00a0 <\/div>\n <\/div>\n <\/div>\n\n\n

Sokan haszn\u00e1lj\u00e1k a robots.txt \u00e1llom\u00e1nyt, hogy megakad\u00e1lyozz\u00e1k a keres\u0151motorok botjait az oldalak indexel\u00e9s\u00e9ben (pl. admin oldalak, \u00e9rz\u00e9keny inform\u00e1ci\u00f3kat tartalmaz\u00f3 oldalak,…). B\u00e1r a Google azt tan\u00e1csolja, hogy haszn\u00e1ljon noindex<\/strong> direkt\u00edv\u00e1t azokn\u00e1l az oldalakn\u00e1l, amelyeket nem szeretne indexelni a keres\u0151motor. <\/p>\n\n\n\n

Ne feledje, hogy ha a noindex taget haszn\u00e1lja a webhely\u00e9n, az nem seg\u00edt megtakar\u00edtani a l\u00e1nctal\u00e1l\u00e1si k\u00f6lts\u00e9gvet\u00e9st, mivel a l\u00e1nctal\u00e1l\u00f3knak tov\u00e1bbra is meg kell l\u00e1togatniuk az oldalt, hogy felfedezhess\u00e9k a noindex direkt\u00edv\u00e1t. <\/p>\n\n\n\n

Hogyan m\u0171k\u00f6dik a robots.txt? <\/h2>\n\n\n\n

A keres\u0151motorok l\u00e1nctalpas programjainak els\u0151dleges c\u00e9lja a weboldalak felt\u00e9rk\u00e9pez\u00e9se a tartalom felt\u00e1r\u00e1sa, indexel\u00e9se, majd a felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra t\u00f6rt\u00e9n\u0151 kiszolg\u00e1l\u00e1sa a keres\u0151motorokban. <\/p>\n\n\n\n

Amikor a crawl megpr\u00f3b\u00e1l megl\u00e1togatni egy oldalt, automatikusan megkeresi a robots.txt f\u00e1jlt, amely a weboldal gy\u00f6ker\u00e9ben <\/strong> tal\u00e1lhat\u00f3 (p\u00e9ld\u00e1ul: https:\/\/www.marketingminer.com\/robots.txt)<\/a>. Ha a robots.txt nem l\u00e9tezik, vagy nem a webhely mapp\u00e1j\u00e1nak gy\u00f6ker\u00e9ben tal\u00e1lhat\u00f3, a l\u00e1nctalpas program automatikusan ellen\u0151rzi az \u00f6sszes<\/strong> webhely\u00e9t. <\/p>\n\n\n\n

Sajnos a robots.txt direkt\u00edv\u00e1kat nem minden l\u00e1nctalpas program t\u00e1mogatja (pl. az e-mail c\u00edmeket lekapar\u00f3k stb.). Ez\u00e9rt fontos megjegyezni, hogy egyes keres\u0151motorok teljesen figyelmen k\u00edv\u00fcl hagyj\u00e1k \u0151ket.<\/p>\n\n\n\n

P\u00e9lda robots.txt:<\/h2>\n\n\n\n
User-agent: user-agent-name\nDisallow: pages you don't want to be crawled\n<\/code><\/pre>\n\n\n\n
Az al\u00e1bbi p\u00e9ld\u00e1ban l\u00e1that\u00f3, hogy a Googlebot<\/strong> (a felhaszn\u00e1l\u00f3-\u00fcgyn\u00f6k neve) nem f\u00e9rhet hozz\u00e1 minden olyan oldalhoz, amelynek URL-c\u00edm\u00e9ben szerepel a \/blog\/<\/strong> karakterl\u00e1nc.  <\/p>\n\n\n\n
User-agent: Googlebot \nDisallow: \/blog\/\n<\/code><\/pre>\n\n\n\n
Az al\u00e1bbiakban a robots.txt f\u00e1jl leggyakoribb form\u00e1tum\u00e1t tal\u00e1lja. A legt\u00f6bb CMS program m\u00e1r rendelkezik robots.txt f\u00e1jlokkal. Ez azt jelenti, hogy az \u00f6sszes ( csillaggal<\/strong> * jelzett) felhaszn\u00e1l\u00f3-\u00fcgyn\u00f6k minden oldalt \u00e1tn\u00e9zhet (a tilt\u00f3 szakaszban nincs semmi blokkolva).  <\/p>\n\n\n\n
User-agent: *\nDisallow:\n<\/code><\/pre>\n\n\n\n
Legyen \u00f3vatos az al\u00e1bbi paranccsal, mivel ez az utas\u00edt\u00e1s megakad\u00e1lyozza, hogy a botok felt\u00e9rk\u00e9pezz\u00e9k az oldal\u00e1t (m\u00e9g a kezd\u0151lapot is!).  <\/p>\n\n\n\n
User-agent: *\nDisallow: \/\n<\/code><\/pre>\n\n\n\n
Gyakran el\u0151fordul, hogy a webfejleszt\u0151k elfelejtik elt\u00e1vol\u00edtani a slash-t a robots.txt f\u00e1jl disallow szakasz\u00e1b\u00f3l, miut\u00e1n \u00e9les\u00edtett\u00e9k a webhelyet. \u00c9s akkor sok weboldal-tulajdonos csod\u00e1lkozik, hogy mi\u00e9rt nem indexelik m\u00e9g az oldalukat.  <\/p>\n\n\n\n
Robots.txt szintaxis<\/h2>\n\n\n\n
Egyszer\u0171 form\u00e1ban a robots.txt f\u00e1jl a k\u00f6vetkez\u0151k\u00e9ppen n\u00e9z ki:<\/p>\n\n\n\n