{"id":9096,"date":"2021-05-24T11:09:04","date_gmt":"2021-05-24T09:09:04","guid":{"rendered":"https:\/\/help.marketingminer.com\/article\/robots-txt-co-to-jest-i-jak-dziala\/"},"modified":"2023-03-17T08:43:45","modified_gmt":"2023-03-17T07:43:45","slug":"robots-txt-co-to-jest-i-jak-dziala","status":"publish","type":"kb","link":"https:\/\/help.marketingminer.com\/pl\/artykul\/robots-txt-co-to-jest-i-jak-dziala\/","title":{"rendered":"Robots.txt: co to jest i jak dzia\u0142a"},"content":{"rendered":"\n

Robots.txt<\/strong> to zwyk\u0142y plik tekstowy, kt\u00f3ry m\u00f3wi robotom internetowym (najcz\u0119\u015bciej raczkuj\u0105cym w wyszukiwarkach), kt\u00f3re strony internetowe lub pliki mog\u0105, a kt\u00f3re nie mog\u0105 by\u0107 raczkowane. Dobr\u0105 praktyk\u0105 jest r\u00f3wnie\u017c umieszczenie lokalizacji sitemapy w pliku robots.txt. <\/p>\n\n\n\n

Oto przyk\u0142ad pliku MM robots.txt: https:\/\/www.marketingminer.com\/robots.txt<\/a>.<\/p>\n\n\n

\n
\"Marketing<\/figure><\/div>\n\n\n

Do czego s\u0142u\u017cy plik robots.txt? <\/h2>\n\n\n\n

U\u017cywaj\u0105c pliku robots.txt, uniemo\u017cliwiasz rakarzom dost\u0119p do okre\u015blonych stron\/plik\u00f3w. Dzi\u0119ki temu masz pod kontrol\u0105 swoje zasoby i nie dopuszczasz do przeci\u0105\u017cenia serwera botami. Ponadto pomaga r\u00f3wnie\u017c zoptymalizowa\u0107 bud\u017cet<\/a> na indeksowanie, umo\u017cliwiaj\u0105c indeksowanie wa\u017cnych stron.<\/p>\n\n\n

\n
\n <\/i>\n <\/div>\n
\n TIP<\/strong>: You want to pay attention to crawl budget optimization especially when you have a big site with 100k+ landing pages.\u00a0 <\/div>\n <\/div>\n <\/div>\n\n\n

Wiele os\u00f3b u\u017cywa robots.txt, aby zapobiec indeksowaniu stron przez boty wyszukiwarek (np. strony administrator\u00f3w, strony z wra\u017cliwymi informacjami,…). Chocia\u017c Google radzi u\u017cywa\u0107 dyrektywy noindex<\/strong> dla stron, kt\u00f3rych nie chcesz indeksowa\u0107 w wyszukiwarce. <\/p>\n\n\n\n

Pami\u0119taj, \u017ce je\u015bli u\u017cyjesz tagu noindex na swojej stronie, nie pomo\u017ce Ci to zaoszcz\u0119dzi\u0107 bud\u017cetu na indeksowanie, poniewa\u017c crawler nadal musi odwiedzi\u0107 stron\u0119, aby m\u00f3c odkry\u0107 dyrektyw\u0119 noindex. <\/p>\n\n\n\n

Jak dzia\u0142a robots.txt? <\/h2>\n\n\n\n

Podstawowym celem robot\u00f3w indeksuj\u0105cych w wyszukiwarkach jest przeszukiwanie stron internetowych w celu odkrycia tre\u015bci, indeksowania ich, a nast\u0119pnie serwowania ich u\u017cytkownikom w wyszukiwarkach. <\/p>\n\n\n\n

Kiedy crawl pr\u00f3buje odwiedzi\u0107 stron\u0119, automatycznie szuka Twojego pliku robots.txt znajduj\u0105cego si\u0119 w korzeniu witryny <\/strong>(na przyk\u0142ad: https:\/\/www.marketingminer.com\/robots.txt)<\/a>. Je\u015bli tw\u00f3j robots.txt nie istnieje lub nie znajduje si\u0119 w g\u0142\u00f3wnym folderze twojej strony, crawler automatycznie sprawdzi wszystkie twoje strony<\/strong> internetowe. <\/p>\n\n\n\n

Niestety dyrektywy robots.txt nie s\u0105 obs\u0142ugiwane przez wszystkie crawlery (np. skrobaczki adres\u00f3w e-mail itp.). Z tego powodu warto pami\u0119ta\u0107, \u017ce niekt\u00f3re wyszukiwarki ca\u0142kowicie je ignoruj\u0105.<\/p>\n\n\n\n

Przyk\u0142adowy plik robots.txt:<\/h2>\n\n\n\n
User-agent: user-agent-name\nDisallow: pages you don't want to be crawled\n<\/code><\/pre>\n\n\n\n
W poni\u017cszym przyk\u0142adzie wida\u0107, \u017ce Googlebot<\/strong> (nazwa user-agenta) ma ograniczony dost\u0119p do wszystkich stron, kt\u00f3re w adresie URL zawieraj\u0105 ci\u0105g \/blog\/<\/strong>.  <\/p>\n\n\n\n
User-agent: Googlebot \nDisallow: \/blog\/\n<\/code><\/pre>\n\n\n\n
Poni\u017cej przedstawiamy najcz\u0119\u015bciej spotykany format pliku robots.txt. Wi\u0119kszo\u015b\u0107 program\u00f3w CMS posiada ju\u017c plik robots.txt. Oznacza to, \u017ce wszystkie agenty u\u017cytkownika (reprezentowane przez gwiazdk\u0119<\/strong> *) mog\u0105 przegl\u0105da\u0107 wszystkie strony (nie ma nic zablokowanego w sekcji disallow).  <\/p>\n\n\n\n
User-agent: *\nDisallow:\n<\/code><\/pre>\n\n\n\n
Uwa\u017caj na poni\u017csze polecenie, poniewa\u017c dyrektywa ta blokuje wszystkim botom mo\u017cliwo\u015b\u0107 indeksowania Twojej witryny (nawet strony g\u0142\u00f3wnej!).  <\/p>\n\n\n\n
User-agent: *\nDisallow: \/\n<\/code><\/pre>\n\n\n\n
Cz\u0119sto zdarza si\u0119, \u017ce tw\u00f3rcy stron internetowych zapominaj\u0105 o usuni\u0119ciu uko\u015bnika z sekcji disallow w pliku robots.txt po uruchomieniu witryny. A potem wielu w\u0142a\u015bcicieli stron internetowych zastanawia si\u0119, dlaczego ich strona nie jest jeszcze indeksowana.  <\/p>\n\n\n\n
Sk\u0142adnia pliku robots.txt<\/h2>\n\n\n\n
W prostej formie plik robots.txt wygl\u0105da nast\u0119puj\u0105co:<\/p>\n\n\n\n