Semalt: Hvernig á að loka fyrir Darodar Robots.txt

Robots.txt skrá er dæmigerð textaskrá sem hefur að geyma leiðbeiningar um hvernig vefskriðarar eða vélmenni eiga að skríða um vefsvæði. Notkun þeirra er augljós í vélum vélmenni sem eru algengar á fjölmörgum bjartsýni vefsíðum. Sem hluti af Robots Exclusion Protocol (REP), þá myndar robots.txt skrá nauðsynlegan þátt í því að flokka efni vefsíðna sem og gera netþjóni kleift að staðfesta beiðnir notenda í samræmi við það.

Julia Vashneva, framkvæmdastjóri Semalt Senior Customer Customer, útskýrir að tenging sé hluti af Leita Vél Optimization (SEO), sem felur í sér að fá umferð frá öðrum léni innan sess þíns. Fyrir „fylgja“ hlekkina til að flytja hlekkasafa er mikilvægt að láta robots.txt skrá fylgja með á vefsvæðinu þínu sem hýsir rými til að starfa sem leiðbeinandi um hvernig netþjónninn hefur samskipti við síðuna þína. Frá þessu skjalasafni eru leiðbeiningarnar til staðar með því að leyfa eða banna hvernig einhver tiltekin umboðsmaður notenda hegðar sér.

Grunnsniðið á robots.txt skrá

Robot.txt skrá inniheldur tvær nauðsynlegar línur:

Notandi-umboðsmaður: [nafn notanda-umboðsmanns]

Banna: [URL strengur er ekki skrið]

Heil robots.txt skrá ætti að innihalda þessar tvær línur. Sumar þeirra geta þó innihaldið margar línur af notendavöldum og tilskipunum. Þessar skipanir geta innihaldið þætti eins og leyfir, hafnar eða tafir á skrið. Það er venjulega línuskil sem aðskilur hvert kennslasett. Hver af leyfilegum eða óleyfilegum leiðbeiningum er aðskilin með þessu lína broti, sérstaklega fyrir robots.txt með mörgum línum.

Dæmi

Til dæmis gæti robots.txt skrá innihaldið kóða eins og:

Notandi-umboðsmaður: darodar

Banna: / viðbætur

Banna: API

Banna: / _comments

Í þessu tilfelli er þetta blokk robots.txt skrá sem takmarkar Darodar vefskriðara frá því að fá aðgang að vefsíðunni þinni. Í ofangreindri setningafræði hindrar kóðinn þætti vefsíðunnar, svo sem viðbætur, API og athugasemdahlutann. Af þessari þekkingu er mögulegt að ná fjölmörgum ávinningi af því að keyra textaskrá vélmenni á skilvirkan hátt. Robots.txt skrár geta verið fær um að framkvæma fjölda aðgerða. Til dæmis geta þeir verið tilbúnir til að:

1. Leyfa öllu vefskriðara efni á vefsíðu. Til dæmis;

Notandi-umboðsmaður: *

Banna:

Í þessu tilfelli er hægt að nálgast allt innihald notenda af öllum vefskriðum sem beðið er um að komast á vefsíðu.

2. Lokaðu fyrir tiltekið vefefni úr ákveðinni möppu. Til dæmis;

Notandi-umboðsmaður: Googlebot

Banna: / dæmi-undirmöppu /

Þessi setningafræði sem inniheldur nafn notendaumboðsaðila Googlebot tilheyrir Google. Það takmarkar láni frá því að komast inn á hvaða vefsíðu sem er í strengnum www.ourexample.com/example-subfolder/.

3. Lokaðu tilteknum vefskriðara frá tiltekinni vefsíðu. Til dæmis;

Notandi-umboðsmaður: Bingbot

Banna: /example-subfolder/blocked-page.html

Notandi umboðsmaður Bing láni tilheyrir Bing vefskriðara. Þessi tegund af robots.txt skrá takmarkar Bing vefskriðann frá að fá aðgang að ákveðinni síðu með strengnum www.ourexample.com/example-subfolder/blocked-page.

Mikilvægar upplýsingar

• Ekki er sérhver notandi sem notar robts.txt skrána. Sumir notendur geta ákveðið að hunsa það. Flestir slíkir vefskriðarar eru með Tróverji og malware.
• Til að Robots.txt skrá sé sýnileg ætti hún að vera til í efstu vefsíðumöppinni.
• Persónurnar „robots.txt“ eru hástafar. Fyrir vikið ættir þú ekki að breyta þeim á nokkurn hátt, þ.mt hástöfum sumra þátta.
• „/Robots.txt“ er almenningseignir. Hver sem er getur verið fær um að finna þessar upplýsingar þegar hann bætir þeim við innihald hvaða URL sem er. Þú ættir ekki að skrá mikilvægar upplýsingar eða síður sem þú vilt að þær verði áfram persónulegar.