搜索引擎通過robots.txt文件內(nèi)容可以識(shí)別出青島網(wǎng)站建設(shè)根目錄哪些是允許收錄的內(nèi)容，哪些是禁止收錄的內(nèi)容，但是如果黑客直接訪問如www.abc/robots.txt直接打開一些敏感目錄，如后臺(tái)目錄等，帶來極大的安全隱患。
可通過下面幾個(gè)方法禁止目錄被看到：
方法1
假設(shè)我們后臺(tái)目錄是/system/，那么我們可以在設(shè)置的時(shí)候這樣寫：
User-agent:*
Disallow:/sys
關(guān)鍵在第二行，這樣寫就會(huì)阻止搜索引擎訪問任何以“sys”開頭的文件和目錄。為了防止別人猜出你的后臺(tái)目錄，這里截取的越短越好，比如：
User-agent:*
Disallow:/d
這樣，同樣起到作用，但留的字母更少，更難猜了，這時(shí)會(huì)阻止搜索引擎訪問所有以d”開頭的文件和目錄。
這里我們需要注意的問題是，為了避免影響其它目錄的收錄，可以修改一下后臺(tái)目錄文件名。如果后臺(tái)目錄以某個(gè)字母或幾個(gè)字母開頭，那就避免其它需要被收錄的文件或目錄以這幾個(gè)字母開頭，這樣就可以了。
方法2
后臺(tái)目錄做個(gè)首頁文件,跳轉(zhuǎn)到真正的后臺(tái)首頁文件.
比如說,后臺(tái)首頁是index.php,而服務(wù)器優(yōu)先index.html
寫個(gè)index.html文件,跳轉(zhuǎn)到index.php
index.html文件在<head>中加入
<METANAME="ROBOTS"CONTENT="NOINDEX,NOFOLLOW">,
搜索爬蟲就不會(huì)繼續(xù)到該目錄下的其他頁面了
注：
NOINDEX指令：表示拒絕搜索機(jī)器人索引本頁，但可跟蹤該頁上的鏈接;
NOFOLLOW指令：表示拒絕機(jī)器人跟蹤本頁鏈接，但可索引本頁。
還可以加入，NOARCHIVE：告訴Google不要保存含此標(biāo)簽的網(wǎng)頁的快照。
補(bǔ)充：
只是攔截百度蜘蛛爬取網(wǎng)頁，而允許其他搜索引擎收錄：
<METANAME="baiduspider"CONTENT="NOINDEX,NOFOLLOW">
允許搜索引擎收錄你的網(wǎng)頁，但禁止其收錄網(wǎng)頁上的圖片：
<METANAME="ROBOTS"CONTENT="NOIMAGEINDEX">
如果是linux+apache,還可以用.htaccess文件限制
這2個(gè)方法可以根據(jù)自己情況進(jìn)行使用。
|