允许全部

User-agent: *
Allow: /

禁止全部

User-agent: *
Disallow: /

只允许首页

User-agent: *
Allow: /$
Disallow: /

三个样例，用于控制友好爬虫的抓取