修改 Scrapy 用户代理

有时，主机会阻止默认的 Scrapy 用户代理（Scrapy/VERSION (+http://scrapy.org)）。要更改默认用户代理打开 settings.py ，请取消注释并将以下行编辑为你想要的内容。

#USER_AGENT = 'projectName (+http://www.yourdomain.com)'

例如

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'