修改 Scrapy 使用者代理

有時，主機會阻止預設的 Scrapy 使用者代理（Scrapy/VERSION (+http://scrapy.org)）。要更改預設使用者代理開啟 settings.py ，請取消註釋並將以下行編輯為你想要的內容。

#USER_AGENT = 'projectName (+http://www.yourdomain.com)'

例如

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'