在做爬虫的时候,同一ip频繁抓取有很大可能会被识别,然后被ban。因而,使用代理是很有必要的。
因为需要涉及到这块,Mark一下。
使用System.setProperty设置相应属性后,HttpURLConnection
可以不用做任何额外操作,是一种非常方便快捷的方式。
Stay Hungry, Stay Foolish.
发布spring boot项目的时候,自己的代码其实只有几M,但相应的依赖包就有50+M。很无奈啊,精简依赖项是一个方面;把这些依赖分离出来,不需要每次部署也很重要。这样每次升级,基本上只要更新自己的代码即可。
在Nginx端反向代理使用了缓存,由此引出了一个较为严重的问题,最新的文章不能及时更新,本文讨论的该问题的解决思路。
用Nginx反向代理其它服务器,有些静态资源可以直接缓存,没必要再次去查询一遍,减少后端请求的同时加快响应时间。
实现用户名和密码验证访问,可以直接使用Nginx 的http_auth_basic_module模块。