在最近的一个小项目中,用到了爬虫,但目标网站有对单ip有请求限制,所以用到了ip代理。网上也有很多免费的代理,但质量都不太好。恰好有几台Linux服务器可用,所以选择自己搭建ip代理。目前网上有很多HTTP(S)代理软件可以选择,这里选择了Tinyproxy。
Tinyproxy
Tinyproxy是一款轻量级的开源HTTP/HTTPS代理,其设计目标是快而小。它适用于需要完整HTTP代理特性,但系统资源又不足以运行大型代理的场景。它非常简单、小巧,无需过多配置即可使用,本文是Tinyproxy最基础的使用教程。
安装软件
使用的Linux系统是CentOS,执行以下指令安装Tinyproxy。
yum install -y tinyproxy
修改配置
编辑Tinyproxy的配置文件,默认位于/etc/tinyproxy/tinyproxy.conf。
vi /etc/tinyproxy/tinyproxy.conf
常用的配置项:
1.更改端口,默认8888,可以更改为自己喜欢的端口。
注意:不能和其它服务的端口冲突;需在系统防火墙中打开此端口;需在服务器安全组中添加此端口。
Port 9999
2.修改允许连接代理的ip,默认只允许本地,如有多个,可写多个Allow;也可以直接注释,表示允许所有ip连接。
Allow 127.0.0.1
3.隐藏掉Via请求头部,默认是关闭的。
DisableViaHeader Yes
一般配置以上几点,其它默认即可,当然Tinyproxy的配置文件非常多,可根据实际需要来配置。
启动服务
使用命令启动Tinyproxy服务
service tinyproxy start
其它命令
service tinyproxy stop # 停止
service tinyproxy restart # 重启
service tinyproxy status # 状态
测试代理
$ curl -x 代理ip:9999 https://www.yuncongz.com
如果出现对应网页的源代码,则证明代理工作正常,搭建成功,然后就可以使用该代理了。