加载中...

使用动态DNS来完成HTTP请求

使用动态DNS来完成HTTP请求

其实针对大多应用场景，DNS是不会频繁变更的，使用nginx默认的resolver配置方式就能解决。

在奇虎360企业版的应用场景下，需要支持的系统众多：win、centos、ubuntu等，不同的操作系统获取dns的方法都不太一样。再加上我们使用docker，导致我们在容器内部获取dns变得更加难以准确。

如何能够让Nginx使用随时可以变化的DNS源，成为我们急待解决的问题。

当我们需要在某一个请求内部发起这样一个http查询，采用proxy_pass是不行的（依赖resolver的dns，如果dns有变化，必须要重新加载配置），并且由于proxy_pass不能直接设置keepconn，导致每次请求都是短链接，性能损失严重。

使用resty.http，目前这个库只支持ip：port的方式定义url，其内部实现并没有支持domain解析。resty.http是支持set_keepalive完成长连接，这样我们只需要让他支持dns解析就能有完美解决方案了。

  1. local resolver = require "resty.dns.resolver"
  2. local http     = require "resty.http"
  4. function get_domain_ip_by_dns( domain )
  5.   -- 这里写死了google的域名服务ip，要根据实际情况做调整（例如放到指定配置或数据库中）
  6.   local dns = "8.8.8.8"
  8.   local r, err = resolver:new{
  9.       nameservers = {dns, {dns, 53} },
  10.       retrans = 5,  -- 5 retransmissions on receive timeout
  11.       timeout = 2000,  -- 2 sec
  12.   }
  14.   if not r then
  15.       return nil, "failed to instantiate the resolver: " .. err
  16.   end
  18.   local answers, err = r:query(domain)
  19.   if not answers then
  20.       return nil, "failed to query the DNS server: " .. err
  21.   end
  23.   if answers.errcode then
  24.       return nil, "server returned error code: " .. answers.errcode .. ": " .. answers.errstr
  25.   end
  27.   for i, ans in ipairs(answers) do
  28.     if ans.address then
  29.       return ans.address
  30.     end
  31.   end
  33.   return nil, "not founded"
  34. end
  36. function http_request_with_dns( url, param )
  37.     -- get domain
  38.     local domain = ngx.re.match(url, [[//([\S]+?)/]])
  39.     domain = (domain and 1 == #domain and domain[1]) or nil
  40.     if not domain then
  41.         ngx.log(ngx.ERR, "get the domain fail from url:", url)
  42.         return {status=ngx.HTTP_BAD_REQUEST}
  43.     end
  45.     -- add param
  46.     if not param.headers then
  47.         param.headers = {}
  48.     end
  49.     param.headers.Host = domain
  51.     -- get domain's ip
  52.     local domain_ip, err = get_domain_ip_by_dns(domain)
  53.     if not domain_ip then
  54.         ngx.log(ngx.ERR, "get the domain[", domain ,"] ip by dns failed:", err)
  55.         return {status=ngx.HTTP_SERVICE_UNAVAILABLE}
  56.     end
  58.     -- http request
  59.     local httpc = http.new()
  60.     local temp_url = ngx.re.gsub(url, "//"..domain.."/", string.format("//%s/", domain_ip))
  62.     local res, err = httpc:request_uri(temp_url, param)
  63.     if err then
  64.         return {status=ngx.HTTP_SERVICE_UNAVAILABLE}
  65.     end
  67.     -- httpc:request_uri 内部已经调用了keepalive，默认支持长连接
  68.     -- httpc:set_keepalive(1000, 100)
  69.     return res
  70. end

动态DNS，域名访问，长连接，这些都具备了，貌似可以安稳一下。在压力测试中发现这里面有个机制不太好，就是对于指定域名解析，每次都要和DNS服务回话询问IP地址，实际上这是不需要的。普通的浏览器，都会对DNS的结果进行一定的缓存，那么这里也必须要使用了。

对于缓存实现代码，请参考ngx_lua相关章节，肯定会有惊喜等着你挖掘碰撞。

还没有评论.