如何使用 java.net.URLConnection 触发和处理 HTTP 请求
首先事先声明:发布的代码片段都是基本示例。您将需要处理琐碎IOException的 s 和RuntimeExceptions like NullPointerException,ArrayIndexOutOfBoundsException并自己配合。
IOException
RuntimeException
NullPointerException
ArrayIndexOutOfBoundsException
如果您正在为 Android 而不是 Java 进行开发,还请注意,自从引入 API 级别 28 以来,明文 HTTP 请求默认被禁用。鼓励您使用HttpsURLConnection,但如果确实需要,可以在应用程序清单中启用明文。
HttpsURLConnection
我们首先需要至少知道 URL 和字符集。这些参数是可选的,取决于功能要求。
String url = "http://example.com"; String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name() String param1 = "value1"; String param2 = "value2"; // ... String query = String.format("param1=%s¶m2=%s", URLEncoder.encode(param1, charset), URLEncoder.encode(param2, charset));
查询参数必须采用name=value格式并由 连接&。您通常还可以使用指定的字符集对查询参数进行URL 编码URLEncoder#encode()。
name=value
&
URLEncoder#encode()
String#format()只是为了方便。当我需要+两次以上的字符串连接运算符时,我更喜欢它。
String#format()
+
这是一项微不足道的任务。这是默认的请求方法。
URLConnection connection = new URL(url + "?" + query).openConnection(); connection.setRequestProperty("Accept-Charset", charset); InputStream response = connection.getInputStream(); // ...
任何查询字符串都应使用 连接到 URL ?。标Accept-Charset头可能会提示服务器参数的编码方式。如果您不发送任何查询字符串,那么您可以将Accept-Charset标头放在一边。如果您不需要设置任何标题,那么您甚至可以使用URL#openStream()快捷方式。
?
Accept-Charset
URL#openStream()
InputStream response = new URL(url).openStream(); // ...
无论哪种方式,如果对方是一个HttpServlet,那么它的doGet()方法将被调用并且参数将由HttpServletRequest#getParameter().
HttpServlet
doGet()
HttpServletRequest#getParameter()
出于测试目的,您可以将响应正文打印到标准输出,如下所示:
try (Scanner scanner = new Scanner(response)) { String responseBody = scanner.useDelimiter("\\A").next(); System.out.println(responseBody); }
将 设置URLConnection#setDoOutput()为true隐式地将请求方法设置为 POST。像 Web 表单一样的标准 HTTP POST 是application/x-www-form-urlencoded其中查询字符串写入请求正文的类型。
URLConnection#setDoOutput()
true
application/x-www-form-urlencoded
URLConnection connection = new URL(url).openConnection(); connection.setDoOutput(true); // Triggers POST. connection.setRequestProperty("Accept-Charset", charset); connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset); try (OutputStream output = connection.getOutputStream()) { output.write(query.getBytes(charset)); } InputStream response = connection.getInputStream(); // ...
注意:每当您想以编程方式提交 HTML 表单时,不要忘记将name=value任何<input type="hidden">元素对放入查询字符串中,当然还有您希望以编程方式“按下”name=value的元素对(因为<input type="submit">这通常在服务器端用于区分是否按下了按钮,如果按下了,是哪个)。
<input type="hidden">
<input type="submit">
您也可以将获得URLConnection的转换为HttpURLConnection并使用它HttpURLConnection#setRequestMethod()。但是,如果您尝试使用连接进行输出,您仍然需要设置URLConnection#setDoOutput()为true.
URLConnection
HttpURLConnection
HttpURLConnection#setRequestMethod()
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection(); httpConnection.setRequestMethod("POST"); // ...
无论哪种方式,如果对方是一个HttpServlet,那么它的doPost()方法将被调用并且参数将由HttpServletRequest#getParameter().
doPost()
您可以使用 显式触发 HTTP 请求URLConnection#connect(),但是当您想要获取有关 HTTP 响应的任何信息(例如响应正文使用等)时,请求将自动按需触发URLConnection#getInputStream()。上面的例子正是这样做的,所以connect()调用实际上是多余的。
URLConnection#connect()
URLConnection#getInputStream()
connect()
你需要HttpURLConnection这里。如有必要,请先施放。
int status = httpConnection.getResponseCode();
java for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) { System.out.println(header.getKey() + "=" + header.getValue()); }
当Content-Type包含charset参数时,响应正文可能是基于文本的,我们希望使用服务器端指定的字符编码来处理响应正文。
Content-Type
charset
String contentType = connection.getHeaderField("Content-Type"); String charset = null; for (String param : contentType.replace(" ", "").split(";")) { if (param.startsWith("charset=")) { charset = param.split("=", 2)[1]; break; } } if (charset != null) { try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) { for (String line; (line = reader.readLine()) != null;) { // ... System.out.println(line)? } } } else { // It's likely binary content, use InputStream/OutputStream. }
服务器端会话通常由 cookie 支持。某些 Web 表单要求您登录和/或由会话跟踪。您可以使用CookieHandlerAPI 来维护 cookie。在发送所有 HTTP 请求之前,您需要准备一个CookieManagerwith a CookiePolicy。ACCEPT_ALL
CookieHandler
CookieManager
CookiePolicy
ACCEPT_ALL
// First set the default cookie manager. CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL)); // All the following subsequent URLConnections will use the same cookie manager. URLConnection connection = new URL(url).openConnection(); // ... connection = new URL(url).openConnection(); // ... connection = new URL(url).openConnection(); // ...
请注意,众所周知,这并不总是在所有情况下都能正常工作。如果它失败了,那么最好手动收集和设置 cookie 标头。您基本上需要Set-Cookie从登录或第一个GET请求的响应中获取所有标头,然后将其传递给后续请求。
Set-Cookie
GET
// Gather all cookies on the first request. URLConnection connection = new URL(url).openConnection(); List<String> cookies = connection.getHeaderFields().get("Set-Cookie"); // ... // Then use the same cookies on all subsequent requests. connection = new URL(url).openConnection(); for (String cookie : cookies) { connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]); } // ...
split(";", 2)[0]可以摆脱与服务器端无关的 cookie 属性,例如,expires等path。或者,您也可以cookie.substring(0, cookie.indexOf(';'))使用split().
split(";", 2)[0]
expires
path
cookie.substring(0, cookie.indexOf(';'))
split()
默认情况下,HttpURLConnection将在实际发送之前缓冲整个请求正文,无论您是否使用自己设置了固定内容长度connection.setRequestProperty("Content-Length", contentLength);。OutOfMemoryException每当您同时发送大型 POST 请求(例如上传文件)时,这可能会导致s。为避免这种情况,您需要设置HttpURLConnection#setFixedLengthStreamingMode().
connection.setRequestProperty("Content-Length", contentLength);
OutOfMemoryException
HttpURLConnection#setFixedLengthStreamingMode()
httpConnection.setFixedLengthStreamingMode(contentLength);
但是如果事先真的不知道内容长度,那么您可以通过相应的设置来使用分块流模式HttpURLConnection#setChunkedStreamingMode()。这将设置 HTTPTransfer-Encoding标头chunked,将强制请求正文以块的形式发送。下面的示例将以 1 KB 的块发送正文。
HttpURLConnection#setChunkedStreamingMode()
Transfer-Encoding
chunked
httpConnection.setChunkedStreamingMode(1024);
可能会发生请求返回意外响应,而它在真正的 Web 浏览器上运行良好。服务器端可能会根据User-Agent请求标头阻止请求。URLConnection默认情况下,将其设置为最后Java/1.6.0_19一部分显然是 JRE 版本。您可以按如下方式覆盖它:
User-Agent
Java/1.6.0_19
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.
使用来自最近浏览器的 User-Agent 字符串。
如果 HTTP 响应代码是4nn(客户端错误)或5nn(服务器错误),那么您可能需要阅读HttpURLConnection#getErrorStream()以查看服务器是否发送了任何有用的错误信息。
4nn
5nn
HttpURLConnection#getErrorStream()
InputStream error = ((HttpURLConnection) connection).getErrorStream();
如果 HTTP 响应代码为 -1,则连接和响应处理出现问题。该HttpURLConnection实现在较旧的 JRE 中在保持连接活动方面有些错误。http.keepAlive您可能希望通过将系统属性设置为 来关闭它false。您可以通过以下方式在应用程序的开头以编程方式执行此操作:
http.keepAlive
false
System.setProperty("http.keepAlive", "false");
您通常multipart/form-data对混合 POST 内容(二进制和字符数据)使用编码。编码在RFC2388中有更详细的描述。
multipart/form-data
String param = "value"; File textFile = new File("/path/to/file.txt"); File binaryFile = new File("/path/to/file.bin"); String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value. String CRLF = "\r\n"; // Line separator required by multipart/form-data. URLConnection connection = new URL(url).openConnection(); connection.setDoOutput(true); connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary); try ( OutputStream output = connection.getOutputStream(); PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true); ) { // Send normal param. writer.append("--" + boundary).append(CRLF); writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF); writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); writer.append(CRLF).append(param).append(CRLF).flush(); // Send text file. writer.append("--" + boundary).append(CRLF); writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF); writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset! writer.append(CRLF).flush(); Files.copy(textFile.toPath(), output); output.flush(); // Important before continuing with writer! writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary. // Send binary file. writer.append("--" + boundary).append(CRLF); writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF); writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF); writer.append("Content-Transfer-Encoding: binary").append(CRLF); writer.append(CRLF).flush(); Files.copy(binaryFile.toPath(), output); output.flush(); // Important before continuing with writer! writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary. // End of multipart/form-data. writer.append("--" + boundary + "--").append(CRLF).flush(); }
如果另一边是一个HttpServlet,那么它的doPost()方法将被调用并且这些部分将由HttpServletRequest#getPart()(注意,因此不是 getParameter()等等!)。然而,该getPart()方法相对较新,它是在 Servlet 3.0(Glassfish 3、Tomcat 7 等)中引入的。在 Servlet 3.0 之前,您最好的选择是使用Apache Commons FileUpload来解析multipart/form-data请求。另请参阅此答案以获取 FileUpload 和 Servelt 3.0 方法的示例。
HttpServletRequest#getPart()
getParameter()
getPart()
如果您正在为 Android 而不是 Java 开发,请注意:如果您在开发期间没有部署正确的证书,下面的解决方法可能会节省您的时间。但是您不应该将其用于生产。这些天(2021 年 4 月)如果 Google 检测到不安全的主机名验证程序,Google 将不允许您的应用在 Play 商店中分发,请参阅https://support.google.com/faqs/answer/7188426。
有时您需要连接 HTTPS URL,可能是因为您正在编写网络爬虫。在这种情况下,您可能会javax.net.ssl.SSLException: Not trusted server certificate在某些 HTTPS 站点上遇到不及时更新其 SSL 证书的情况,java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found或者javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name在某些配置错误的 HTTPS 站点上。
javax.net.ssl.SSLException: Not trusted server certificate
java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found
javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name
您的网络爬虫类中的以下一次性运行static初始化程序应该HttpsURLConnection对那些 HTTPS 站点更加宽松,因此不再抛出这些异常。
static
static { TrustManager[] trustAllCertificates = new TrustManager[] { new X509TrustManager() { @Override public X509Certificate[] getAcceptedIssuers() { return null; // Not relevant. } @Override public void checkClientTrusted(X509Certificate[] certs, String authType) { // Do nothing. Just allow them all. } @Override public void checkServerTrusted(X509Certificate[] certs, String authType) { // Do nothing. Just allow them all. } } }; HostnameVerifier trustAllHostnames = new HostnameVerifier() { @Override public boolean verify(String hostname, SSLSession session) { return true; // Just allow them all. } }; try { System.setProperty("jsse.enableSNIExtension", "false"); SSLContext sc = SSLContext.getInstance("SSL"); sc.init(null, trustAllCertificates, new SecureRandom()); HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory()); HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames); } catch (GeneralSecurityException e) { throw new ExceptionInInitializerError(e); } }