질문 : java.net.URLConnection을 사용하여 HTTP 요청을 실행하고 처리하는 방법은 무엇입니까?
java.net.URLConnection 사용은 여기에서 자주 묻는 질문이며 Oracle 자습서 는 이에 대해 너무 간결합니다.
이 튜토리얼은 기본적으로 GET 요청을 실행하고 응답을 읽는 방법 만 보여줍니다. POST 요청을 수행하고, 요청 헤더를 설정하고, 응답 헤더를 읽고, 쿠키를 처리하고, HTML 양식을 제출하고, 파일을 업로드하는 데 사용하는 방법은 어디에도 설명되어 있지 않습니다.
그렇다면 어떻게 java.net.URLConnection 을 사용하여 "고급"HTTP 요청을 실행하고 처리 할 수 있습니까?
답변
먼저 면책 조항 : 게시 된 코드 스 니펫은 모두 기본적인 예입니다. NullPointerException , ArrayIndexOutOfBoundsException 과 같은 IOException 및 RuntimeException 을 처리하고 직접 연결해야합니다.
Java 대신 Android 용으로 개발하는 경우 API 레벨 28이 도입 된 이후로 일반 텍스트 HTTP 요청이 기본적으로 비활성화되어 있습니다. HttpsURLConnection 을 사용하는 것이 좋지만 실제로 필요한 경우 응용 프로그램 매니페스트에서 일반 텍스트를 활성화 할 수 있습니다.
준비
먼저 최소한 URL과 문자셋을 알아야합니다. 매개 변수는 선택 사항이며 기능 요구 사항에 따라 다릅니다.
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));
쿼리 매개 변수는 name=value & 로 연결되어야합니다. 일반적으로 URLEncoder#encode() 사용하여 지정된 문자 집합으로 쿼리 매개 변수를 URL 인코딩 합니다.
String#format() 은 단지 편의를위한 것입니다. + 두 번 이상이 필요할 때 선호합니다.
(선택 사항) 쿼리 매개 변수를 사용하여 HTTP GET 요청 실행
사소한 작업입니다. 기본 요청 방법입니다.
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...? 사용하여 URL에 연결되어야합니다. . Accept-Charset 헤더는 매개 변수의 인코딩이 무엇인지 서버에 알려줄 수 있습니다. 쿼리 문자열을 보내지 않으면 Accept-Charset 헤더를 그대로 둘 수 있습니다. 헤더를 설정할 필요가 없다면 URL#openStream() 바로 가기 메서드를 사용할 수도 있습니다.
InputStream response = new URL(url).openStream();
// ...
어느 쪽이든 다른 쪽이 HttpServlet 이면 해당 doGet() 메서드가 호출되고 매개 변수는 HttpServletRequest#getParameter() 사용할 수 있습니다.
테스트 목적으로 아래와 같이 stdout에 응답 본문을 인쇄 할 수 있습니다.
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}쿼리 매개 변수를 사용하여 HTTP POST 요청 실행
URLConnection#setDoOutput() 을 true 설정하면 요청 메서드가 POST로 암시 적으로 설정됩니다. 웹 양식과 같은 표준 HTTP POST는 application/x-www-form-urlencoded 유형이며 쿼리 문자열이 요청 본문에 기록됩니다.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...참고 : 프로그래밍 방식으로 HTML 양식을 작성하여 제출하고 싶습니다 때마다 수행하는 것을 잊지 마세요 name=value 어떤 쌍 <input type="hidden"> 쿼리 문자열에 물론 또한 요소 name=value 의 쌍 프로그래밍 방식으로 "누르기"하려는 <input type="submit"> 요소 (일반적으로 서버 측에서 버튼을 눌렀는지 여부를 구별하기 위해 사용 되었기 때문).
또한 얻은 URLConnection 을HttpURLConnection 캐스팅하고 HttpURLConnection#setRequestMethod() 대신 사용할 수도 있습니다. 그러나 출력에 연결을 사용하려는 경우 URLConnection#setDoOutput() 을 true 로 설정해야합니다.
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...어느 쪽이든 다른 쪽이 HttpServlet 이면 해당 doPost() HttpServletRequest#getParameter() 에서 매개 변수를 사용할 수 있습니다.
HTTP 요청을 실제로 실행 중
URLConnection#connect() 하여 명시 적으로 HTTP 요청을 실행할 수 URLConnection#getInputStream() 등을 사용하는 응답 본문과 같은 HTTP 응답에 대한 정보를 얻으려는 경우 요청이 자동으로 시작됩니다. 위의 예제는 정확히 그렇게하므로 connect() 호출은 실제로 불필요합니다.
HTTP 응답 정보 수집 중
여기HttpURLConnection 이 필요합니다. 필요한 경우 먼저 캐스팅하십시오.
int status = httpConnection.getResponseCode();- HTTP response headers:
for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) { System.out.println(header.getKey() + "=" + header.getValue()); } - HTTP response encoding:
Content-Type charset 매개 변수가 포함 된 경우 응답 본문은 텍스트 기반 일 가능성이 높으며 서버 측 지정된 문자 인코딩으로 응답 본문을 처리하려고합니다.
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line) ?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}세션 유지 관리
서버 측 세션은 일반적으로 쿠키에 의해 지원됩니다. 일부 웹 양식은 로그인되어 있거나 세션에서 추적되어야합니다. CookieHandler API를 사용하여 쿠키를 유지할 수 있습니다. 모든 HTTP 요청을 보내기 전에 CookiePolicy 가 ACCEPT_ALL CookieManager 를 준비해야합니다.
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...이것은 모든 상황에서 항상 제대로 작동하지 않는 것으로 알려져 있습니다. 실패하면 쿠키 헤더를 수동으로 수집하고 설정하는 것이 가장 좋습니다. 기본적으로 로그인 또는 첫 번째 GET Set-Cookie 헤더를 가져 와서 후속 요청을 통해 전달해야합니다.
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...split(";", 2)[0] expires , path 등과 같이 서버 측과 관련이없는 쿠키 속성을 제거하기 위해 존재합니다 cookie.substring(0, cookie.indexOf(';')) 사용할 수도 있습니다. cookie.substring(0, cookie.indexOf(';')) 대신 split() .
스트리밍 모드
HttpURLConnection 은 기본적으로 connection.setRequestProperty("Content-Length", contentLength); 사용하여 고정 콘텐츠 길이를 직접 설정했는지 여부에 관계없이 실제로 전송하기 전에 전체 요청 본문을 버퍼링합니다. . 이로 인해 대용량 POST 요청 (예 : 파일 업로드)을 동시에 보낼 때마다 OutOfMemoryException 이 발생할 수 있습니다. HttpURLConnection#setFixedLengthStreamingMode() 를 설정하는 것이 좋습니다.
httpConnection.setFixedLengthStreamingMode(contentLength);그러나 콘텐츠 길이가 실제로 미리 알려지지 않은 경우 그에 따라 HttpURLConnection#setChunkedStreamingMode() 그러면 HTTP Transfer-Encoding 헤더가 chunked 되어 요청 본문이 청크로 전송됩니다. 아래 예제는 본문을 1KB 청크로 보냅니다.
httpConnection.setChunkedStreamingMode(1024);User-Agent
요청이 예상치 못한 응답을 반환하지만 실제 웹 브라우저에서는 제대로 작동 할수 있습니다. User-Agent 요청 헤더를 기반으로 요청을 차단하고있을 것입니다. URLConnection 은 기본적으로 마지막 부분이 JRE 버전 인 Java/1.6.0_19 다음과 같이 재정의 할 수 있습니다.
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.최근 브라우저 의 User-Agent 문자열을 사용합니다.
오류 처리
HTTP 응답 코드가 4nn (클라이언트 오류) 또는 5nn (서버 오류) 인 경우 HttpURLConnection#getErrorStream() 을 읽고 서버가 유용한 오류 정보를 보냈는지 확인할 수 있습니다.
InputStream error = ((HttpURLConnection) connection).getErrorStream();HTTP 응답 코드가 -1이면 연결 및 응답 처리에 문제가있는 것입니다. HttpURLConnection 구현은 연결을 유지하는 데 다소 버그가있는 이전 JRE에 있습니다. http.keepAlive 시스템 속성을 false 로 설정하여 해제 할 수 있습니다. 다음과 같이 애플리케이션을 시작할 때 프로그래밍 방식으로이 작업을 수행 할 수 있습니다.
System.setProperty("http.keepAlive", "false");파일 업로드 중
일반적으로 혼합 된 POST 콘텐츠 (이진 및 문자 데이터)에 대해 multipart/form-data 인코딩은 RFC2388에 자세히 설명되어 있습니다.
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}다른 쪽이 HttpServlet 이면 해당 doPost() HttpServletRequest#getPart() 해당 부분을 사용할 수 있습니다 (참고로 getParameter() 등이 아닙니다 !). 그러나 getPart() 메서드는 상대적으로 새롭지 만 Servlet 3.0 (Glassfish 3, Tomcat 7 등)에 도입되었습니다. Servlet 3.0 이전에는 Apache Commons FileUpload multipart/form-data 요청을 구문 분석하는 것이 가장 좋습니다. 또한 FileUpload 및 Servelt 3.0 접근 방식의 예는 이 답변 을 참조하십시오.
신뢰할 수 없거나 잘못 구성된 HTTPS 사이트 처리
Java 대신 Android 용으로 개발하는 경우 주의 하십시오. 개발 중에 올바른 인증서를 배포하지 않은 경우 아래 해결 방법으로 하루를 절약 할 수 있습니다. 그러나 프로덕션에 사용해서는 안됩니다. 요즘 (2021 년 4 월) Google은 안전하지 않은 호스트 이름 확인 도구를 감지 한 경우 Play 스토어에 앱을 배포하는 것을 허용하지 않습니다 . https://support.google.com/faqs/answer/7188426을 참조하세요.
웹 스크레이퍼를 작성하고 있기 때문에 때때로 HTTPS URL을 연결해야합니다. 이 경우 SSL 인증서를 최신 상태로 유지하지 않는 일부 HTTPS 사이트에서 javax.net.ssl.SSLException: Not trusted server certificate java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found 거나 일부 잘못 구성된 HTTPS 사이트에서 javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name
웹 스크레이퍼 클래스의 다음 일회성 static HttpsURLConnection 을 해당 HTTPS 사이트보다 더 관대하게 만들어 더 이상 해당 예외를 throw하지 않아야합니다.
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}끝으로..
Apache HttpComponents HttpClient 는 이 모든면에서 훨씬 더 편리합니다. :)
HTML 구문 분석 및 추출
원하는 것이 HTML에서 데이터를 구문 분석하고 추출하는 것이라면 Jsoup과 같은 HTML 구문 분석기를 사용하는 것이 좋습니다.
출처 : https://stackoverflow.com/questions/2793150/how-to-use-java-net-urlconnection-to-fire-and-handle-http-requests
'프로그래밍 언어 > JAVA' 카테고리의 다른 글
| Java에서 String을 long으로 변환하는 방법 (0) | 2021.08.12 |
|---|---|
| 자바 8 List<V>를 Map<K, V>로 변환 하는 방법 (0) | 2021.08.12 |
| Java에서 폴더의 모든 파일을 읽는 방법 (0) | 2021.08.04 |
| Java를 사용하여 줄 단위로 큰 텍스트 파일을 읽는 방법 (0) | 2021.08.03 |
| Java에서 싱글 톤 패턴을 구현하는 효율적인 방법 (0) | 2021.07.30 |