자바를 자바 22

Reading contents from an HTML file

우리는 데이터를 URL로 부터 읽어들일 수 있다. 이 과정은 파일로 부터 데이터를 읽어오는 것과 매우 유사하다.

URL url = null;
BufferedReader input = null;
//특정 위치의 html파일을 읽어오기
String address = "https://icslsogang.github.io/courses/cse3040/hello.html";
String line = "";

try {
    url = new URL(address);
    input = new BufferedReader(new InputStreamReader(url.openStream()));

    while((line=input.readLine()) != null) {
        System.out.println(line);
    }
    input.close();
} catch(Exception e) {
    e.printStackTrace();
}

위와 같이 URL에서 가져온 파일을 읽어들일 수 있다는 것을 확인할 수 있다.

Downloading a file from a URL

URL url = null;
InputStream in = null;
FileOutputStream out = null;

// 읽고자 하는 것이 jpg 파일인 경우
String address = "https://icslsogang.github.io/courses/cse3040/sogang_campus.jpg";

int ch = 0;
try {
    url = new URL(address);

    // 이 방식으로 inputStream처럼 만들 수 있다.
    in = url.openStream();

    // 아래의 파일에 이미지를 씌우겠다는 의미
    out = new FileOutputStream("sogang_campus.jpg");
    while((ch=in.read()) != -1) {
        out.write(ch);
    }
    in.close();
    out.close();
} catch(Exception e) {
    e.printStackTrace();
}
System.out.println("File download complete.");

Parsing an HTML File

public class Lecture {
    static ArrayList<String> lines = new ArrayList<String>();
    public static void main(String[] args) {
        URL url = null;
        BufferedReader input = null;

        // 교보문고의 베스트셀러들을 보여주는 페이지가 파일로 되어 있다.
        String address = "http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf";
        String line = "";

        // 베스트 셀러의 제목을 앍아내기
        try {
            url = new URL(address);
            input = new BufferedReader(new InputStreamReader(url.openStream()));

            // 일단 읽어들여서 Line by Line으로 저장한다.
            while((line=input.readLine()) != null) {
                if(line.trim().length() > 0) lines.add(line);
            }
            input.close();
        } catch(Exception e) {
            e.printStackTrace();
        }

        int rank = 1;
        int status = 0;

        // 한줄씩 가지고 오면서 데이터를 분석한다.
        for(int i=0; i<lines.size(); i++) {
            String l = lines.get(i);
            if(status == 0) {
                if(l.contains("div class=\"detail\"")) status = 1;
            } else if(status == 1) {
                if(l.contains("div class=\"title\"")) status = 2;
            } else if(status == 2) {
                if(l.contains("a href")) {
                    int begin = l.indexOf("<strong>") + "<strong>".length();
                    int end = l.indexOf("</strong>");
                    System.out.println(rank + "위: " + l.substring(begin, end));
                    status = 0;
                    rank++;
                }
            }
        }
    }
}

Parsing an HTML file using jsoup

jsoup : Java 외부 라이브러리로 HTML 로 부터 데이터를 뽑아내거나 복제하는데 편리하다.

https://jsoup.org/download
jsoup을 build Path의 Add External Archives를 통해 추가시키면 사용이 가능하다. 하지만 여기에서 중요한 것이 만약 이전에 Module-info를 한 번이라도 만들었다면 문제가 생길 수 있다. 그렇게 때문에 이것을 미리 프로젝트에서 삭제해주어야 한다.

jsoup을 사용하면 아래와 같이 쫌 더 짧아지고 원하는 결과물을 구해낼 수 있다.

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Lecture {
    public static void main(String[] args) throws Exception {
        String url = "http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf";
        Document doc = null;

        // url에 접속한다.
        try {
            doc = Jsoup.connect(url).get();
        } catch(IOException e) {
            System.out.println(e.getMessage());
        }

        // select를 사용해서 doc에서 이 태그가 나오는 부분을 찾아준다. 그래서 이것을 bestsellers에 넣어준다. 
        //그래서 div detail 부분의 모든 element를 가지고 온다.
        Elements bestsellers = doc.select("div.detail");

        // bestseller로 가져온 것중에 div title 부분만 가져온다.
        Elements titles = bestsellers.select("div.title");

        // title 내부의 href 태그만 가져온다.
        Elements booktitles = titles.select("a[href]");

        // for을 이용해서 meta-data가 아닌 부분만 출력하게 한다.
        for(int i=0; i<booktitles.size(); i++) {
            System.out.println(i+1 + "위: " + booktitles.eq(i).text());
        }
    }
}

---

try {
    doc = Jsoup.connect(url).get();
} catch(IOException e) {
    System.out.println(e.getMessage());
}

MalformedURLException, HttpStatusException, UnsupportedMimeTypeException,
SocketTimeoutException, IOException와 같은 에러가 생길 수 있는데, IOException이 최상위 개념이다.

위의 메뉴얼은 jsoup에서 가져올 수 있는 데이터들의 종류들이다.