NAVER Clova OCR로 영수증 정보 자동 추출하는 방법

 

Clova에서 제공하는 영수증 분석 api를 사용하여 영수증에 대한 정보를 뽑아내보려고 한다. 

아래에 나와있는 NAVER CLOUD PLATFORM 페이지에 접속하면 해당 기능에 대해 자세하게 살펴볼 수 있다.

그 중에서 영수증을 사용하려고 하면 어떤 종류를 신청해야 하는지를 포스팅해보려고 한다.

 

https://www.ncloud.com/product/aiService/ocr#overview

NAVER CLOUD PLATFORM

 

 

1. Clova OCR이란?

CLOVA OCR(Optical Character Recognition)은 전송한 문서나 이미지를 인식하여 사용자가 지정한 영역의 텍스트와 데이터를 정확하게 추출하는 네이버 클라우드 플랫폼의 서비스입니다. 이미지의 모든 텍스트 인식, 도메인에 배포된 템플릿이 포함된 이미지의 텍스트 인식, 템플릿 내에서 필요한 글자만 빠르게 추출하는 기능에 대한 API를 RESTful 형태로 제공합니다.

 

1-1. OCR 종류

Clova에서 제공하는 OCR은 크게 General OCR, Template OCR, Document OCR로 세 가지로 나누어져 있다.

General OCR	일반 텍스트 및 표 추출 OCR
Template OCR	Template OCR
Document OCR > 명함	명함 정보 OCR
Document OCR > 사업자등록증	사업자등록증 정보 OCR
Document OCR > 신용카드	신용카드 정보 OCR
Document OCR > 영수증	영수증 정보 OCR
Document OCR > 신분증 > 여권	여권 정보 OCR
Document OCR > 신분증 > 외국인등록증	외국인등록증 정보 OCR
Document OCR > 신분증 > 운전면허증	운전면허증 정보 OCR
Document OCR > 신분증 > 주민등록증	주민등록증 정보 OCR

 

General OCR은 이미지에서 단순히 텍스트만 추출하는 기능이고,

Document OCR은 영수증처럼 구조화된 문서에 특화되어, 날짜, 상호명, 금액 같은 의미 있는 정보를 항목별로 추출하는 기능이다.

 

 

2.OCR API 신청하기

2-1. 네이버 클라우드 플랫폼 가입

네이버 로그인하면 바로 사용할 수 있을 줄 알았는데, 별도로 회원가입을 진행해야 한다.

 

2-2. 결제 수단 등록

네이버 클라우드 플랫폼은 결제 수단을 등록해야 api들을 이용할 수 있는 것 같다.

그래서 결제 수단을 미리 등록하였다. 

 

2-3. 콘솔 서비스 > CLOVA OCR Service 접속

 

CLOUD PLATFORM에서 특정 서비스에 접속하는 두 가지 방법이 있다.

 

1. Dashboard > Services에 CLOVA OCR을 검색하면 해당 서비스에 들어올수있다.

https://console.ncloud.com/dashboard

 

 

2.밑 링크 클릭하면 바로  OCR service 메인 페이지로 이동한다.

https://console.ncloud.com/ocr/domain

 

 

접속하면 위와 같이 CLOVA OCR Domain 페이지가 나온다.

 

 

2-4. 특화 모델 설정 > 특화 모델 신청

 

Document OCR은 특화 모델로 이용할 수 있다.

특화 모델 설정 > 특화 모델 신청을 클릭한다.

 

 

특화 모델 신청을 하면 위와 같은 팝업창이 표시된다.

모든 칸이 필수칸이라 입력하고 확인 버튼을 누른다

(캡쳐 부분은 이미 신청을 한 상태라 확인 버튼이 활성화되지 않았는데, 처음 신청하는 상태라면 활성화 상태로 보일 것이다.)

 

 

 

신청을 하면 승인까지 시간이 조금 걸린다.

11시 30분에 신청을 하였고, 점심을 먹고 1시 40분에 들어와서 확인을 해보니 승인이 완료되어 있었다.

 

 

2-5. 도메인 생성

 

승인을 받았다면 이제 특화 모델 도메인 생성을 통해서 도메인을 생성할 수 있다.

도메인 생성 > 특화 모델 도메인 생성

 

 

 

도메인명과 도메인 코드를 적어준다.

- 도메인 명, 도메인 코드 : 중복만 되지 않게 한다면 아무 이름을 입력해도 괜찮은 것 같다.

- 서비스타입 : Document

- 인식모델 : 영수증

- 서비스 플랜 : Basic (유료임)

 

특화 모델 생성을 클릭하면 도메인이 생성된다. 

 

 

2-6. API Gateway 연동 클릭

도메인에서 API Gateway 연동을 클릭한다.

 

 

Document OCR 키 생성하는 팝업창이 표시된다.

이미 다 연결을 한 뒤라 key가 다 생성이 되어있지만, 만약 secret key가 생성되어있지 않다면 생성을 눌러서 생성을 해준다.

그리고 API 자동 생성을 클릭하면 자동으로 API를 생성해주며 Invoke URL을 잡아준다.

API 자동 생성은 시간이 조금 걸리는 것 같다.

 

 

2-7 API 생성 확인

 

조금 기다렸다가 API Gateway Services에 들어오면 API가 생성된 걸 확인할 수 있다.

이제 Document 영수증 API를 사용할 모든 준비가 끝났다!

 

 

3. 샘플 코드 작성

 

 

https://api.ncloud-docs.com/docs/ai-application-service-ocr-example02

Document OCR

 

clova에서 제공해주는 예제 코드가 있다.

사용하고자 하는 언어를 이용하여 사용하면 된다.

Content-Type: multipart/form-data인 자바 예제 코드를 이용하였다.

예제 코드에서 apiURL, secretKey, imageFile 를 수정한 뒤 사용할 수 있다.

import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.UUID;

import org.json.JSONArray;
import org.json.JSONObject;

public class OCRAPIDemo {

	public static void main(String[] args) {
		String apiURL = "YOUR_API_URL";
		String secretKey = "YOUR_SECRET_KEY";
		String imageFile = "YOUR_IMAGE_FILE";

		try {
			URL url = new URL(apiURL);
			HttpURLConnection con = (HttpURLConnection)url.openConnection();
			con.setUseCaches(false);
			con.setDoInput(true);
			con.setDoOutput(true);
			con.setReadTimeout(30000);
			con.setRequestMethod("POST");
			String boundary = "----" + UUID.randomUUID().toString().replaceAll("-", "");
			con.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
			con.setRequestProperty("X-OCR-SECRET", secretKey);

			JSONObject json = new JSONObject();
			json.put("version", "V2");
			json.put("requestId", UUID.randomUUID().toString());
			json.put("timestamp", System.currentTimeMillis());
			JSONObject image = new JSONObject();
			image.put("format", "jpg");
			image.put("name", "demo");
			JSONArray images = new JSONArray();
			images.put(image);
			json.put("images", images);
			String postParams = json.toString();

			con.connect();
			DataOutputStream wr = new DataOutputStream(con.getOutputStream());
			long start = System.currentTimeMillis();
			File file = new File(imageFile);
			writeMultiPart(wr, postParams, file, boundary);
			wr.close();

			int responseCode = con.getResponseCode();
			BufferedReader br;
			if (responseCode == 200) {
				br = new BufferedReader(new InputStreamReader(con.getInputStream()));
			} else {
				br = new BufferedReader(new InputStreamReader(con.getErrorStream()));
			}
			String inputLine;
			StringBuffer response = new StringBuffer();
			while ((inputLine = br.readLine()) != null) {
				response.append(inputLine);
			}
			br.close();

			System.out.println(response);
		} catch (Exception e) {
			System.out.println(e);
		}
	}

	private static void writeMultiPart(OutputStream out, String jsonMessage, File file, String boundary) throws
		IOException {
		StringBuilder sb = new StringBuilder();
		sb.append("--").append(boundary).append("\r\n");
		sb.append("Content-Disposition:form-data; name=\"message\"\r\n\r\n");
		sb.append(jsonMessage);
		sb.append("\r\n");

		out.write(sb.toString().getBytes("UTF-8"));
		out.flush();

		if (file != null && file.isFile()) {
			out.write(("--" + boundary + "\r\n").getBytes("UTF-8"));
			StringBuilder fileString = new StringBuilder();
			fileString
				.append("Content-Disposition:form-data; name=\"file\"; filename=");
			fileString.append("\"" + file.getName() + "\"\r\n");
			fileString.append("Content-Type: application/octet-stream\r\n\r\n");
			out.write(fileString.toString().getBytes("UTF-8"));
			out.flush();

			try (FileInputStream fis = new FileInputStream(file)) {
				byte[] buffer = new byte[8192];
				int count;
				while ((count = fis.read(buffer)) != -1) {
					out.write(buffer, 0, count);
				}
				out.write("\r\n".getBytes());
			}

			out.write(("--" + boundary + "--\r\n").getBytes("UTF-8"));
		}
		out.flush();
	}
}

 

 

 

 

3-1. 샘플코드 Sysout으로 출력해보기

package com.receipt.clova;

import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.UUID;

import org.json.JSONArray;
import org.json.JSONObject;

public class ClovaOcrApplication {
    public static void main(String[] args) {
        String apiURL = "https://<api-gateway>/custom/v1/<project-id>/<custom-id>/document/receipt";
        String secretKey = "<your-secret-key>";
        String imageFile = "C:/Users/username/Desktop/ocr/images/input";

        try{
            // API 요청을 위한 URL 객체 생성
            URL url = new URL(apiURL);
            HttpURLConnection con = (HttpURLConnection)url.openConnection();

            // 연결 설정
            con.setUseCaches(false);        // 캐시 사용 안 함
            con.setDoInput(true);           // 입력 스트림 사용
            con.setDoOutput(true);          // 출력 스트림 사용
            con.setReadTimeout(30000);      // 응답 대기 시간 설정 (30초)
            con.setRequestMethod("POST");   // POST 방식

            // multipart/form-data를 위한 boundary 설정
            String boundary = "----" + UUID.randomUUID().toString().replaceAll("-", "");
            con.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
            con.setRequestProperty("X-OCR-SECRET", secretKey); // 인증 키 헤더

            JSONObject json = new JSONObject();
            json.put("version", "V2"); // OCR API 버전
            json.put("requestId", UUID.randomUUID().toString()); // 요청 식별용 ID
            json.put("timestamp", System.currentTimeMillis()); // 현재 시간

            // 전송할 이미지 정보 설정
            JSONObject image = new JSONObject();
            image.put("format", "jpg"); // 파일 포맷
            image.put("name", "demo"); // 파일 이름(식별용)

            JSONArray images = new JSONArray();
            images.put(image); // 이미지 정보 배열에 추가
            json.put("images", images); // JSON 객체에 이미지 정보 포함

            String postParams = json.toString(); // 최종 JSON 파라미터 문자열

            // 연결 시작
            con.connect();

            // 서버로 데이터 전송용 스트림 생성
            DataOutputStream wr = new DataOutputStream(con.getOutputStream());
            long start = System.currentTimeMillis();

            // 이미지 파일 객체 생성
            File file = new File(imageFile);

            // multipart/form-data 형식으로 데이터 전송
            writeMultiPart(wr, postParams, file, boundary);
            wr.close(); // 전송 끝

            // 응답 코드 확인
            int responseCode = con.getResponseCode();
            BufferedReader br;
            if (responseCode == 200) {
                // 성공 응답이면 input stream 읽기
                br = new BufferedReader(new InputStreamReader(con.getInputStream()));
            } else {
                // 실패 응답이면 error stream 읽기
                br = new BufferedReader(new InputStreamReader(con.getErrorStream()));
            }

            // 응답 결과 읽어서 출력
            String inputLine;
            StringBuffer response = new StringBuffer();
            while ((inputLine = br.readLine()) != null) {
                response.append(inputLine);
            }
            br.close();

            System.out.println(response); // 결과 출력

        } catch (Exception e) {
            System.out.println(e);
        }
    }

    /**
     * multipart/form-data 형식으로 JSON 파라미터와 파일 전송
     * @param out
     * @param jsonMessage
     * @param file
     * @param boundary
     * @throws IOException
     */
    private static void writeMultiPart(OutputStream out, String jsonMessage, File file, String boundary) throws
            IOException {
        StringBuilder sb = new StringBuilder();

        // message 파트 작성 (JSON 본문)
        sb.append("--").append(boundary).append("\r\n");
        sb.append("Content-Disposition:form-data; name=\"message\"\r\n\r\n");
        sb.append(jsonMessage);
        sb.append("\r\n");

        out.write(sb.toString().getBytes("UTF-8"));
        out.flush();

        // 파일이 존재하면 파일 데이터도 multipart 형식으로 전송
        if (file != null && file.isFile()) {
            out.write(("--" + boundary + "\r\n").getBytes("UTF-8"));

            // 파일 전송을 위한 헤더 설정
            StringBuilder fileString = new StringBuilder();
            fileString
                    .append("Content-Disposition:form-data; name=\"file\"; filename=");
            fileString.append("\"" + file.getName() + "\"\r\n");
            fileString.append("Content-Type: application/octet-stream\r\n\r\n");

            out.write(fileString.toString().getBytes("UTF-8"));
            out.flush();

            // 실제 파일 내용 전송
            try (FileInputStream fis = new FileInputStream(file)) {
                byte[] buffer = new byte[8192]; // 8KB 버퍼
                int count;
                while ((count = fis.read(buffer)) != -1) {
                    out.write(buffer, 0, count);
                }
                out.write("\r\n".getBytes()); // 파일 전송 종료 마크
            }

            out.write(("--" + boundary + "--\r\n").getBytes("UTF-8"));
        }
        out.flush();
    }
}

 

각 줄에 설명을 작성하고, response를 Sysout으로 찍어내어 결과를 볼 수 있게 했다.

 

 

 

 

다음 글에선 해당 response로 영수증 데이터를 가공하는 방법에 대해서 포스팅 해보겠다.