컴퓨터가 글자를 다루는 방식과 인코딩의 역사

우리가 컴퓨터 화면으로 보는 모든 글자는 사실 컴퓨터 내부에서 숫자로 저장되고 처리된다. 컴퓨터는 '가', '나', '다' 같은 글자 자체를 이해하는 것이 아니라, 미리 정해진 약속에 따라 글자에 부여된 숫자 코드를 가지고 인식한다. 이렇게 글자에 숫자를 할당하고 디지털 형태로 표현하는 규칙을 '인코딩'이라고 하고 컴퓨터가 다룰 수 있는 글자들의 모음을 '캐릭터셋'이라고 부른다.

처음 컴퓨터가 등장했을 때, 주로 영어 알파벳만 사용했다. 이때 만들어진 약속이 ASCII 코드이다. 하지만 컴퓨터가 전 세계로 퍼지면서 각 나라 언어를 표현해야 할 필요가 생겼다. 한국에서는 한글을 컴퓨터로 다루기 위해 KS X 1001이라는 국가 표준을 만들었다. 이 표준에는 자주 쓰는 한글 2,350자와 일부 한자가 포함되어 있다.

EUC-KR은 이 KS X 1001 표준을 따르는 인코딩 방식 중 하나이다. 영어는 1바이트로, 한글은 2바이트로 표현한다. 과거 유닉스 시스템이나 웹 환경에서 한글을 표시하는 데 많이 사용되었다. EUC-KR은 KS X 1001에 있는 글자만 표현할 수 있다. 시간이 지나면서 KS X 1001에 없는 현대 한글 글자들은 문제가 되었고, 이를 해결하기 위해 더 많은 한글을 담은 CP949 같은 확장 인코딩이 나오기도 했다.

하지만 나라마다, 시스템마다 다른 인코딩을 사용하면서 문제가 발생했다. 서로 다른 인코딩 시스템끼리 데이터를 주고받을 때 글자가 깨지는 현상이 자주 일어났다.

이런 문제를 해결하기 위해 전 세계 모든 문자를 하나의 기준에 담으려는 국제 표준인 유니코드(Unicode)가 나왔다. 유니코드는 문자에 고유한 번호를 부여한다. 이 유니코드를 컴퓨터에서 실제로 저장하고 통신하기 위한 방식이 여러 가지 있는데, 그중 가장 많이 쓰이는 것이 UTF-8이다. 

UTF-8은 영문은 1바이트, 한글은 3바이트 등으로 글자에 따라 필요한 바이트 수가 달라지는 방식을 쓴다. ASCII와 호환되고 모든 유니코드 문자를 표현할 수 있어서 현재 디지털 환경의 표준이 되었다.

EUC-KR을 계속 사용할 때 생기는 문제들

현재 시스템이 EUC-KR 인코딩을 사용하고 있다면 여러 가지 어려움이 생긴다. 가장 큰 문제는 모든 한글을 표현하지 못한다는 점이다. 

EUC-KR은 과거 표준에 있는 글자만 지원한다. 그래서 현대 한글이나, 옛 한글, 또는 이모지처럼 유니코드에만 있는 글자들은 표현할 수 없다. 사용자가 이런 글자를 입력하면 글자가 깨지거나 물음표로 보이고, 데이터에 오류가 생긴다.

이것은 곧 데이터의 신뢰성을 떨어뜨린다. 시스템이 지원하지 않는 글자가 들어오면 데이터가 잘못 저장되거나 아예 사라질 수 있다. 이렇게 망가진 데이터는 나중에 원래대로 되돌리기 매우 어렵다.

또한, 대부분의 새로운 시스템은 UTF-8을 사용한다. EUC-KR 시스템은 다른 시스템과 데이터를 주고받기 어렵다. 웹페이지에서 글자가 깨지거나, 외부 서비스와 데이터를 연동할 때 인코딩 때문에 문제가 발생한다. 시스템이 UTF-8을 사용하는 다른 시스템과 원활하게 연결되지 못하고 고립되는 것이다.

개발자들도 EUC-KR 때문에 일을 하는 데 어려움을 겪는다. 글자를 처리하거나 외부 기능을 가져다 쓸 때마다 인코딩 변환 문제를 신경 써야 한다. 예상치 못한 오류를 찾고 해결하는 데 시간이 많이 걸린다. 이는 개발 속도를 늦추고 시스템을 관리하는 데 비용을 더 들게 한다.

EUC-KR은 더 이상 발전하지 않는 옛날 기술이다. 이것을 계속 사용하면 최신 기술을 도입하기 어렵고, 나중에 인코딩 문제를 해결하기 위한 작업이 훨씬 더 복잡하고 힘들어질 수 있다.

일반적인 회사들은 어떻게 하고 있을까?

대부분의 회사들은 이미 EUC-KR 같은 옛날 인코딩에서 UTF-8로 시스템을 바꾸는 작업(마이그레이션)을 진행했다. UTF-8은 전 세계 표준이고 모든 글자를 표현할 수 있어서, 시스템을 더 안정적으로 만들고 다른 시스템과 잘 연결될 수 있게 해 주기 때문이다.

현재 EUC-K을 사용하고 있는 회사가 있다면 앞으로 나아가야 할 방향은 시스템을 UTF-8로 바꾸는 계획을 세우고 실제로 진행해야 한다.

이 작업은 간단하지 않다. 데이터베이스부터 애플리케이션 프로그램, 그리고 관련 시스템 설정까지 모두 바꿔야 한다. 하지만 꼭 필요한 작업이다. 시간이 걸려도 계획을 잡고 진행해야 한다.

어떻게 준비해야 할까?

먼저, 현재 시스템에서 EUC-KR이 어디에 쓰이고 있는지, 어떤 데이터가 영향을 받을지 정확히 파악해야 한다. 그리고 UTF-8로 바꾸는 작업이 왜 필요한지사람들에게 잘 설명하고 이해를 구해야 한다.

이어서 마이그레이션 계획을 꼼꼼하게 세운다. 작업을 어떻게 할지, 얼마나 시간이 걸릴지, 어떤 문제가 생길 수 있고 어떻게 해결할지 등을 정한다. 작업을 시작하기 전에 반드시 모든 데이터를 안전하게 백업해야 한다.

실제로 시스템을 바꾸기 전에, 실제와 똑같은 테스트 환경에서 바꿔보는 연습을 여러 번 해야 한다. 데이터가 제대로 바뀌는지, 프로그램이 잘 작동하는지 확인한다.

마이그레이션 작업을 할 때는 데이터베이스 인코딩을 바꾸고, 데이터를 변환하며, 프로그램을 수정하고, 시스템 설정을 변경한다. 이 과정에서 시스템이 잠시 멈출 수도 있다.

작업 후에는 시스템이 제대로 바뀌었는지, 글자들이 깨지지 않고 잘 보이는지, 모든 기능이 정상적으로 작동하는지 철저하게 확인한다. 문제가 생겼을 때 원래대로 되돌릴 수 있는 계획도 준비해 두는 것이 좋다.

EUC-KR에서 UTF-8로 바꾸는 것은 시간과 노력이 많이 드는 일이다. 하지만 이것은 시스템을 더 좋게 만들고, 앞으로 생길 수 있는 더 큰 문제를 막으며, 새로운 기술을 받아들이고 서비스를 발전시키기 위해 꼭 필요한 과정이다. 

지금 겪는 문제를 해결하고 미래를 준비하기 위해, UTF-8 전환을 목표로 삼고 차근차근 준비를 시작해야 한다.