데이터 스트림은 데이터가 끊기지 않고 일정한 흐름으로 이어져 들어오고 나가는 형태를 가리키는 말이다. 한 번에 통째로 옮기는 방식과 달리, 기록이 생기는 대로 조각을 순서대로 흘려보낸다는 점이 특징이다. 이 기사는 시스템을 옮기는 사람이 데이터 스트림을 어떻게 이해하고, 이관을 어떤 순서로 하며, 어디에서 막히는지에 답한다. 데이터센터·데이터베이스처럼 함께 찾는 말도 이관의 관점에서 짚는다.
데이터 스트림이 무엇이고 일괄 이관과 어떻게 다른가
업무 소프트웨어를 옮기는 방법은 크게 두 가지로 나뉜다. 하나는 정해 둔 시점에 데이터를 모아 한꺼번에 옮기는 일괄 방식이고, 다른 하나는 변경이 생길 때마다 이어서 옮기는 스트림 방식이다. 일괄 방식은 단순하지만 옮기는 동안 원본이 바뀌면 그 차이를 따로 처리해야 한다. 스트림 방식은 차이가 쌓이지 않게 해 주지만 흐름을 계속 관리해야 한다.
이런 구조가 만들어진 배경에는 업무가 멈추지 않는다는 사정이 있다. 주문·결제·재고처럼 기록이 계속 생기는 시스템은 이관을 위해 오래 세워 두기 어렵다. 그래서 먼저 기존 내용을 복사하고, 복사하는 동안 생긴 변경을 스트림으로 따라 붙이다가 마지막에 짧게 전환하는 설계가 널리 쓰인다. 변경 내용을 읽어 흘려보내는 기법은 보통 변경 데이터 캡처라는 이름으로 불린다.
이관은 어떤 순서로 진행되나
순서의 출발점은 데이터베이스가 아니라 목록이다. 어떤 데이터가 어디에 있고, 누가 쓰며, 어떤 시스템이 이를 읽어 가는지 먼저 적어 둔다. 데이터베이스 안의 표뿐 아니라 파일, 외부 연동, 자동으로 도는 작업까지 포함해야 빠지는 것이 없다. 이 목록이 없으면 전환 당일에 연결이 끊긴 곳을 뒤늦게 찾게 된다.
다음은 옮길 대상의 구조를 맞추는 단계다. 새 시스템의 항목 이름, 형식, 필수 여부가 기존과 다르면 그대로 넣을 수 없어 변환 규칙을 정해야 한다. 날짜 형식, 문자 인코딩, 빈 값 처리 같은 사소해 보이는 차이가 가장 자주 문제를 일으킨다. 변환 규칙은 문서로 남겨 두어야 나중에 값이 달라졌을 때 원인을 따라갈 수 있다.
이어서 시험 이관을 한다. 일부 데이터로 먼저 옮겨 보고, 건수와 합계가 맞는지 확인하며, 몇몇 기록은 원본과 눈으로 대조해 같은지 살핀다. 결과가 맞으면 전체 복사와 스트림 연결을 진행하고, 두 시스템의 차이가 충분히 줄었을 때 전환 시점을 정한다. 전환 후에도 일정 기간 이전 시스템을 보존해 되돌아갈 길을 남겨 두는 편이 안전하다.
실제로 막히는 지점과 흔한 오해
막히는 곳은 대체로 기술보다 약속에서 나온다. 순서가 뒤바뀌어 도착하는 기록, 같은 기록이 두 번 도착하는 경우, 중간에 끊겼다가 다시 이어질 때 빠지는 구간이 대표적이다. 이를 막으려면 기록마다 순서를 가리는 값과 중복을 걸러 내는 기준이 필요하다. 또 원본과 새 시스템이 동시에 값을 바꾸면 어느 쪽이 맞는지 미리 정해 두지 않은 한 충돌이 난다.
흔한 오해도 있다. 스트림으로 옮기면 중단 없이 끝난다고 생각하기 쉽지만, 마지막 전환 순간에는 짧은 쓰기 중지가 필요한 경우가 많다. 데이터센터를 옮기는 일과 데이터를 옮기는 일을 같은 것으로 여기기도 하는데, 앞의 것은 장비가 놓인 시설의 문제이고 뒤의 것은 내용물의 문제다. 클라우드로 가면 이관이 저절로 끝난다는 믿음도 맞지 않는다. 옮긴 뒤 권한과 연동을 다시 맞추는 일이 남는다.
함께 검색되는 말과 경우별 판단
함께 검색되는 말들은 이 주제와 닿는 정도가 서로 다르다. 데이터 트래커처럼 이용 흔적을 추적하는 도구는 스트림으로 들어오는 자료의 한 종류일 수 있고, 데이터랩 같은 이름은 서비스마다 뜻이 달라 각 안내를 따로 읽어야 한다. 데이터분석준전문가 같은 자격 검정이나 데이터사이언스학과는 이관 실무가 아니라 학습과 진로의 문제이므로 해당 기관의 안내에서 확인한다. 데이터센터 관련주는 투자 판단의 영역이어서 이 기사에서 다루지 않는다.
상황에 따라 알맞은 방식은 달라진다. 데이터 양이 적고 잠시 멈춰도 되는 업무라면 일괄 방식이 단순하고 확인도 쉽다. 쉬지 않고 기록이 생기는 업무라면 스트림 방식이 맞지만 운영 부담이 따른다. 금액이나 계약처럼 정확성이 중요한 자료는 건수 대조에 더해 값 하나하나의 대조까지 해야 한다.
| 구분 | 내용 |
|---|---|
| 일괄 이관 | 시점을 정해 한꺼번에 옮긴다. 단순하지만 그사이 생긴 변경을 따로 처리해야 한다 |
| 스트림 이관 | 변경을 이어서 옮긴다. 차이는 적지만 순서와 중복을 계속 관리해야 한다 |
| 혼합 방식 | 먼저 전체를 복사하고 이후 변경만 스트림으로 따라 붙인다 |
이관을 앞두었다면 먼저 데이터 목록과 연동 대상을 적어 보면 된다. 이용 중인 서비스의 공식 안내에서 지원하는 이관 방식과 제한 사항을 확인하고, 계약서에서는 데이터 반환·삭제 조건과 전환 기간의 비용 부담을 살펴보면 된다. 시험 이관의 대조 결과를 문서로 남겨 두면 전환 여부를 판단할 근거가 된다.
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.