(─━┘_└━─)/

스크립트구성요소_데이터대상.dtsx

따라하기  – 스크립트 구성 요소를 데이터 대상으로 이용하기

따라하기 2의 작업에서 레코드 집합 대상 대신 스크립트 구성 요소를 이용한 대상을 만드는 예제를 구현하겠습니다. 스크립트를 이용한 대상에서는 입력되는 데이터의 ProductName 데이터 중 길이가 가장 긴 데이터와 Quantity 열의 합계를 SSIS의 변수에 저장한 후, 메시지 박스로 출력하는 예제입니다.

     따라하기 2의 8단계 까지는 동일합니다.

9.       왼쪽의 도구 상자에서 스크립트 구성 요소를 하나 더 추가한 후, 유형을 대상으로 선택하고 이름을 스크립트 대상으로 변경합니다. 이 후, 변환 작업을 수행하는 스크립트 구성 요소의 녹색 선과 연결합니다.

10.   패키지 수준의 변수를 추가해야 합니다. 작업 영역에서 제어 흐름을 선택한 후, 빈 공간을 눌러 나오는 메뉴에서 변수(S)를 선택하여 변수 창을 띄웁니다.

11.   변수 창에서 maxProductName이라는 String형 변수와 sumQty라는 Int32형 변수를 추가합니다.

12.   데이터 흐름 영역에서 스크립트 대상을 더블 클릭한 후, 입력 열 탭에서 ProductName 열과 Quantity 열을 선택합니다.

13.   스크립트 탭에서 ReadWriteVariables 속성에 maxProductName, sumQty 변수명을 입력한 후, 스크립트 디자인(S)을 클릭하여 VSA를 띄웁니다.

14.   스크립트 탭에서 ReadWriteVariables 속성에 maxProductName, sumQty 변수명을 입력한 후, 스크립트 디자인(S)을 클릭하여 VSA를 띄웁니다.

15.   이제 최종 결과가 maxProductName, sumQty 변수에 저장됩니다. 이 저장된 값을 확인하기 위해, 제어 흐름 영역에서 스크립트 작업을 추가한 후, 데이터 흐름 작업의 녹색 선과 연결합니다.
(참고 : 본 예제에서는 데이터 흐름 작업의 이름을 “데이터 변환”으로 미리 변경 해 놓았습니다.)

16.   스크립트 작업을 더블 클릭한 후, 스크립트 탭의 ReadOnlyVariables 속성에 maxProductName, sumQty로 변수명을 기입합니다.

17.   스크립트 디자인(S)를 클릭하여 VSA를 띄운 후, 다음 스크립트를 입력합니다.

18.   패키지를 실행하여 수행되는 결과를 확인합니다.

스크립트구성요소_데이터변환.dtsx

따라하기  – 스크립트 구성 요소를 데이터 변환으로 이용하기

SQL 쿼리를 이용한 입력 데이터에 대리키(Surrogate Key) 형태의 순번 열과 누적 수량(Quantity)을 추가하는 작업을 구현하겠습니다.

1.       빈 패키지 파일을 하나 추가한 후, 데이터 흐름 작업을 추가합니다.

2.       아래 부분에 있는 연결 관리자에서 AdventureWorks를 지정하는 OLE DB 연결을 생성합니다. 이 연결은 스크립트 구성 요소를 이용한 변환 작업을 수행하기 위한 OLE DB 원본에서 이용할 것입니다.

3.       데이터 흐름 영역에 OLE DB 원본을 추가한 후, 2에서 추가한 연결을 지정하고 데이터 액세스 모드를 테이블 또는 뷰 에서 SQL 명령으로 변경합니다. 그런 다음 SQL 명령 텍스트에 다음과 같은 쿼리를 입력합니다.

4.       도구 상자에서 스크립트 구성 요소를 추가한 후, 유형을 변환으로 선택하고 OLE DB 원본의 녹색 선을 연결합니다.

5.       스크립트 구성 요소를 더블 클릭하여 스크립트 변환 편집기를 연 후, 입력 열 탭에서 네 개의 열을 모두 체크합니다.

6.       입/출력 탭에서 출력 0을 확장한 후, 출력 열을 선택한 상태에서 열 추가(C)를 클릭하여 열을 추가합니다. 열의 이름은 Seq이며, DataType은 부호 없는 4바이트 정수(DT_I4)로 설정합니다. 동일한 방법으로 열을 하나 더 추가한 후, 열 이름을 AccumQuantity로 설정하고 DataType도 동일하게 DT_I4로 설정합니다.

7.       왼쪽의 스크립트 탭을 클릭한 후, 스크립트 디자인(S) 버튼을 클릭하여 스크립트를 작성할 VSA(Visual Studio for Applications)를 띄운 후, 다음 스크립트를 입력합니다.

8.       VSA를 닫은 후, 확인을 눌러 스크립트 변환 편집기를 닫습니다.

9.       데이터 흐름 영역의 빈 곳에서 마우스 오른쪽 클릭을 하여 나타나는 메뉴 중 변수(S)를 선택하여 변수 창을 띄운 후, tempResult라는 이름의 Object 형 변수를 하나 추가합니다

10.   도구 상자에서 레코드 집합 대상을 추가한 후, 스크립트 구성 요소의 녹색 선과 연결합니다. 레코드 집합 대상을 더블 클릭하여 레코드 집합 대상 편집기를 띄운 후, 구성 요소 속성 탭에서 VariableName 부분에 tempResult를 입력합니다. 입력 열 탭에서 모든 열을 선택합니다.

11.   추가되는 데이터를 확인하기 위해 데이터 뷰어를 추가합니다. 스크립트 구성 요소와 레코드 집합 대상 사이의 데이터 흐름 경로를 더블 클릭한 후, 데이터 뷰어 탭에서 표 형태의 데이터 뷰어를 추가합니다.

12.   패키지를 실행하여 처리되는 데이터를 확인합니다.

스크립트구성요소_데이터원본.dtsx

따라하기  – 스크립트 구성 요소를 데이터 원본으로 이용하기

스크립트 구성 요소를 데이터 원본으로 이용하는 예제를 구현해 보겠습니다. 간단하게 스크립트 구성요소를 이용하여 아래 그림과 같은 10,000개의 순차적인 열과 난수 데이터를 발생시키도록 하겠습니다.

1.       빈 패키지 파일을 하나 추가한 후, 데이터 흐름 작업을 추가합니다.

2.       데이터 흐름 영역 내에 스크립트 구성 요소를 추가한 후, 원본으로 유형을 설정합니다.

3.       추가한 스크립트 구성 요소를 더블 클릭하여 스크립트 변환 편집기를 연 후, 입/출력 탭의 중간 부분에 있는 출력 0 부분을 확장한 후, 출력 열을 선택합니다.

4.       아래의 열 추가(C)를 클릭하여 열을 추가합니다. 열의 이름은 Seq 로 설정하며, 해당 열의 데이터 타입이 부호 없는 4바이트 정수(DT_I4)인 것을 확인합니다.

5.       동일한 방법으로 Col1, Col2라는 이름의 열을 추가시키며, 두 열의 DataType 모두 위와 동일한 DT_I4로 설정합니다.
이 때, 다음과 같은 사항을 참고하시기 바랍니다. 만약 4의 그림과 같이, 추가한 열 Seq가 선택된 상태에서 다시 열 추가(C)를 눌러 열을 추가하는 경우, 열은 현재 선택된 Seq 위에 추가가 됩니다. 하지만, 출력 열 이라는 부분을 클릭한 후, 열 추가를 하면 현재의 열 가장 마지막에 추가가 됩니다.

6.       왼쪽의 스크립트 탭을 클릭한 후, 스크립트 디자인(S) 버튼을 클릭하여 스크립트를 작성할 VSA(Visual Studio for Applications)를 띄운 후, 다음 스크립트를 입력합니다.

7.       VSA를 닫은 후, 확인을 눌러 스크립트 변환 편집기를 닫습니다.

8.       데이터 흐름 영역의 빈 곳에서 마우스 오른쪽 클릭을 하여 나타나는 메뉴 중 변수(S)를 선택하여 변수 창을 띄운 후, tempResult라는 이름의 Object 형 변수를 하나 추가합니다. 이는 임시 데이터 대상으로 쓰일 레코드 집합 대상에서 이용할 임시 변수입니다.

9.       도구 상자에서 레코드 집합 대상을 추가한 후, 스크립트 구성 요소의 녹색 선과 연결합니다. 레코드 집합 대상을 더블 클릭하여 레코드 집합 대상 편집기를 띄운 후, 구성 요소 속성 탭에서 VariableName 부분에 tempResult를 입력합니다. 입력 열 탭에서는 세 개의 열을 모두 선택합니다.

10.   데이터가 처리되는 과정을 확인하기 위해 중간 경로에 데이터 뷰어를 추가합니다. 스크립트 구성 요소와 레코드 집합 대상 간의 녹색 경로를 더블 클릭한 후 나타나는 데이터 흐름 경로 편집기의 데이터 뷰어 탭에서 추가(A)를 누른 후 표 형태의 뷰어를 추가합니다.

11.   패키지를 실행하여 생성되는 원본 데이터를 확인합니다.

스크립트 구성 요소

스크립트 구성 요소는 매우 다양한 기능을 수행할 수 있는 개체입니다. 스크립트를 이용한 작업은 제어 흐름 영역에서 스크립트 작업도 있지만, 스크립트 구성 요소는 데이터 흐름에서 주로 사용되는 개체입니다.

SQL 2000 DTS에서의 ActiveX 스크립트 작업이 SQL 2005 SSIS의 스크립트 작업이라면, DTS의 Data Pump 작업 내의 ActiveX 스크립트 작업이 SSIS의 스크립트 구성 요소 작업이라 할 수 있습니다.

위의 그림에서 보는 바와 같이 스크립트 구성 요소는 데이터 원본도 될 수 있으며, 입력 데이터를 처리하는 변환도 되며, 변환 작업을 통해 처리된 데이터에 대한 데이터 대상도 될 수 있습니다.

스크립트 구성 요소의 기능은 매우 다양한 만큼 추후에 별도의 강좌에서 자세히 다루겠으며 본 글에서는 각 유형별 적용 가능한 영역과 따라하기를 통해 실제로 구현을 하면서 세부 사항에 대해 설명하겠습니다.

스크립트 구성 요소가 데이터 원본으로 사용될 수 있는 경우는 다음과 같습니다.

스크립트 구성 요소가 데이터 변환으로 사용될 수 있는 경우는 다음과 같습니다.

스크립트 구성 요소가 데이터 대상으로 사용될 수 있는 경우는 다음과 같습니다.

이 외에도 매우 다양한 작업들을 수행할 수 있습니다

행개수.zip

행 개수

행 개수 변환은 SSIS의 작업 개체 중 가장 간단하면서도 매우 유용한 개체입니다. 입력 데이터를 직접 변경하지 않기 때문에 정확히는 변환 작업이라고는 할 수 없는 개체입니다. 이 개체가 수행하는 역할은 데이터 흐름 경로 상에서 처리되는 행의 최종 개수를 사용자가 정한 변수에 저장하는 역할을 수행합니다. 입력되는 데이터에 대해 아무런 변환을 수행하지 않기 때문에 입력 데이터와 출력 데이터가 동일합니다.

일반적으로 데이터 변환 작업 후에 정상적으로 데이터가 처리되었는지를 확인하는 절차가 필요합니다.

예를 들어 입력 데이터가 100,000개였는데, 조인 또는 변환 등 1:1로 처리되는 작업을 수행한 후 정확히 변환 결과도 동일하게 100,000개 인지를 확인하는 경우도 있습니다. 만약 처리된 결과값의 수가 입력 데이터의 개수와 다른 경우, 매핑 오류로 누락되거나 또는 이중 매핑으로 데이터가 중복이 발생할 수 있습니다.

또한 집계 변환이나 조건부 분할 등과 같이 입력되는 데이터에 대해 조건에 맞는 데이터의 수를 따로 관리해야 할 경우가 있습니다.

만약 저장되는 데이터가 테이블 형태라면 단순히

SELECT COUNT(*) FROM <결과 테이블>

과 같은 쿼리를 이용하여 최종 대상 테이블의 개수를 카운트 해서 확인할 수 있습니다. 하지만 결과 테이블이 매우 큰 경우라면 이 작업 역시 부하를 많이 일으킬 수 있는 작업입니다. 만약 데이터의 대상이 텍스트 파일이나 엑셀 파일, ADO 개체 등과 같이 쉽게 카운트를 수행할 수 없는 경우라면 더 복잡한 작업이 될 수 있습니다.

또 다른 간단한 예로, 매일 반복적으로 데이터를 처리하는 배치 작업에서 매일 처리되는 데이터의 개수를 기록해야 할 경우가 있습니다.

이와 같은 경우, 단순히 최종 데이터 대상 전에 행 개수 개체를 설정하여 처리되는 행 수를 쉽게 파악할 수 있습니다.

최종 변환 작업과 데이터 흐름 대상 사이에 행 개수 변환을 삽입한 후, 고급 행 개수 편집기의 구성 요소 속성 탭에 있는 VariableName 속성에 행 개수를 저장할 변수 명을 지정합니다. 입력 열 탭에서 나열되는 열은 체크할 필요가 없습니다.

일반적으로 데이터 흐름 작업 내에서 행 개수를 변수에 저장한 후, 해당 데이터 흐름 작업 외에서 이용하게 됩니다. 따라서 행 개수를 저장할 변수의 범위는 데이터 흐름 작업 상위의 영역에서 정의되는 변수이어야 합니다.

유사항목그룹화.zip

유사 항목 그룹화

유사 항목 조회 변환은 입력 데이터를 참조 테이블과 비교하여 유사하다고 판단되는 항목을 출력하는 변환인 반면, 유사 항목 그룹화 변환은 참조 테이블 없이 입력 데이터를 분석하여 유사성을 가지는 항목으로 그룹화 시키는 작업입니다. 그룹화라는 이름으로 인해 집계 변환의 그룹핑(GROUP BY) 작업과 같은 방식으로 생각할 수 있지만, 입력 데이터를 GROUP BY하는 연산은 아닙니다. 여러 입력 데이터를 서로 유사성이 있는 형태로 분류(Classification)하는 형태의 작업입니다.

다음과 같은 입력 데이터를 고려해 봅시다.

유사 항목 조회 변환의 경우, 참조 테이블에 기준이 되는 항목 값인 FIELDS OPERATION MGR 라는 값이 저장되어 있다고 할 때, 각 입력 데이터는 이 기준 값에 대한 유사성을 판단하여 유사성 및 신뢰도 점수와 함께 데이터를 출력하게 됩니다. 하지만, 유사 항목 그룹화 변환은 4개의 입력 데이터를 이용하여 서로 유사성을 분석하여 그룹화 작업을 수행합니다. 예를 들어, 유사성 임계값을 0.70으로 설정한 경우 위의 데이터는 3개의 그룹으로 그룹화 됩니다. 아래 표와 같이 변환 내에서 데이터를 그룹핑 연산을 할 때의 유사성 임계값에 따라 분류되는 그룹의 수는 달라집니다.

유사 항목 그룹화를 수행할 수 있는 데이터 형태는 DT_WSTR만 가능합니다.

연결 관리자 탭

유사 항목 그룹화 변환 편집기의 연결 관리자 탭에서는 유사 항목 그룹화 작업을 수행할 때 필요한 임시 저장 테이블의 연결을 지정합니다.

이 때 생성되는 임시 테이블은 입력 데이터를 토큰화 하여 저장하는 인덱스 테이블 입니다. 변환 과정에서 자동으로 임시 테이블을 생성하고 생성된 테이블에 쿼리를 해서 그룹화 작업을 수행합니다. 이 테이블의 크기는 커질 수 있기 때문에 실제 개발 환경에서는 운영 DB가 아닌 임시 DB로 지정하시기 바랍니다.

열 탭

열 탭에서는 유사 항목 그룹화를 수행할 열을 지정하고, 그룹화 작업의 세부 설정을 지정합니다.

Ÿ           입력 열 – 입력 데이터에서 입력 열을 선택합니다.

Ÿ           출력 별칭 – 입력 열을 다른 이름으로 출력하고자 할 경우, 이 값을 변경하면 됩니다. 기본적으로 입력 열의 이름과 동일하게 설정됩니다.

Ÿ           그룹 출력 별칭 – 입력 데이터에 대해 그룹화 작업을 수행한 후, 가장 유사하다고 판단되는 그룹의 열 데이터를 출력할 때 사용할 열의 이름을 설정합니다. 기본적으로 출력 별칭 뒤에 _clean이라는 접미사가 붙는 형태입니다.

Ÿ           일치 유형 – Fuzzy로 설정하면 유사 비교를 수행하며, Exact로 설정하면 완전히 동일한 경우의 비교만 수행합니다.

Ÿ           최소 유사성 – 유사하다고 판단할 최소의 유사성 임계치를 설정합니다. 이 값은 현재의 열에 대한 비교 임계치입니다.

Ÿ           유사성 출력 별칭 – 입력 데이터와 그룹핑 한 데이터 간의 유사성 수치를 출력할 열의 이름을 설정합니다. 기본적으로 출력 별칭 앞에 _Similarity_ 접두사가 붙는 형태입니다.

Ÿ           숫자 – 입력 데이터에서의 숫자에 대한 처리 방식을 지정합니다.

ú           Neither – 입력 데이터의 앞부분 및 뒷부분의 숫자 모두 분류 작업에 특별한 의미가 없습니다.

ú           Leading – 입력 데이터의 앞부분에 나타나는 숫자만 의미가 있습니다.

ú           Trailing – 입력 데이터의 뒷부분에 나타나는 숫자만 의미가 있습니다.

ú           LeadingAndTrailing – 입력 데이터의 앞부분 및 뒷부분의 숫자 모두 의미가 있습니다.

여기서 의미가 있다는 것은 다음과 같습니다. 예를 들어 다음과 같은 형태의 데이터를 고려해 봅시다.
       “1Seoul”
       “2Seoul”
       “3Seoul”
이러한 데이터의 경우, 숫자의 속성 값을 Neither 또는 Trailing으로 지정한 경우, 앞부분의 숫자는 특별한 의미를 가지지 않기 때문에 유사성이 높은 동일한 그룹으로 분류됩니다. 하지만, Leading 또는 LeadingAndTrailing으로 지정한 경우, 뒷부분의 문자가 동일하더라도 앞부분의 숫자가 데이터를 구분하는 중요한 의미를 가진다는 것을 나타내기 때문에 동일한 그룹으로 분류하지 않습니다.

Ÿ           비교 플래그 – 문자열 데이터를 비교할 때의 비교 옵션을 지정합니다.

고급 탭

Ÿ           입력 키 열 이름 – 입력 데이터 각 행의 고유한 값을 나타내는 열의 이름을 지정합니다. 일반적으로 이 값은 1,2,3,… 과 같이 순차적인 값으로 설정됩니다.

Ÿ           출력 키 열 이름 – 입력 데이터가 그룹화 된 행의 고유 값을 나타냅니다.

Ÿ           유사성 점수 열 이름 – 입력 데이터와 이 데이터가 그룹화 되는 기준 데이터 간의 유사성 점수를 나타냅니다. 이 값은 0에서 1 사이이며, 1에 가까울수록 더 유사하다고 판단할 수 있습니다. 이 값은 열 탭에서의 각 열에 대한 유사성에 대한 평균값으로 변환 작업 전체에 대한 평균 유사성 점수를 나타내는 것입니다.

Ÿ           유사성 임계값 – 그룹화를 수행할 유사성 점수의 임계값을 설정합니다. 임계값이 높으면 그룹화 시키는 조건이 더 엄격해지므로 더 많은 그룹으로 분류가 되며, 반대로 임계값이 낮으면 더 적은 수의 그룹으로 분류됩니다.

Ÿ           토큰 구분 기호 – 입력 데이터를 그룹화 하는 최소 단위인 토큰으로 구분할 때 사용되는 토큰의 구분 기호를 설정합니다.

출력 형태 분석

위의 그림에서 붉은 색으로 테두리 한 부분을 살펴보겠습니다.

_key_in 열은 입력 데이터의 각 행에 대한 고유 키 값이며, 자동으로 생성됩니다.

_key_in의 값은 2이지만, _key_out의 값은 1입니다. 이는 두 번째의 입력 데이터가 1번 키 값을 가지는 데이터로 그룹핑 되었다라는 것을 말합니다.

_score는 행 전체에 대한 유사성 점수를 나타내며, 현재 유사 비교를 수행하는 열이 InputData라는 열 하나만 존재하기 때문에 _Similarity_InputData의 수치와 동일하게 0.5802794의 값을 나타내고 있습니다.

InputData의 값은 입력된 데이터를 나타내며, InputData_clean은 그룹화 되어 분류되는 값을 나타냅니다. 즉, “EXEC VICE PRES”는 전체 데이터에 대해 유사 항목 그룹화 변환을 수행할 경우, “EXECUTIVE VICE PRESIDENT”이라는 값으로 처리됩니다.

_Similarity_InputData는 InputData열에 대한 유사성 점수를 나타냅니다.

유사성 임계값에 따른 그룹핑 결과 분석 표

다음은 동일한 데이터에 대해 고급 탭의 유사성 임계값을 달리했을 때의 출력 결과를 나타내는 표입니다.

유사항목조회.zip

유사 항목 조회

데이터를 처리하는 작업 중 데이터 정재 작업(Data Cleansing)을 해야 할 때가 종종 발생합니다. SQL 쿼리에서는 기본적으로 데이터가 완전히 일치하는 경우에만 매치됩니다. 물론 LIKE 연산자를 이용하여 유사 조회를 수행할 수 있습니다. 하지만, 이러한 유사 조회 작업은 제한적으로만 이용할 수 있으며 유사성 판단과 같은 작업을 수행하기에는 어려움이 있습니다..

예를 들어 다음과 같은 형태의 경우를 고려해 봅시다.

인터넷 사이트 초창기에는 사용자들로부터 직접 전체 주소 데이터를 입력 받는 경우가 종종 있었습니다. 지금은 대부분의 사이트가 우편번호를 선택하게 하여 주소의 앞부분은 우편번호 테이블에 있는 규격화된 형태로 입력이 되지만, 직접 입력하도록 한 경우에는 다양한 형태로 입력되었습니다.

Ÿ           서울특별시 강남구 삼성동

Ÿ           서울시 강남구 삼성동

Ÿ           서울 강남구 삼성동

Ÿ           서울 강남 삼성

사이트의 규모가 커지면서 이러한 정제되지 않은 데이터를 규격화된 데이터로 표준화 시키는 작업이 자주 발생되며, 이런 작업이 데이터 정재 작업의 예 입니다. 하지만 SQL 쿼리를 이용하여 데이터 정재 작업을 수행하는 것은 상당히 어렵고 고려해야 할 사항들이 많기 때문에 어려운 작업입니다. 이러한 작업을 수행하기 위해 텍스트 마이닝과 같은 고차원적인 데이터 처리 기법이 사용되기도 합니다.

SQL 2005 SSIS의 유사 항목 조회 변환을 이용하여 표준화 되지 않은 형태의 데이터를 쉽게 표준화 시킬 수 있습니다. 유사 항목 조회 변환을 수행할 때에는 원본 데이터에 대해 직접 처리하기 보다는 조회 변환 등을 이용하여 1차적으로 조회 작업을 수행한 후, 매핑 되지 않은 데이터에 대해 유사 항목 조회 변환을 수행하는 형태로 이용하는 것이 효율적입니다.

유사 항목 조회 변환은 조회 변환과 유사합니다. 조회 변환은 참조 테이블의 비교 항목과 정확히 일치하는 경우에만 출력하는데 비해 유사 항목 조회 변환은 정확히 일치하지는 않더라도 유사하다고 판단되는 수준일 경우 조회를 수행합니다.

참조 테이블 탭

참조 테이블 탭에서는 입력 데이터에 대해 조회 대상이 되는 참조 테이블을 지정하며, 유사 항목 조회 변환 수행 시 사용할 인덱스 테이블에 대한 설정을 지정합니다. 여기서 말하는 인덱스는 일반적으로 테이블에 설정하는 인덱스를 말하는 것이 아니며, 유사 비교를 수행할 때 이용하는 데이터 테이블을 말합니다.

새 인덱스 저장 옵션을 체크한 후, 새 인덱스 이름을 지정하면, 참조 테이블이 존재하는 DB에 지정한 이름의 인덱스 테이블이 생성됩니다.

저장된 인덱스 유지 관리 옵션을 체크하면 참조 테이블에 인덱스 테이블의 정보를 관리할 트리거가 생성됩니다. 이 트리거는 참조 테이블에 insert, update, delete 작업이 수행될 때 인덱스 테이블에 자동으로 반영하는 트리거입니다. 입력 데이터가 계속 변경되고 유사 항목 조회 작업을 반복적으로 수행해야 하는 상황일 때 이 옵션을 이용하여 인덱스 테이블을 효과적으로 관리할 수 있습니다. 대신, 데이터베이스에는

tg_DataCleaningMaintenance_PendingDelete__20060908_000000_fabb4233-bde1-4515-8d09-a89f35023b4e

tg_DataCleaningMaintenance_PendingInsert__20060908_000000_87baf700-b004-440e-b169-0659e166380d

등과 같은 형태로 관리 테이블이 생성됩니다.

기존 인덱스 사용을 선택하면 이미 생성되어 있는 인덱스 테이블을 그대로 사용할 수 있습니다.

열 탭

열 탭에서는 입력 데이터와 조회 데이터 간의 연결을 설정합니다. 또한 각 열의 연결에 대해 상세한 매핑 설정을 할 수 있습니다.

매핑 유형을 Fuzzy 또는 Exact로 설정할 수 있습니다. Fuzzy는 유사 조회를 수행하는 것이며, Exact는 정확히 일치하는 조회를 수행하도록 하는 것입니다. 모든 비교 열이 Exact일 때에는 조회 변환과 동일하게 수행됩니다. 유사 항목 조회 변환에 이러한 옵션이 있는 것은 다음과 같은 이유입니다. 예를 들어, A, B, C라는 원본 데이터의 열에 대해 A’, B’, C’라는 참조 테이블의 열과 유사 항목 조회 변환을 수행한다고 할 때, A 열과 A’ 열은 반드시 일치를 해야 하며, B와 B’, C와 C’는 어느 정도의 유사성만 있으면 매핑이 되도록 설정할 수 있습니다. 이 때, A와 A’의 매핑 유형은 Exact로 지정하고 나머지는 Fuzzy로 지정하면 됩니다.

비교 플래그는 문자열 비교 변환 또는 집계 변환 등에서와 같이 문자열 비교 시 비교 방법에 대해 설정합니다.

최소 유사성은 해당 열에 대한 매핑 작업 수행 시 매핑을 수행할 최소의 유사성을 지정하는 것입니다. 이 값은 0에서 1 사이의 값입니다. 예를 들어 B와 B’열 간의 매핑에서 최소 유사성을 0.80으로 설정한다면, 유사성이 0.8이상인 경우에만 매핑이 이루어집니다.

유사성 출력 별칭은 해당 열의 유사성을 출력할 열의 이름을 설정합니다.

고급 탭

조회당 출력에서 일치하는 최대 항목 수는 입력 데이터에 대해 유사 조회 연산을 수행하여 출력할 수 있는 최대의 항목 수를 지정하는 것입니다. 이 값을 1로 설정하면, 유사한 항목들로 판단되는 데이터 중 1개만 출력을 합니다. 예를 들어 “서울 강동구”라는 데이터에 대해 “서울시 강동구”가 유사도가 가장 높은 조회 데이터입니다. 하지만 “서울시 강서구”도 유사하다고 판단이 됩니다. 만약 이 값이 1인 경우에는 가장 유사하다고 판단되는 “서울시 강동구”가 출력되지만, 2로 설정한 경우, 두 개의 유사 데이터 모두가 출력됩니다.

유사성 임계값은 변환 전체의 유사성에 대한 임계값을 설정합니다. 이는 열 탭에서의 각 열의 최소 유사성과 비슷한 기능이지만, 전체 열에 대한 평균을 이용한다는 차이가 있습니다. 예를 들어 B와 B’열의 유사성은 0.9이며, C와 C’ 열의 유사성은 0.5 인 경우, 전체 유사성은 0.7이 됩니다. 만약 유사성 임계값을 0.8로 설정했다면, 이 경우에는 유사 조회가 수행되지 않습니다.

토큰 구분 기호는 입력 데이터를 비교 가능한 개별 토큰으로 구분할 때 사용되는 구분자(Delimeter)를 지정하는 것입니다.

참고 – 유사성(Similarity)과 신뢰성(Confidence)

유사 항목 조회 변환 및 유사 항목 그룹화 변환에서는 유사성과 신뢰성이라는 두 가지의 수치가 사용됩니다.

유사성은 입력 데이터와 참조 데이터 사이의 문자적 유사성에 대한 측정치 입니다. 예를 들어 “AAA AA”라는 참조 데이터에 대해 “AAA AB”가 “AAA BB” 보다 유사성이 높습니다. 입력 데이터와 참조 데이터가 완전히 동일한 경우에는 유사성은 1이며, 완전 불일치인 경우에는 0이 됩니다.

신뢰성은 출력되는 데이터가 참조 테이블의 다른 일치 데이터들과 비교했을 때 가장 유사한 일치 항목이 될 수 있는지의 가능성을 나타내는 수치입니다. 입력 데이터에 대해 선택한 참조 데이터가 다른 유사한 항목 없이 가장 확실한 대상이 된다고 판단되는 경우 1이며, 다른 비슷한 형태의 유사 데이터가 존재하는 경우에는 0에 가깝습니다.

“Chapter 4”라는 입력 데이터에 대해 “Chapter 1”, “Chapter 2”, “Chapter 3”이라는 조회 데이터가 있을 때, 세 개의 데이터 모두가 유사 항목의 후보가 되며, 전체 8자리 중 7자리가 동일하기 때문에 이 입력 값에 대한 각 참조 데이터의 유사성은 높습니다. 하지만, 세 개의 참조 데이터 중 어떤 것이 가장 일치할 지를 알 수 없기 때문에 각 참조 데이터에 대한 신뢰성은 낮습니다. 만약 입력 데이터가 “3”인 경우, 유사 항목의 후보가 될 수 있는 것은 “Chapter 3”만 가능합니다. 이 경우, 8자리 중 한 자리만 동일하기 때문에 유사성은 매우 낮지만, 유사 항목은 하나만 존재하기 때문에, 신뢰성은 높습니다.

(실제로 “Chapter 3”과 “3”으로는 유사성이 매우 낮기 때문에 유사 조회가 이루어지지 않습니다. 설명을 위해 예를 든 것입니다.)

따라하기