데이터 인텔리전스 활용 사례
데이터 인텔리전스를 통해 데이터의 품질과 데이터가 생성하는 통찰력에 자신감을 가지십시오. 많은 기업들이 데이터에 대한 접근 권한을 제공하는 것의 이점과 민감한 데이터를 보호해야 하는 필요성 사이의 균형을 맞추는 데 어려움을 겪고 있습니다. Cloud Pak for Data as a Service 데이터 인텔리전스를 자동화하기 위해 기업에 필요한 방법을 제공하므로, 데이터에 액세스할 수 있고 보호할 수 있습니다.
데이터 거버넌스는 데이터 인텔리전스 활용 사례( Cloud Pak for Data )의 중요한 부분입니다. 데이터 거버넌스의 전형적인 사용 사례를 보려면 이 비디오를 시청하십시오.
이 비디오는 이 문서에 있는 개념과 작업을 시각적으로 배울 수 있는 방법을 제공합니다.
해결 과제
많은 기업들이 다음과 같은 데이터 인텔리전스 문제에 직면해 있습니다
- 대규모 데이터 프라이버시 제공
- 조직은 여러 클라우드 플랫폼과 온프레미스 환경에 있는 데이터 소스의 데이터에 대한 데이터 보호 규정을 준수해야 합니다.
- 고품질 데이터에 액세스
- 조직은 여러 팀에 걸쳐 고품질의 기업 데이터에 대한 액세스를 제공해야 합니다.
- 완전한 고객 프로필 만들기
- 팀들은 셀프 서비스 프로세스와 데이터 관리를 최적화하기 위해 고객에 대한 정확한 관점을 신속하게 구축해야 합니다.
- 데이터의 이동 경로 추적
- 팀은 데이터의 이동 경로를 매핑하여 정확성, 신뢰성, 규정 준수를 보장해야 합니다.
- 셀프 서비스 데이터 소비 제공
- 데이터 과학자 같은 데이터 소비자들은 필요한 데이터를 찾고 사용하는 데 어려움을 겪습니다.
Cloud Pak for Data as a Service 를 사용하여 데이터 패브릭을 구현하면 이러한 문제를 해결할 수 있습니다.
예: 골든 뱅크의 도전 과제
거버넌스 팀이 데이터 인텔리전스 솔루션을 구현하는 과정에서 골든 뱅크의 이야기를 따라가 보세요. 골든 뱅크는 민감한 데이터를 포함하는 방대한 양의 고객 및 모기지 데이터를 보유하고 있습니다.은행은 데이터의 품질을 보장하고, 민감한 데이터를 숨기고, 여러 부서에서 사용할 수 있도록 하고자 합니다.
프로세스
데이터 거버넌스를 구현하는 방법은 조직의 필요에 따라 달라집니다. 데이터 거버넌스를 선형적 또는 반복적 방식으로 구현할 수 있습니다. 기본 기능과 미리 정의된 아티팩트를 활용하거나 솔루션을 사용자 정의할 수 있습니다.
데이터 거버넌스를 구현하기 위해, 조직은 다음과 같은 과정을 따를 수 있습니다:
Cloud Pak for Data 의 데이터 인텔리전스 서비스( IBM Knowledge Catalog )는 조직이 데이터 인텔리전스 솔루션을 구현하는 데 필요한 도구와 프로세스를 제공합니다.
1. 비즈니스 어휘 확립
이러한 문제를 해결하기 위해, 팀은 데이터를 분류하고 설명하는 메타데이터 역할을 하는 거버넌스 아티팩트를 가져오거나 생성하여 비즈니스 어휘를 구축해야 합니다
- 데이터 프라이버시를 자동화하기 전에, 팀은 제어할 데이터를 정확하게 식별해야 합니다.
- 데이터 품질을 분석하기 전에 데이터의 형식을 파악해야 합니다.
- 데이터를 쉽게 찾을 수 있도록 하려면, 팀원들이 데이터의 내용을 정확하게 설명해야 합니다.
이 첫 번째 단계에서, 거버넌스 팀은 미리 정의된 거버넌스 아티팩트의 기반을 바탕으로 조직에 특화된 맞춤형 거버넌스 아티팩트를 만들 수 있습니다. 데이터의 형식, 비즈니스적 의미, 민감도, 값의 범위, 거버넌스 정책을 설명하는 아티팩트를 만들 수 있습니다.
| 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 카테고리 | 사전 정의된 카테고리를 사용하여 거버넌스 아티팩트를 저장하십시오. 카테고리를 만들어 폴더와 유사한 계층 구조로 거버넌스 아티팩트를 구성하십시오. 카테고리의 아티팩트에 대한 권한을 정의하는 역할이 있는 공동 작업자를 추가하십시오. |
미리 정의된 카테고리보다 더 많은 것이 필요합니다. 거버넌스 아티팩트를 소유, 작성, 열람할 수 있는 사람을 세밀하게 제어하고 싶으십니까? |
| 워크플로우 | 거버넌스 아티팩트를 만드는 사람을 제한하거나 검토를 요구하지 않는 기본 워크플로 구성을 사용하십시오. 거버넌스 아티팩트에 대한 워크플로를 구성하고, 어떤 유형의 거버넌스 아티팩트를 어떤 카테고리에서 만들 수 있는 사람을 지정하십시오. |
거버넌스 아티팩트를 생성하는 사람을 통제하고 싶으십니까? 거버넌스 아티팩트를 게시하기 전에 초안을 검토하고 싶으십니까? 거버넌스 아티팩트를 게시하기 전에 초안을 검토하고 싶으십니까? |
| 거버넌스 아티팩트 | 사전 정의된 비즈니스 용어, 데이터 클래스, 분류를 사용하십시오. 데이터 자산을 풍부하게 하고, 정의하고, 통제하는 메타데이터 역할을 하는 거버넌스 아티팩트를 만드십시오. |
사람들이 데이터를 이해하는 데 도움이 되도록 자산에 지식과 의미를 추가하고 싶으십니까? 데이터 품질 분석을 개선하고 싶으십니까? |
| Knowledge Accelerators | 사전 정의된 거버넌스 아티팩트 세트를 가져와서 데이터 분류, 규제 준수, 셀프 서비스 분석, 기타 거버넌스 운영을 개선하세요. | 비즈니스 이슈, 비즈니스 성과, 업계 표준, 규정을 설명하기 위해서는 표준 어휘가 필요합니다. 미리 만들어진 거버넌스 아티팩트를 가져와서 시간을 절약하고 싶으십니까? |
예: 골든 뱅크의 비즈니스 어휘
골든 뱅크의 거버넌스 팀 리더는 팀이 만들 계획인 거버넌스 아티팩트를 담을 카테고리 인 Banking을 만드는 것으로 시작합니다. 팀 리더는 나머지 거버넌스 팀원들을 편집자 역할이 있는 뱅킹 카테고리에 공동 작업자로 추가하여 거버넌스 아티팩트를 만들 수 있는 권한을 부여합니다. 그런 다음, 팀 리더는 각 유형의 아티팩트를 만드는 책임을 다른 팀원이 맡도록 워크플로를 구성합니다. 모든 작업 흐름에는 팀 리더의 승인 단계가 필요합니다.
한 관리팀 구성원이 스프레드시트에서 일련의 비즈니스 용어를 가져옵니다. 일부 비즈니스 용어는 개인 고객의 직업과 관련이 있습니다. 또 다른 팀원이 직업 목록이 포함된 참조 데이터 세트 "직업"을 만듭니다. 각 직업에는 ID 번호가 있습니다. 세 번째 팀원은 참조 데이터 세트를 기반으로 개인 고객의 직업을 식별하기 위해 사용자 정의 데이터 클래스인 "직업"을 만듭니다.
2. 데이터 보호를 위한 규칙 정의
다음 단계에서는 팀이 누가 어떤 데이터를 볼 수 있는지를 통제함으로써 데이터 프라이버시 규정을 준수할 수 있는 규칙을 정의합니다. 팀이 데이터 보호 규칙을 만들어 관리되는 카탈로그의 데이터를 보호하는 방법을 정의합니다. 팀에서는 이러한 데이터 보호 규칙을 사용하여 데이터의 내용, 형식 또는 의미 또는 데이터에 액세스하는 사용자의 신원을 기반으로 민감한 데이터를 숨길 수 있습니다.
| 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 데이터 보호 규칙 | 데이터에 대한 액세스를 거부하거나, 데이터 값을 마스킹하거나, 데이터 자산의 행을 필터링하여 관리되는 카탈로그의 민감한 정보가 무단 액세스되지 않도록 보호합니다. 사용자 정의 세분화된 수준에서 관리되는 카탈로그의 데이터를 동적으로 일관되게 마스킹합니다. |
관리되는 카탈로그 전체에 걸쳐 데이터 프라이버시를 자동으로 적용해야 합니다. 데이터의 가용성과 유용성을 유지하면서 동시에 개인정보 보호 규정을 준수해야 합니다. |
| 마스킹 플로우 | 생산 데이터의 사본이나 하위 집합을 추출할 때는 고급 포맷 보존 데이터 마스킹 기능을 사용하십시오. | 데이터 무결성을 유지하는 익명화된 훈련 데이터와 테스트 세트가 필요합니다. |
| 정책과 거버넌스 규칙 | 데이터 보안에 대한 조직의 지침, 규정, 표준 또는 절차를 설명하고 문서화하십시오. 거버넌스 정책을 구현하기 위해 필요한 행동 또는 조치를 설명하십시오. |
데이터를 사용하는 사람들이 데이터 거버넌스 정책을 이해하기를 원합니다. |
예: 골든 뱅크의 데이터 보호 규칙
모기지 승인을 위한 예측 모델을 만들기 위해 골든 뱅크의 데이터 과학자들은 민감한 데이터가 포함된 데이터 세트에 액세스할 수 있어야 합니다. 예를 들어, 데이터 과학자들이 사회보장번호가 포함된 열을 포함하는 모기지 신청자에 대한 데이터가 있는 테이블에 액세스하려고 합니다.
거버넌스 팀원이 사회보장번호를 가리는 데이터 보호 규칙을 만듭니다. 데이터 자산의 열에 할당된 데이터 클래스가 "미국 사회보장번호"인 경우, 해당 열의 값은 10개의 엑스(X)로 대체됩니다.
거버넌스 팀원이 데이터 보호 규칙을 포함하는 정책을 만듭니다. 이 정책은 규칙을 시행하는 사업상의 이유를 설명합니다.
3. 카탈로그에서 공유할 데이터를 관리합니다
데이터 스튜어드는 프로젝트에서 고품질의 데이터 자산을 관리하고, 데이터를 필요로 하는 사람들이 찾을 수 있는 카탈로그에 데이터를 게시합니다. 데이터 스튜어드는 거버넌스 아티팩트를 데이터에 대한 메타데이터로 지정하여 데이터 자산을 풍부하게 합니다. 이 메타데이터는 데이터를 설명하고 데이터에 대한 의미 검색을 가능하게 합니다.
| 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| Metadata import | 데이터 자산 생성을 위해 연결과 관련된 데이터의 기술 메타데이터를 자동으로 가져옵니다. | 데이터 소스에서 많은 데이터 자산을 생성해야 합니다. 이전에 가져온 데이터 자산을 새로 고쳐야 합니다. |
| 메타데이터 강화 | 단 한 번의 실행으로 여러 데이터 자산을 프로파일링하여 데이터 클래스를 자동으로 할당하고 데이터 유형과 열의 형식을 식별합니다. 자산에 비즈니스 용어를 자동으로 할당하고 데이터 분류를 기반으로 용어 제안을 생성합니다. 데이터 자산의 변화를 발견하고 평가하기 위해 일정 간격으로 가져오기 및 보강 작업을 다시 실행합니다. |
가져온 많은 데이터 자산을 큐레이션하고 게시해야 합니다. |
| 데이터 품질 분석 | 데이터 세트에 대한 데이터 품질 검사를 실행하여 데이터의 품질 문제를 스캔합니다. 콘텐츠와 데이터 구조의 변경 사항을 지속적으로 추적하고 변경된 데이터를 반복적으로 분석합니다. |
데이터의 품질이 데이터 분석 또는 모델의 정확성에 영향을 미칠 수 있는지 여부를 알아야 합니다. 사용자는 어떤 데이터 세트를 수정해야 하는지 식별해야 합니다. |
| 데이터 계보 | 원점에서 소비에 이르기까지의 데이터 흐름을 추적, 시각화, 변형, 최적화하세요. | 데이터의 이동 경로를 매핑하여 정확성, 신뢰성, 규정 준수를 보장해야 합니다. |
| IBM Match 360 | IBM Match 360 의 구성 도구를 사용하면 데이터 엔지니어는 기업 전체의 다양한 시스템에서 고객 데이터를 수집하고 수천 개의 속성을 수동으로 매핑하지 않고도 자동으로 생성된 사용자 정의 가능한 데이터 모델을 볼 수 있습니다. 데이터가 IBM Match 360 에 로드된 후 데이터 엔지니어는 매칭 알고리즘을 실행하여 풍부한 마스터 데이터 엔티티를 생성할 수 있습니다. |
사용자는 신뢰할 수 있는 단일 통합 데이터 보기를 구축하기 위해 조정하고 훈련할 수 있는 지능형 매칭 알고리즘을 사용하고자 합니다. |
예: 골든 뱅크의 데이터 큐레이션
거버넌스 팀의 데이터 관리자들은 프로젝트에 데이터 자산을 만들기 위해 메타데이터를 가져오기 시작합니다. 메타데이터를 가져온 후, 골든 뱅크는 "ID"라는 이름의 열이 있는 테이블을 나타내는 두 개의 데이터 자산을 갖게 됩니다. 메타데이터 보강 후, 해당 열은 할당된 메타데이터에 따라 명확하게 구분됩니다
- 한 열에는 비즈니스 용어인 "직업"과 "전문직"이 할당되고, 데이터 클래스 "전문직"이 할당됩니다.
- 다른 열에는 비즈니스 용어인 "개인 식별자"와 "개인"이 할당되고, 데이터 클래스에는 "미국 사회보장번호"가 할당됩니다.
데이터 관리자는 데이터 자산에 대한 데이터 품질 분석을 실행하여 전체 데이터 품질 점수가 골든 뱅크 기준치인 95%를 초과하는지 확인합니다.
거버넌스 팀 리더는 "모기지 승인 카탈로그"라는 카탈로그를 만들고, 데이터 스튜어드와 데이터 과학자를 카탈로그 공동 작업자로 추가합니다. 데이터 관리자는 프로젝트에서 생성한 데이터 자산을 카탈로그에 게시합니다.
4. 데이터 공유 또는 작업
카탈로그는 팀원들이 데이터를 이해하는 데 도움이 되고, 올바른 데이터를 올바른 용도로 사용할 수 있도록 해줍니다. 데이터 과학자 및 다른 유형의 사용자는 기업 액세스 및 데이터 보호 정책을 준수하면서 필요한 데이터를 스스로 이용할 수 있습니다. 그들은 카탈로그의 데이터 자산을 프로젝트에 추가할 수 있으며, 프로젝트에서 협력하여 데이터를 준비, 분석, 모델링합니다.
| 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| Catalogs | 조직의 공동 작업자들 사이에서 공유할 자산을 정리하세요. AI 기반의 의미 검색과 추천 기능을 활용하여 사용자가 필요한 것을 찾을 수 있도록 도와주세요. |
사용자들이 고품질 데이터를 쉽게 이해하고, 협업하고, 보강하고, 액세스할 수 있어야 합니다. 데이터의 가시성과 비즈니스 사용자 간의 협업을 향상시키고 싶으십니까? 사용자들이 데이터의 물리적 형식이나 위치를 이해하지 않고, 데이터를 이동하거나 복사하지 않고도 데이터를 보고, 액세스하고, 조작하고, 분석할 수 있어야 합니다. 사용자가 자산을 평가하고 검토하여 자산을 강화할 수 있도록 하십시오. |
| 글로벌 검색 | 접근 권한이 있는 모든 프로젝트, 카탈로그, 배포 공간에서 자산을 검색합니다. 접근 권한이 있는 카테고리에서 거버넌스 아티팩트를 검색합니다. |
데이터나 다른 유형의 자산, 거버넌스 아티팩트를 찾아야 합니다. |
| Data Product Hub | 데이터 제품 공유; 데이터 생산자는 선별된 데이터 제품을 게시하여 커뮤니티의 데이터 소비자와 공유할 수 있으며, 데이터 소비자는 비즈니스 요구에 맞게 데이터 제품에 쉽게 액세스할 수 있습니다. | 데이터가 풍부한 자산을 패키징하고, 상품화하고, 공유해야 합니다. |
| Data Refinery | 데이터를 정리하여 부정확하거나, 불완전하거나, 형식이 잘못되었거나, 중복된 데이터를 수정하거나 제거합니다. 데이터를 필터링, 정렬, 결합 또는 열 제거를 통해 사용자 정의할 수 있도록 만듭니다. |
데이터의 품질이나 유용성을 개선해야 합니다. |
예: 골든 뱅크의 카탈로그
데이터 과학자들은 카탈로그에서 필요한 데이터 자산을 찾아 프로젝트에 복사합니다. 데이터 과학자들은 프로젝트에서 데이터를 정제하여 모델 훈련을 준비할 수 있습니다.
데이터 인텔리전스 튜토리얼
| Tutorial | 설명 | 학습서에 대한 전문 지식 |
|---|---|---|
| 고품질 데이터 관리 | 데이터를 풍부하게 하고 데이터 품질 분석을 실행하여 고품질의 데이터 자산을 만드십시오. | Metadata import 와 메타데이터 강화 도구를 실행합니다. |
| 데이터 보호 | Cloud Pak for Data as a Service 에서 데이터에 대한 액세스를 제어합니다. | 데이터 보호 규칙을 만듭니다. |
| 데이터 소비 | 데이터를 찾고, 형태를 만들고, 분석합니다. | 카탈로그를 살펴보고, 카탈로그 실행( Data Refinery ) 도구를 실행해 보세요. |
| 가상화된 데이터 관리 | 가상화된 데이터를 강화하고 가상 데이터가 보호되도록 하십시오. | Data Virtualization 의 인터페이스, 프로젝트, 카탈로그를 사용하여 가상화된 데이터를 관리하십시오. |
| 360도 뷰 구성 | 데이터를 설정, 매핑, 모델링하여 고객에 대한 통합된 보기를 만듭니다. | Match 360 의 드래그 앤 드롭 인터페이스를 사용하여 통합 보기를 구성하십시오. |
데이터 인텔리전스에 대해 자세히 알아보기
상위 주제: 사용 사례