Data Virtualization 입력 쿼리 집합을 사용하여 입력 쿼리의 성능을 개선하고 향후 쿼리 워크로드에 잠재적으로 도움이 될 수 있는 데이터 캐시의 순위가 매겨진 목록을 추천합니다.
입력 쿼리는 이전 1일 동안 이전 15일까지 실행된 쿼리이며 실행 시간이 1분 이상이어야 합니다. 권장사항은 쿼리 워크로드가 변경될 때 변경할 수 있는 1일 동안 유효한 것으로 간주됩니다.
캐시 권장사항 엔진은 두 개의 모델을 사용하여 권장사항을 생성합니다.
규칙 기반 모델은 정교한 추론을 사용하여 입력 조회 워크로드를 지원하는 캐시 후보를 판별합니다.
머신 러닝 기반 모델은 기본 조회 패턴을 발견하고 잠재적인 향후 조회 워크로드를 지원하는 캐시를 예측하는 사전 학습된 머신 러닝 모델을 사용합니다.
두 모델은 모두 이 엔진에 의해 통합되어 최종 권장사항 세트를 생성하는 캐시 후보의 순위 목록을 생성합니다. 머신 러닝 기반 캐시 권장사항을 사용 또는 사용 안함으로 설정하도록 선택할 수 있습니다. 기본적으로 머신 러닝 기반 캐시 권장사항은 사용으로 설정되어 있습니다.
이 엔진은 캐시 작성 권장사항 외에도 과거의 사용량 및 기타 메트릭에 따라 캐시를 사용 안함으로 설정하도록 권장하고 권장사항을 삭제할 수도 있습니다. 이러한 권장사항은 기존 캐시의 활성 및 비활성 캐시 탭에 표시됩니다.
머신 러닝 기반 캐시 권장사항은 기본 쿼리 패턴을 고려하며 1일 동안 유효한 캐시를 예측합니다.
Data Virtualization 업계 표준 데이터 세트에 대해 학습된 사전 학습된 모델을 사용합니다.
머신 러닝 기반 캐시 권장사항을 사용 또는 사용 안함으로 설정하도록 선택할 수 있습니다.
이 권장사항 엔진은 양쪽 모델의 최종 권장사항 세트를 통합하여 순위를 지정합니다. 그런 다음 관리자 는 이러한 권장사항에서 데이터 캐시를 추가할 수 있습니다.
Data Virtualization 순위가 매겨진 추천 목록을 생성하는 엔진을 제공합니다. 캐시 작성 권장사항의 순위는 쿼리의 실행 시간, 입력 워크로드에서의 해당 쿼리 빈도 및 두 모델의 가중치에 의해 결정됩니다. 엔진은 완전히 인식되며 존재하는 캐시의 작성을 권장하지 않습니다. 또한 이 엔진은 중복 캐시의 작성을 권장하지 않습니다.
캐시 권장사항을 생성하는 프로세스는 다음 이미지와 같이 5개의 스테이지로 구성되어 있습니다.
그림 1. 캐시 권장사항 프로세스 개요
요약
캐시 권장사항 엔진은 제공된 기간 동안 조회 텍스트, 실행 시간, 카디낼리티, 시간소인 및 빈도와 같은 정보를 수집합니다.
다음 이미지는 히스토리 워크로드의 조회를 필터링하여 권장사항 엔진에 대한 최종 조회 입력 세트에 도달하는 방법을 보여줍니다.그림 2. 캐시 권장사항 프로세스의 콜렉션 스테이지입니다.
캐시 구성 설정은 Data Virtualization관리자에 의해 정의되며, 자세한 내용은 캐시 권장 사항 구성을 참조하세요.
추출
권장사항 엔진에서 입력 조회 워크로드에 대한 잠재적인 캐시 후보를 생성합니다.
변환
권장사항 엔진은 후보를 변환하고 통합하여 후보가 구문 및 시맨틱적으로 올바르고 고유하며 모든 Db2® 제한사항을 전달하는지 확인합니다.
평가
엔진은 입력 쿼리 워크로드에 대해 각 캐시 후보를 일치시켜 변환된 정의를 평가합니다. 또한, 기계 학습 모델을 스코어링하기 위해, 각각의 후보에 대해 고차원 피처 벡터가 생성됩니다.그림 3. 캐시 권장사항 프로세스의 평가 스테이지입니다.
이 평가의 결과로 권장사항 엔진은 각각의 캐시 후보에 대한 일치 점수를 생성합니다. 각 후보의 평가는 다음 기준에 따라 결정됩니다.
매치력 캐시 후보와 일치하는 쿼리 수입니다.
다양성 캐시 후보와 일치하는 다른 쿼리.
카디낼리티 캐시 후보가 페치한 결과 세트의 크기.
성능 캐시 후보가 일치하는 쿼리의 실행 시간입니다.
순위 및 정렬
권장사항 엔진은 최종 권장사항 목록을 생성하기 위해 캐시 후보의 순위를 지정하고 정렬합니다. 권장사항의 최종 목록은 다음 기준에 따라 작성됩니다.
일치한 조회의 실행 시간 및 빈도에 대한 가중치 메트릭을 사용하여 후보를 정렬합니다.
후보 간의 순위가 동일한 경우 조회 빈도 및 카디낼리티를 사용하여 순위를 구분합니다.
그림 4. 캐시 권장사항 프로세스에서 등급 지정 및 정렬 스테이지.
주제가 도움이 되었습니까?
0/1000
Focus sentinel
Focus sentinel
Focus sentinel
Focus sentinel
Focus sentinel
Cloud Pak for Data relationship map
Use this interactive map to learn about the relationships between your tasks, the tools you need, the services that provide the tools, and where you use the tools.
Select any task, tool, service, or workspace
You'll learn what you need, how to get it, and where to use it.
Tasks you'll do
Some tasks have a choice of tools and services.
Tools you'll use
Some tools perform the same tasks but have different features and levels of automation.
Create a notebook in which you run Python, R, or Scala code to prepare, visualize, and analyze data, or build a model.
Automatically analyze your tabular data and generate candidate model pipelines customized for your predictive modeling problem.
Create a visual flow that uses modeling algorithms to prepare data and build and train a model, using a guided approach to machine learning that doesn’t require coding.
Create and manage scenarios to find the best solution to your optimization problem by comparing different combinations of your model, data, and solutions.
Create a flow of ordered operations to cleanse and shape data. Visualize data to identify problems and discover insights.
Automate the model lifecycle, including preparing data, training models, and creating deployments.
Work with R notebooks and scripts in an integrated development environment.
Create a federated learning experiment to train a common model on a set of remote data sources. Share training results without sharing data.
Deploy and run your data science and AI solutions in a test or production environment.
Find and share your data and other assets.
Import asset metadata from a connection into a project or a catalog.
Enrich imported asset metadata with business context, data profiling, and quality assessment.
Measure and monitor the quality of your data.
Create and run masking flows to prepare copies of data assets that are masked by advanced data protection rules.
Create your business vocabulary to enrich assets and rules to protect data.
Track data movement and usage for transparency and determining data accuracy.
Track AI models from request to production.
Create a flow with a set of connectors and stages to transform and integrate data. Provide enriched and tailored information for your enterprise.
Create a virtual table to segment or combine data from one or more tables.
Measure outcomes from your AI models and help ensure the fairness, explainability, and compliance of all your models.
Replicate data to target systems with low latency, transactional integrity and optimized data capture.
Consolidate data from the disparate sources that fuel your business and establish a single, trusted, 360-degree view of your customers.
Services you can use
Services add features and tools to the platform.
Develop powerful AI solutions with an integrated collaborative studio and industry-standard APIs and SDKs. Formerly known as Watson Studio.
Quickly build, run and manage generative AI and machine learning applications with built-in performance and scalability. Formerly known as Watson Machine Learning.
Discover, profile, catalog, and share trusted data in your organization.
Create ETL and data pipeline services for real-time, micro-batch, and batch data orchestration.
View, access, manipulate, and analyze your data without moving it.
Monitor your AI models for bias, fairness, and trust with added transparency on how your AI models make decisions.
Provide efficient change data capture and near real-time data delivery with transactional integrity.
Improve trust in AI pipelines by identifying duplicate records and providing reliable data about your customers, suppliers, or partners.
Increase data pipeline transparency so you can determine data accuracy throughout your models and systems.
Where you'll work
Collaborative workspaces contain tools for specific tasks.
Where you work with data.
> Projects > View all projects
Where you find and share assets.
> Catalogs > View all catalogs
Where you deploy and run assets that are ready for testing or production.
> Deployments
Where you manage governance artifacts.
> Governance > Categories
Where you virtualize data.
> Data > Data virtualization
Where you consolidate data into a 360 degree view.
이 평가의 결과로 권장사항 엔진은 각각의 캐시 후보에 대한 일치 점수를 생성합니다. 각 후보의 평가는 다음 기준에 따라 결정됩니다.