머신러닝 팀은 델타 레이크 레이크하우스에 있는 CDF(Change Data Feed)가 활성화된 customer_churn_params 테이블을 이탈 예측에 사용합니다. 이 테이블에는 여러 상위 소스에서 가져온 고객 정보가 포함되어 있습니다. 현재 데이터 엔지니어링 팀은 상위 데이터 소스에서 가져온 최신 유효 값으로 테이블을 덮어쓰는 방식으로 매일 밤 이 테이블을 업데이트하고 있습니다. 머신러닝 팀에서 사용하는 이탈 예측 모델은 프로덕션 환경에서 상당히 안정적입니다. 팀은 지난 24시간 동안 변경된 레코드에 대해서만 예측을 수행하는 데 관심이 있습니다. 이러한 변경된 레코드를 더 쉽게 식별할 수 있는 접근 방식은 무엇일까요?

• A. 배치 작업을 전체 출력 모드를 사용하는 구조화된 스트리밍 작업으로 변환합니다. 구조화된 스트리밍 작업이 customer_churn_params 테이블에서 데이터를 읽어 이탈 모델을 기반으로 점진적으로 예측하도록 구성합니다.
• B. 데이터가 기록될 때 current_timestamp()를 호출하여 채워지는 필드를 포함하도록 덮어쓰기 로직을 ​​수정합니다. 이 필드를 사용하여 특정 날짜에 기록된 레코드를 식별합니다.
• C. 현재의 덮어쓰기 로직을 ​​변경된 레코드만 수정하는 MERGE 문으로 대체하고, 변경 데이터 피드에서 식별된 변경된 레코드에 대한 예측 로직을 작성합니다.
• D. customer_churn_params 테이블의 모든 행에 이탈 예측 모델을 적용하되, 예측값이 변경되지 않은 행은 무시하고 예측 테이블에 업서트하는 로직을 구현하십시오.

Databricks SQL 대시보드가 ​​다음 쿼리 패턴을 사용하여 Delta Lake 테이블 모음에 있는 총 레코드 수를 모니터링하도록 구성되었습니다.
테이블에서 COUNT(*)를 선택합니다 -
다음 중 대시보드가 ​​업데이트될 때마다 결과가 생성되는 방식을 설명하는 것은 무엇입니까?

• A. 전체 레코드 수는 파케트 파일 메타데이터를 기반으로 계산됩니다.
• B. 전체 행 수는 모든 데이터 파일을 스캔하여 계산됩니다.
• C. 전체 레코드 수는 Hive 메타스토어에서 계산됩니다.
• D. 새로 고침(REFRESH)을 실행하지 않으면 캐시된 결과에서 총 행 수가 반환됩니다.
• E. 총 레코드 수는 Delta 거래 로그에서 계산됩니다.

Databricks CLI는 job_id 매개변수를 전달하여 기존 작업을 실행하는 데 사용됩니다. 작업 실행 요청이 성공적으로 제출되었음을 나타내는 응답에는 run_id 필드가 포함됩니다. 이 필드 옆에 있는 숫자가 무엇을 나타내는지 설명하는 문장은 무엇입니까?

• A. 새로 시작된 실행의 전역적으로 고유한 ID입니다.
• B. 이 필드에 job_id가 반환됩니다.
• C. 작업 ID와 작업 실행 횟수를 연결하여 반환합니다.
• D. 이 워크스페이스에서 작업 정의가 실행된 횟수입니다.

머신러닝 팀은 델타 레이크 레이크의 레이크하우스에 있는 customer_parsams라는 테이블을 고객 이탈 예측에 사용합니다. 이 테이블에는 여러 상위 소스에서 가져온 고객 정보가 포함되어 있습니다.
현재 데이터 엔지니어링 팀은 상위 데이터 소스에서 가져온 최신 유효 값으로 테이블을 덮어쓰는 방식으로 매일 밤 이 테이블을 업데이트합니다.
데이터 엔지니어 팀은 업데이트가 완료되는 즉시 새 버전과 이전 버전 간의 차이점을 확인하고자 합니다.
현재 구현 방식을 고려할 때, 어떤 방법을 사용할 수 있을까요?

• A. Spark 이벤트 로그를 분석하여 업데이트, 삽입 또는 삭제된 행을 식별합니다.
• B. DESCRIBE HISTORY customer_churn_params 명령을 실행하여 추가되거나 수정된 ​​모든 레코드의 로그를 포함하여 업데이트에 대한 전체 작업 메트릭을 얻으십시오.
• C. Delta Lake의 내장 버전 관리 및 타임 트래블 기능을 사용하여 새 버전과 이전 버전 간의 차이를 계산하는 쿼리를 실행합니다.
• D. Delta Lake 트랜잭션 로그를 분석하여 새로 기록된 모든 데이터 파일을 식별합니다.

시간 단위 배치 작업이 구성되어 클라우드 객체 스토리지 컨테이너에서 데이터 파일을 수집합니다. 각 배치는 해당 시간 동안 소스 시스템에서 생성된 모든 레코드를 나타냅니다. 이러한 레코드를 레이크하우스에 처리하는 배치 작업은 지연된 데이터가 누락되지 않도록 충분한 시간 간격을 두고 실행됩니다. user_id 필드는 데이터의 고유 키이며, 다음과 같은 스키마를 갖습니다.
user_id는 BIGINT, username은 STRING, user_utc는 STRING, user_region은 STRING, last_login은 BIGINT, auto_pay는 BOOLEAN, last_updated는 BIGINT입니다. 모든 새 레코드는 account_history라는 테이블에 입력되며, 이 테이블은 소스와 동일한 스키마에 모든 데이터의 전체 기록을 유지합니다. 시스템의 다음 테이블은 account_current이며, 각 고유 user_id에 대한 최신 값을 나타내는 Type 1 테이블로 구현됩니다.
수백만 개의 사용자 계정과 시간당 수만 건의 레코드가 처리된다고 가정할 때, 매시간 배치 작업의 일부로 설명된 account_current 테이블을 효율적으로 업데이트하는 데 사용할 수 있는 구현 방법은 무엇입니까?

• A. Delta Lake 버전 기록을 사용하여 계정 기록의 최신 버전과 이전 버전 간의 차이점을 가져온 다음 이러한 기록을 계정 현재 상태에 기록합니다.
• B. 자동 로더를 사용하여 계정 기록 디렉터리의 새 파일을 구독하고, 구조화된 스트리밍 트리거를 한 번 실행하여 새로 감지된 파일을 계정 현재 테이블에 일괄 업데이트하도록 구성합니다.
• C. 계정 내역에서 마지막 업데이트 필드와 최근 처리 시간, 그리고 사용자 ID별 최대 마지막 로그인 시간을 기준으로 레코드를 필터링하고, 각 사용자 ID에 대해 가장 최근 값을 업데이트하거나 삽입하는 병합 문을 작성합니다.
• D. 사용자 ID별로 그룹화하고 마지막 업데이트 값의 최댓값을 기준으로 필터링하여 계정 내역 테이블에 대한 쿼리 결과를 사용하여 각 배치마다 계정 현재 테이블을 덮어씁니다.
• E. 계정 내역에서 마지막 업데이트 필드와 최근 처리 시간을 기준으로 레코드를 필터링하고, 사용자 이름이 중복되지 않도록 합니다. 각 사용자 이름에 대해 최신 값을 업데이트하거나 삽입하는 병합 문을 작성하세요.