Testing of ETL/DW/BI

[Blue Eyes]

Есть ли у кого собственный опыт в тестировании ETL/DW/BI? Поделитесь пожалуйста, новое для меня направление, в гугле все больше общие слова. Хотелось бы так сказать реалити.

[Gatchinskiy]

какие конкретно вопросы? business requirements (transformation logic for ETL) есть?

[Blue Eyes]

Business requirements почти нет. Данные конвертируются из MySQL в SQL Server при помощи SSIS and stored procedures. Могу посмотреть SSIS package for mapping.
Какие test automation tools можете рекомендовать?
Пока что в голову приходит написать Unit test на С# для сравнения данных из двух баз.

Тестирование OLAP и KPI даже не знаю с чего начать.
Что вы используете по этой части?

[dima]

what ETL tool you are talking about ?
name, version, vendor ...

[Blue Eyes]

ETL tool:
Microsoft Integration Services (SSIS) 2012

[genebest]

For ETL:
put in log file and compare Source RowCount vs Target RowCount

[папа Карло]

For ETL:
put in log file and compare Source RowCount vs Target RowCount

это если без Т. трансормация миожет полностью поменять структуру и кардинальность данных. я тоже не совсм понимаю что аффтар пытается достичь? это какой то тест или ты тестер и у тебя работа такие системы тестировать иил это класс в коледже?

[Blue Eyes]

я тестер, мое задание разобраться как тестировать абсолютно новое для нашей компании направление DW/BI.
Погуглив поняла что мануальным тестом много не покроешь, нужны тулы.
Вопросы:
Какие тулы вы испольуете?
Как вы тестируете? С помощью чего?

[папа Карло]

я тестер, мое задание разобраться как тестировать абсолютно новое для нашей компании направление DW/BI.
Погуглив поняла что мануальным тестом много не покроешь, нужны тулы.
Вопросы:
Какие тулы вы испольуете?
Как вы тестируете? С помощью чего?

ИТЛ это таой же код как и все остальное. тестировать можно хоть мстестом, хоть нюнитом.ю проверяшь в основном правила трансформации ну и код который тягает данные и которые их загружает. если требования на систему нормально написаны, то собственно требования и тестируем... если тебе надо мерять _качество_ данных, то это соооовсем другая песня.

ЗЫ я НЕ тестер. я дизайнер этих варехаузов и прочих дата систем ежеле чего.

[Meadie]

я тестер, мое задание разобраться как тестировать абсолютно новое для нашей компании направление DW/BI.
Погуглив поняла что мануальным тестом много не покроешь, нужны тулы.
Вопросы:
Какие тулы вы испольуете?
Как вы тестируете? С помощью чего?

Пока вы не разберетесь с тем, ЧТО надо тестировать - вопросы КАК это делать, и какой тул для этого использовать, имеют мало смысла:)

Многое зависит от того, как часто вам нужно будет запускать эти тесты - т.е. являются ли они одноразовыми или используются для регрессионного тестирования.
Если планируется достаточно большое количество тест кейсов (тысячи+) или используется рандомизация, то нужно озаботится удобным фреймворком для выполнения тестов и отчетности.
Выполнение тестов может потребовать большой предварительной работы по подготовке данных (или использование бэкапов) и т.д.

Если у вас уже есть мануальные тесты - попробуйте начать с их автоматизации.

[Kate]

Если 2012 сервер, то гугл Data Quality Services and Master Data Services. Удачи!

[Blue Eyes]

Спасибо, всем кто откликнулся.
Учту все выше сказанное.
Data Quality Services and Master Data Services это для девелопмент, если я правильно поняла