Каморка

Есть ли у кого собственный опыт в тестировании ETL/DW/BI? Поделитесь пожалуйста, новое для меня направление, в гугле все больше общие слова. Хотелось бы так сказать реалити.

какие конкретно вопросы? business requirements (transformation logic for ETL) есть?

Business requirements почти нет. Данные конвертируются из MySQL в SQL Server при помощи SSIS and stored procedures. Могу посмотреть SSIS package for mapping.
Какие test automation tools можете рекомендовать?
Пока что в голову приходит написать Unit test на С# для сравнения данных из двух баз.

Тестирование OLAP и KPI даже не знаю с чего начать.
Что вы используете по этой части?

what ETL tool you are talking about ?
name, version, vendor ...

ETL tool:
Microsoft Integration Services (SSIS) 2012

For ETL:
put in log file and compare Source RowCount vs Target RowCount

genebest писал(а):For ETL:
put in log file and compare Source RowCount vs Target RowCount

это если без Т. трансормация миожет полностью поменять структуру и кардинальность данных. я тоже не совсм понимаю что аффтар пытается достичь? это какой то тест или ты тестер и у тебя работа такие системы тестировать иил это класс в коледже?

я тестер, мое задание разобраться как тестировать абсолютно новое для нашей компании направление DW/BI.
Погуглив поняла что мануальным тестом много не покроешь, нужны тулы.
Вопросы:
Какие тулы вы испольуете?
Как вы тестируете? С помощью чего?

Blue Eyes писал(а):я тестер, мое задание разобраться как тестировать абсолютно новое для нашей компании направление DW/BI.
Погуглив поняла что мануальным тестом много не покроешь, нужны тулы.
Вопросы:
Какие тулы вы испольуете?
Как вы тестируете? С помощью чего?

ИТЛ это таой же код как и все остальное. тестировать можно хоть мстестом, хоть нюнитом.ю проверяшь в основном правила трансформации ну и код который тягает данные и которые их загружает. если требования на систему нормально написаны, то собственно требования и тестируем... если тебе надо мерять _качество_ данных, то это соооовсем другая песня.

ЗЫ я НЕ тестер. я дизайнер этих варехаузов и прочих дата систем ежеле чего.

Blue Eyes писал(а):я тестер, мое задание разобраться как тестировать абсолютно новое для нашей компании направление DW/BI.
Погуглив поняла что мануальным тестом много не покроешь, нужны тулы.
Вопросы:
Какие тулы вы испольуете?
Как вы тестируете? С помощью чего?

Пока вы не разберетесь с тем, ЧТО надо тестировать - вопросы КАК это делать, и какой тул для этого использовать, имеют мало смысла:)

Многое зависит от того, как часто вам нужно будет запускать эти тесты - т.е. являются ли они одноразовыми или используются для регрессионного тестирования.
Если планируется достаточно большое количество тест кейсов (тысячи+) или используется рандомизация, то нужно озаботится удобным фреймворком для выполнения тестов и отчетности.
Выполнение тестов может потребовать большой предварительной работы по подготовке данных (или использование бэкапов) и т.д.

Если у вас уже есть мануальные тесты - попробуйте начать с их автоматизации.

Если 2012 сервер, то гугл Data Quality Services and Master Data Services. Удачи!

Спасибо, всем кто откликнулся.
Учту все выше сказанное.
Data Quality Services and Master Data Services это для девелопмент, если я правильно поняла