Machine Learning - есть кто вопросом занимался ?

[borei]

Вопросом этим кто занимался ?
Для меня тема полностью новая. Начал начитывать материал - сильно много всего, заблудился. Если кто может дать дирекшн в направлении machine learning в приложении обработки данных мониторинга было бы круто. Это как говорится прямое применение для моего проэкта, более широкая область - предсказание поведения системы на основе данных о системе - это блин звучит сильно широко. Лучше я пока локализовать задачу не могу.

[LeoV]

-- Понятно. Нефть ищите?

[borei]

нет не нефть.
дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп

[Marmot]

Для machine learning надо big data, реально big... Скорее всего у вас стока нету...

[borei]

Для machine learning надо big data, реально big... Скорее всего у вас стока нету...

Это вопрос количественный. Мне надо ухватить принципиальную идею. Да и не нужны чудовищные объемы. Тот же байесс фильтр обучается на 10к сэмплах. Для одного сервера я могу получить около 2-3 к сэмплов в день.

[Stanislav]

дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп

Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная.

[borei]

дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп

Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная.

Да это я согласен. Я ищу более проэктив апроач.

[putanik]

те из моих знакомых кто вплотную занимается распознаванием речи, потратили годы чтоб хоть что-то понять. что не возьми GMM / DNN / LDA / etc - все реально сложно. нет там "простой" идеи вроде Байеса в которую можно один раз врубиться, и дальше все сразу станет понятно.

[Проф. Преображенский]

Там есть одна простая (хм) идея - нейронные сети. Deep learning.

[Leo Gan]

Вот здесь ответы посмотри посмотри https://www.quora.com/How-do-I-learn-machine-learning-1 Особенно на ответ Xavier Amatriain.
Однозначно надо начать с курса Andrew Ng на Coursera or Youtube. Потом курс Jeoffrey Hinton тоже на Coursera.
Надо сразу предупредить, что придется писать на Python or R, хотя кое-что есть на Java and .NET.
С практической стороны: сейчас стоит учить Keras on Python (это обертка для Tensorflow and Theano). scikit-learn пакет для Python. Azure ML тоже хорош для реальных проектов, CNTK (MSFT). И часть задач покрыта готовыми решениями от MSFT, Google. Это распознавание речи, изображений, текстов. Готовые библиотеки и сервисы, особо ничего учить не надо. Посмотри их обязательно.

[borei]

Leo Gan, да я нашёл эти курсы пока плотно не взялся, в цейтнот попал. Спасибо за наводку.