Вопросом этим кто занимался ?
Для меня тема полностью новая. Начал начитывать материал - сильно много всего, заблудился. Если кто может дать дирекшн в направлении machine learning в приложении обработки данных мониторинга было бы круто. Это как говорится прямое применение для моего проэкта, более широкая область - предсказание поведения системы на основе данных о системе - это блин звучит сильно широко. Лучше я пока локализовать задачу не могу.
Machine Learning - есть кто вопросом занимался ?
Правила форума
Пожалуйста, ознакомьтесь с правилами данного форума
Пожалуйста, ознакомьтесь с правилами данного форума
-
- Маньяк
- Сообщения: 4876
- Зарегистрирован: 18 авг 2008, 14:51
- LeoV
- Графоман
- Сообщения: 14497
- Зарегистрирован: 02 июн 2012, 15:41
- Откуда: Графство O'Mан
- Контактная информация:
Re: Machine Learning - есть кто вопросом занимался ?
-- Понятно. Нефть ищите?
-
- Маньяк
- Сообщения: 4876
- Зарегистрирован: 18 авг 2008, 14:51
Re: Machine Learning - есть кто вопросом занимался ?
нет не нефть.
дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
- Marmot
- Графоман
- Сообщения: 38347
- Зарегистрирован: 17 фев 2003, 17:58
- Откуда: Canyon Heights
- Контактная информация:
Re: Machine Learning - есть кто вопросом занимался ?
Для machine learning надо big data, реально big... Скорее всего у вас стока нету...
-
- Маньяк
- Сообщения: 4876
- Зарегистрирован: 18 авг 2008, 14:51
Re: Machine Learning - есть кто вопросом занимался ?
Это вопрос количественный. Мне надо ухватить принципиальную идею. Да и не нужны чудовищные объемы. Тот же байесс фильтр обучается на 10к сэмплах. Для одного сервера я могу получить около 2-3 к сэмплов в день.Marmot писал(а):Для machine learning надо big data, реально big... Скорее всего у вас стока нету...
- Stanislav
- Mr. Minority Report
- Сообщения: 43488
- Зарегистрирован: 19 окт 2005, 16:33
- Откуда: Moscow - Richmond - New Wesт - Burnaby
Re: Machine Learning - есть кто вопросом занимался ?
Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная.borei писал(а): дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
-
- Маньяк
- Сообщения: 4876
- Зарегистрирован: 18 авг 2008, 14:51
Re: Machine Learning - есть кто вопросом занимался ?
Да это я согласен. Я ищу более проэктив апроач.Stanislav писал(а):Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная.borei писал(а): дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
-
- Житель
- Сообщения: 516
- Зарегистрирован: 12 мар 2012, 05:29
Re: Machine Learning - есть кто вопросом занимался ?
те из моих знакомых кто вплотную занимается распознаванием речи, потратили годы чтоб хоть что-то понять. что не возьми GMM / DNN / LDA / etc - все реально сложно. нет там "простой" идеи вроде Байеса в которую можно один раз врубиться, и дальше все сразу станет понятно.
- Проф. Преображенский
- Графоман
- Сообщения: 20276
- Зарегистрирован: 08 ноя 2006, 11:10
Re: Machine Learning - есть кто вопросом занимался ?
Там есть одна простая (хм) идея - нейронные сети. Deep learning.
- Leo Gan
- Маньяк
- Сообщения: 1764
- Зарегистрирован: 29 апр 2005, 16:55
- Откуда: где-то рядом с жёлтым карликом
- Контактная информация:
Re: Machine Learning - есть кто вопросом занимался ?
Вот здесь ответы посмотри посмотри https://www.quora.com/How-do-I-learn-machine-learning-1 Особенно на ответ Xavier Amatriain.
Однозначно надо начать с курса Andrew Ng на Coursera or Youtube. Потом курс Jeoffrey Hinton тоже на Coursera.
Надо сразу предупредить, что придется писать на Python or R, хотя кое-что есть на Java and .NET.
С практической стороны: сейчас стоит учить Keras on Python (это обертка для Tensorflow and Theano). scikit-learn пакет для Python. Azure ML тоже хорош для реальных проектов, CNTK (MSFT). И часть задач покрыта готовыми решениями от MSFT, Google. Это распознавание речи, изображений, текстов. Готовые библиотеки и сервисы, особо ничего учить не надо. Посмотри их обязательно.
Однозначно надо начать с курса Andrew Ng на Coursera or Youtube. Потом курс Jeoffrey Hinton тоже на Coursera.
Надо сразу предупредить, что придется писать на Python or R, хотя кое-что есть на Java and .NET.
С практической стороны: сейчас стоит учить Keras on Python (это обертка для Tensorflow and Theano). scikit-learn пакет для Python. Azure ML тоже хорош для реальных проектов, CNTK (MSFT). И часть задач покрыта готовыми решениями от MSFT, Google. Это распознавание речи, изображений, текстов. Готовые библиотеки и сервисы, особо ничего учить не надо. Посмотри их обязательно.
-
- Маньяк
- Сообщения: 4876
- Зарегистрирован: 18 авг 2008, 14:51
Re: Machine Learning - есть кто вопросом занимался ?
Leo Gan, да я нашёл эти курсы пока плотно не взялся, в цейтнот попал. Спасибо за наводку.