Machine Learning - есть кто вопросом занимался ?

Все, что вы хотели знать о программизме, но боялись спросить.
borei
Маньяк
Сообщения: 3526
Зарегистрирован: 18 авг 2008, 14:51

Machine Learning - есть кто вопросом занимался ?

Сообщение borei » 07 фев 2017, 20:07

Вопросом этим кто занимался ?
Для меня тема полностью новая. Начал начитывать материал - сильно много всего, заблудился. Если кто может дать дирекшн в направлении machine learning в приложении обработки данных мониторинга было бы круто. Это как говорится прямое применение для моего проэкта, более широкая область - предсказание поведения системы на основе данных о системе - это блин звучит сильно широко. Лучше я пока локализовать задачу не могу.

Аватара пользователя
LeoV
Графоман
Сообщения: 5640
Зарегистрирован: 02 июн 2012, 15:41
Откуда: у парня испанская грусть?
Контактная информация:

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение LeoV » 07 фев 2017, 20:44

-- Понятно. Нефть ищите?

borei
Маньяк
Сообщения: 3526
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei » 07 фев 2017, 21:24

нет не нефть.
дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп

Аватара пользователя
Marmot
Графоман
Сообщения: 28837
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Vancouver

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Marmot » 08 фев 2017, 13:56

Для machine learning надо big data, реально big... Скорее всего у вас стока нету...

borei
Маньяк
Сообщения: 3526
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei » 08 фев 2017, 14:37

Marmot:Для machine learning надо big data, реально big... Скорее всего у вас стока нету...

Это вопрос количественный. Мне надо ухватить принципиальную идею. Да и не нужны чудовищные объемы. Тот же байесс фильтр обучается на 10к сэмплах. Для одного сервера я могу получить около 2-3 к сэмплов в день.

Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 29014
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Westminster

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Stanislav » 09 фев 2017, 10:06

borei:дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп

Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная. :roll:

borei
Маньяк
Сообщения: 3526
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei » 09 фев 2017, 11:18

Stanislav:
borei:дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп

Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная. :roll:

Да это я согласен. Я ищу более проэктив апроач.

putanik
Пользователь
Сообщения: 117
Зарегистрирован: 12 мар 2012, 05:29

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение putanik » 10 фев 2017, 15:10

те из моих знакомых кто вплотную занимается распознаванием речи, потратили годы чтоб хоть что-то понять. что не возьми GMM / DNN / LDA / etc - все реально сложно. нет там "простой" идеи вроде Байеса в которую можно один раз врубиться, и дальше все сразу станет понятно.

Аватара пользователя
Проф. Преображенский
Графоман
Сообщения: 19099
Зарегистрирован: 08 ноя 2006, 11:10

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Проф. Преображенский » 11 фев 2017, 14:40

Там есть одна простая (хм) идея - нейронные сети. Deep learning.

Аватара пользователя
Leo Gan
Маньяк
Сообщения: 1734
Зарегистрирован: 29 апр 2005, 16:55
Откуда: где-то рядом с пылинкой по имени Солнце
Контактная информация:

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Leo Gan » 01 мар 2017, 17:28

Вот здесь ответы посмотри посмотри https://www.quora.com/How-do-I-learn-machine-learning-1 Особенно на ответ Xavier Amatriain.
Однозначно надо начать с курса Andrew Ng на Coursera or Youtube. Потом курс Jeoffrey Hinton тоже на Coursera.
Надо сразу предупредить, что придется писать на Python or R, хотя кое-что есть на Java and .NET.
С практической стороны: сейчас стоит учить Keras on Python (это обертка для Tensorflow and Theano). scikit-learn пакет для Python. Azure ML тоже хорош для реальных проектов, CNTK (MSFT). И часть задач покрыта готовыми решениями от MSFT, Google. Это распознавание речи, изображений, текстов. Готовые библиотеки и сервисы, особо ничего учить не надо. Посмотри их обязательно.

borei
Маньяк
Сообщения: 3526
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei » 17 мар 2017, 14:20

Leo Gan, да я нашёл эти курсы пока плотно не взялся, в цейтнот попал. Спасибо за наводку.


Вернуться в «Программизм»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя