Machine Learning - есть кто вопросом занимался ?

Все, что вы хотели знать о программизме, но боялись спросить.
Ответить
borei
Маньяк
Сообщения: 4865
Зарегистрирован: 18 авг 2008, 14:51

Machine Learning - есть кто вопросом занимался ?

Сообщение borei »

Вопросом этим кто занимался ?
Для меня тема полностью новая. Начал начитывать материал - сильно много всего, заблудился. Если кто может дать дирекшн в направлении machine learning в приложении обработки данных мониторинга было бы круто. Это как говорится прямое применение для моего проэкта, более широкая область - предсказание поведения системы на основе данных о системе - это блин звучит сильно широко. Лучше я пока локализовать задачу не могу.
Аватара пользователя
LeoV
Графоман
Сообщения: 14497
Зарегистрирован: 02 июн 2012, 15:41
Откуда: Графство O'Mан
Контактная информация:

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение LeoV »

-- Понятно. Нефть ищите?
borei
Маньяк
Сообщения: 4865
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei »

нет не нефть.
дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
Аватара пользователя
Marmot
Графоман
Сообщения: 38302
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Canyon Heights
Контактная информация:

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Marmot »

Для machine learning надо big data, реально big... Скорее всего у вас стока нету...
borei
Маньяк
Сообщения: 4865
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei »

Marmot писал(а):Для machine learning надо big data, реально big... Скорее всего у вас стока нету...
Это вопрос количественный. Мне надо ухватить принципиальную идею. Да и не нужны чудовищные объемы. Тот же байесс фильтр обучается на 10к сэмплах. Для одного сервера я могу получить около 2-3 к сэмплов в день.
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 43378
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Stanislav »

borei писал(а): дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная. :roll:
borei
Маньяк
Сообщения: 4865
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei »

Stanislav писал(а):
borei писал(а): дофига показаний надо мониторить, ну и хорошо бы знать когда кто завалится, не выбрасывать false-alarms и тд и тп
Когда я только пришел в теперяшнюю компанию, я получал около 5К Наджиос алармов в неделю, но система консидерилась как нестабильная - было так, что однажды ПРОД завалился 7 раз подряд за неделю, т.е. каждый день. Я все переделал - и сервера и Наджиос - девелы переделали аппликуху - теперь я редко получаю больше 10 алармов в день и система консидерится как стабильная. :roll:
Да это я согласен. Я ищу более проэктив апроач.
putanik
Житель
Сообщения: 516
Зарегистрирован: 12 мар 2012, 05:29

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение putanik »

те из моих знакомых кто вплотную занимается распознаванием речи, потратили годы чтоб хоть что-то понять. что не возьми GMM / DNN / LDA / etc - все реально сложно. нет там "простой" идеи вроде Байеса в которую можно один раз врубиться, и дальше все сразу станет понятно.
Аватара пользователя
Проф. Преображенский
Графоман
Сообщения: 20276
Зарегистрирован: 08 ноя 2006, 11:10

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Проф. Преображенский »

Там есть одна простая (хм) идея - нейронные сети. Deep learning.
Аватара пользователя
Leo Gan
Маньяк
Сообщения: 1764
Зарегистрирован: 29 апр 2005, 16:55
Откуда: где-то рядом с жёлтым карликом
Контактная информация:

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение Leo Gan »

Вот здесь ответы посмотри посмотри https://www.quora.com/How-do-I-learn-machine-learning-1 Особенно на ответ Xavier Amatriain.
Однозначно надо начать с курса Andrew Ng на Coursera or Youtube. Потом курс Jeoffrey Hinton тоже на Coursera.
Надо сразу предупредить, что придется писать на Python or R, хотя кое-что есть на Java and .NET.
С практической стороны: сейчас стоит учить Keras on Python (это обертка для Tensorflow and Theano). scikit-learn пакет для Python. Azure ML тоже хорош для реальных проектов, CNTK (MSFT). И часть задач покрыта готовыми решениями от MSFT, Google. Это распознавание речи, изображений, текстов. Готовые библиотеки и сервисы, особо ничего учить не надо. Посмотри их обязательно.
borei
Маньяк
Сообщения: 4865
Зарегистрирован: 18 авг 2008, 14:51

Re: Machine Learning - есть кто вопросом занимался ?

Сообщение borei »

Leo Gan, да я нашёл эти курсы пока плотно не взялся, в цейтнот попал. Спасибо за наводку.
Ответить