Ускорить grep

Все, что вы хотели знать о программизме, но боялись спросить.
Аватара пользователя
nemiga
Маньяк
Сообщения: 2425
Зарегистрирован: 02 сен 2006, 19:05
Откуда: Minsk -> Seoul -> Ottawa

Re: Grep vs. fgrep

Сообщение nemiga »

sobomax писал(а):Хм тогда действительно странно. Лог то пустяковый по размеру. Скорость обработки получается порядка 70kB/sec. Может причина где-то в другом?
-Maxim
Я думаю, в том, что сервер сильно расшарен. Потому что ночью, бывает, проходит и за 40 минут, а днем, как на крути, меньше трех часов не выходит.

.
Аватара пользователя
sobomax
Маньяк
Сообщения: 3699
Зарегистрирован: 29 июн 2006, 22:53
Откуда: Vancouver

Re: Grep vs. fgrep

Сообщение sobomax »

nemiga писал(а):Я думаю, в том, что сервер сильно расшарен. Потому что ночью, бывает, проходит и за 40 минут, а днем, как на крути, меньше трех часов не выходит.
Очень похоже на то, а это значит что оптимизировать надо в другом месте. ;-)

Рекомендую глянуть статискику загрузки диска тогда когда долго обрабатывает (во фре это команда systat -vm, в линуксе не знаю должно быть что-то на тему). Соответвенно решение - вынести логи на отдельный диск.

-Maxim
Аватара пользователя
nemiga
Маньяк
Сообщения: 2425
Зарегистрирован: 02 сен 2006, 19:05
Откуда: Minsk -> Seoul -> Ottawa

Re: Grep vs. fgrep

Сообщение nemiga »

sobomax писал(а):Рекомендую глянуть статискику загрузки диска тогда когда долго обрабатывает (во фре это команда systat -vm, в линуксе не знаю должно быть что-то на тему).

-Maxim
У меня солярка удаленная, доступа к распределению диска нету :-(

.
Аватара пользователя
sobomax
Маньяк
Сообщения: 3699
Зарегистрирован: 29 июн 2006, 22:53
Откуда: Vancouver

Re: Grep vs. fgrep

Сообщение sobomax »

nemiga писал(а):У меня солярка удаленная, доступа к распределению диска нету :-(

.
Ну тогда может помочь автоматическая нарезка логов мелкими кусками их автоматическое-же компресирование с помощью gzip в течении дня. Во фре этим занимается newsyslog, в солярке должно быть что-нибудь похожее. В этом случае дисковый трафик генеримый парсилкой лога уменьшится раз в 10 а соответвенно скорость скорее всего выростет на сравнимую величину.

-Maxim
Ответить