Страница 2 из 3
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 09:22
Marmot
Stanislav писал(а):
Хм... насколько я помню в бенчах победила не система без журналирования
Склеротик, ext2 наше все atm
Stanislav писал(а): а утилита, которая юзает Raw IO, а не stream IO.
Это уже частности уровня приложения
Stanislav писал(а): А с random disk IO ops кэши хорошо справляются, особенно линуксовские

С разбегу, при таком количестве файлов, и при том, что ты их именно удаляешь, а не пишешь в них, да еще и ведешь журнал, кэш тебе точно не поможет, все упрется именно в random disk IO...
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 09:52
Stanislav
Marmot писал(а):Stanislav писал(а):
Хм... насколько я помню в бенчах победила не система без журналирования
Склеротик, ext2 наше все atm

Разумеется - прочих равных! Но при применении Raw IO производительность резко скаканула и на ехт2
Marmot писал(а):
Stanislav писал(а): а утилита, которая юзает Raw IO, а не stream IO.
Это уже частности уровня приложения
Stanislav писал(а): А с random disk IO ops кэши хорошо справляются, особенно линуксовские

С разбегу, при таком количестве файлов, и при том, что ты их именно удаляешь, а не пишешь в них, да еще и ведешь журнал, кэш тебе точно не поможет, все упрется именно в random disk IO...
А не с разбегу - проблем вот в чем - если rm запихнуть маску - оно кучевряжется и говорит - слишком длинный список файлов! Вот и приходится скармливать по одному имени в скрипте... Вот такие частности уровня приложения

Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 09:57
Marmot
Stanislav писал(а):
Разумеется - прочих равных! Но при применении Raw IO производительность резко скаканула и на ехт2

Дык по той же самой причине, меньшее число random io ops.
Stanislav писал(а):А не с разбегу - проблем вот в чем - если rm запихнуть маску - оно кучевряжется и говорит - слишком длинный список файлов! Вот и приходится скармливать по одному имени в скрипте... Вот такие частности уровня приложения

Там же дали ссылку на find!!! Блин, вот же мышевозы пошли!
Хотя, чего я тут тогда про random io распинаюсь, если человек про find не знает

Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:00
Stanislav
Ну и что же find? Дальше то что?
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:03
Marmot
Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу

Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:05
Stanislav
Marmot писал(а):Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу

Панятна, сразу в кусты...
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:44
Yury
Stanislav писал(а):Marmot писал(а):Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу :)
Панятна, сразу в кусты...
даже геологи знают про -exec
еще пайп ксаргс можно, мне хватило икзека
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:48
Stanislav
Yury писал(а):Stanislav писал(а):Marmot писал(а):Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу

Панятна, сразу в кусты...
даже геологи знают про -exec
Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:51
Yury
Stanislav писал(а):Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
не, это уже геологи не знают, незачем :)
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:52
Marmot
Stanislav писал(а):
Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
Я сейчас точно не помню подробнстей, но там точно можно подсунуть rm-у длинный список файлов, очень сильно сэкономив на числе запуска процессов...
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:57
Stanislav
Marmot писал(а):Stanislav писал(а):
Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
Я сейчас точно не помню подробнстей, но там точно можно подсунуть rm-у длинный список файлов, очень сильно сэкономив на числе запуска процессов...
Там - где? финд тупо выполнает ехек для каждой строки. Единственный путь - в скрипте формировать строку из (опытным путем подобранной длины) файлов и пихать их в rm.
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 10:58
Marmot
Stanislav писал(а):
Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 11:03
Stanislav
Marmot писал(а):Stanislav писал(а):
Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Ну и все равно - пофиг - получишь ту же ошибку rm - слишком длинный список.
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 11:06
Marmot
Stanislav писал(а):Marmot писал(а):Stanislav писал(а):
Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Ну и все равно - пофиг - получишь ту же ошибку rm - слишком длинный список.
Стас, не лезь в бутылу, и не позорься...
Re: Утилита для удаления файлов
Добавлено: 10 мар 2010, 11:44
Stanislav
Marmot писал(а):Stanislav писал(а):Marmot писал(а):Stanislav писал(а):
Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Ну и все равно - пофиг - получишь ту же ошибку rm - слишком длинный список.
Стас, не лезь в бутылу, и не позорься...
Ну и чего? Я вот не вижу принципиальной разницы в использовании разных команд. Никакой супер-интеллектуальности от финд я не жду.
Ты видишь - но об'яснить не хочешь.
Ну вот накоплю миллион файлов и отпишу результаты.