Утилита для удаления файлов

Все, что вы хотели знать о программизме, но боялись спросить.
Аватара пользователя
Marmot
Графоман
Сообщения: 39287
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Marmot »

Stanislav писал(а): Хм... насколько я помню в бенчах победила не система без журналирования
Склеротик, ext2 наше все atm :)
Stanislav писал(а): а утилита, которая юзает Raw IO, а не stream IO.
Это уже частности уровня приложения :)
Stanislav писал(а): А с random disk IO ops кэши хорошо справляются, особенно линуксовские :D
С разбегу, при таком количестве файлов, и при том, что ты их именно удаляешь, а не пишешь в них, да еще и ведешь журнал, кэш тебе точно не поможет, все упрется именно в random disk IO...
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Marmot писал(а):
Stanislav писал(а): Хм... насколько я помню в бенчах победила не система без журналирования
Склеротик, ext2 наше все atm :)
Разумеется - прочих равных! Но при применении Raw IO производительность резко скаканула и на ехт2 :-)
Marmot писал(а):
Stanislav писал(а): а утилита, которая юзает Raw IO, а не stream IO.
Это уже частности уровня приложения :)
Stanislav писал(а): А с random disk IO ops кэши хорошо справляются, особенно линуксовские :D
С разбегу, при таком количестве файлов, и при том, что ты их именно удаляешь, а не пишешь в них, да еще и ведешь журнал, кэш тебе точно не поможет, все упрется именно в random disk IO...
А не с разбегу - проблем вот в чем - если rm запихнуть маску - оно кучевряжется и говорит - слишком длинный список файлов! Вот и приходится скармливать по одному имени в скрипте... Вот такие частности уровня приложения :-)
Аватара пользователя
Marmot
Графоман
Сообщения: 39287
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Marmot »

Stanislav писал(а): Разумеется - прочих равных! Но при применении Raw IO производительность резко скаканула и на ехт2 :-)
Дык по той же самой причине, меньшее число random io ops. :)
Stanislav писал(а):А не с разбегу - проблем вот в чем - если rm запихнуть маску - оно кучевряжется и говорит - слишком длинный список файлов! Вот и приходится скармливать по одному имени в скрипте... Вот такие частности уровня приложения :-)
Там же дали ссылку на find!!! Блин, вот же мышевозы пошли!
Хотя, чего я тут тогда про random io распинаюсь, если человек про find не знает :(
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Ну и что же find? Дальше то что?
Аватара пользователя
Marmot
Графоман
Сообщения: 39287
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Marmot »

Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу :)
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Marmot писал(а):
Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу :)
Панятна, сразу в кусты...
Аватара пользователя
Yury
The L'ony
Сообщения: 26202
Зарегистрирован: 22 янв 2004, 13:48
Откуда: Мирный -> Vancouver
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Yury »

Stanislav писал(а):
Marmot писал(а):
Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу :)
Панятна, сразу в кусты...
даже геологи знают про -exec

еще пайп ксаргс можно, мне хватило икзека
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Yury писал(а):
Stanislav писал(а):
Marmot писал(а):
Stanislav писал(а):Ну и что же find? Дальше то что?
Дальше, открой-ка детка ротик, я тебе сейчас пережеванной колбаски туда положу :)
Панятна, сразу в кусты...
даже геологи знают про -exec
Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
Аватара пользователя
Yury
The L'ony
Сообщения: 26202
Зарегистрирован: 22 янв 2004, 13:48
Откуда: Мирный -> Vancouver
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Yury »

Stanislav писал(а):Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
не, это уже геологи не знают, незачем :)
Аватара пользователя
Marmot
Графоман
Сообщения: 39287
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Marmot »

Stanislav писал(а): Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
Я сейчас точно не помню подробнстей, но там точно можно подсунуть rm-у длинный список файлов, очень сильно сэкономив на числе запуска процессов...
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Marmot писал(а):
Stanislav писал(а): Ну маладца!
Но об'ясни мне, какая принципиальная разница между (с учетом особенностей журналинга на ext3):
find dir_name -exec rm
и
for file in dir_name
rm $file
?
Я сейчас точно не помню подробнстей, но там точно можно подсунуть rm-у длинный список файлов, очень сильно сэкономив на числе запуска процессов...
Там - где? финд тупо выполнает ехек для каждой строки. Единственный путь - в скрипте формировать строку из (опытным путем подобранной длины) файлов и пихать их в rm.
Аватара пользователя
Marmot
Графоман
Сообщения: 39287
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Marmot »

Stanislav писал(а): Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Marmot писал(а):
Stanislav писал(а): Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Ну и все равно - пофиг - получишь ту же ошибку rm - слишком длинный список.
Аватара пользователя
Marmot
Графоман
Сообщения: 39287
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Re: Утилита для удаления файлов

Сообщение Marmot »

Stanislav писал(а):
Marmot писал(а):
Stanislav писал(а): Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Ну и все равно - пофиг - получишь ту же ошибку rm - слишком длинный список.
Стас, не лезь в бутылу, и не позорься...
Аватара пользователя
Stanislav
Mr. Minority Report
Сообщения: 45312
Зарегистрирован: 19 окт 2005, 16:33
Откуда: Moscow - Richmond - New Wesт - Burnaby - PoCo

Re: Утилита для удаления файлов

Сообщение Stanislav »

Marmot писал(а):
Stanislav писал(а):
Marmot писал(а):
Stanislav писал(а): Там - где? финд тупо выполнает ехек для каждой строки.
RTFM, my dear...
Ну и все равно - пофиг - получишь ту же ошибку rm - слишком длинный список.
Стас, не лезь в бутылу, и не позорься...
Ну и чего? Я вот не вижу принципиальной разницы в использовании разных команд. Никакой супер-интеллектуальности от финд я не жду.
Ты видишь - но об'яснить не хочешь.
Ну вот накоплю миллион файлов и отпишу результаты.
Ответить