Автоматический upload данных по Internet

Все, что вы хотели знать о программизме, но боялись спросить.
Ответить
Аватара пользователя
Marmot
Графоман
Сообщения: 39279
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Сообщение Marmot »

vg писал(а):Ну, и firewall - лы там всякие :D
Так как ни крути что-то окрывать придётся, так почему бы и не 25-й порт :-)
HTTP..., оно конечно кажется не так страшно, но ведь это только кажется...
Я там вверху давал ссылку на HTTP uploader, если его завернуть в правильный скрипт то сработает и по HTTP, хотя и не так удбно как это AutoMail
Аватара пользователя
Marmot
Графоман
Сообщения: 39279
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Сообщение Marmot »

Yury писал(а):
vg писал(а):Ну, и firewall - лы там всякие :D
А ты видел файерволы в компаниях чтобы почту не пропускали?
Легальную.
Ну я видел, во многих местах SMTP traffic наружу закрыт для юзверей, только через corporate mail server, a этот AutoMail похоже сам себя обслуживает...
Аватара пользователя
Marmot
Графоман
Сообщения: 39279
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Сообщение Marmot »

Yury писал(а):Есть и бесплатно
http://caspian.dotconf.net/menu/Software/SendEmail/

плюс пару строк в бат (кмд) файле плюс
виндовый скедулер

просто и со вкусом

ЗЫ Ох уж эти программисты - все бы им писАть и писАть
На перловке он написан :-(, что для виндов проблематично ...
Аватара пользователя
Yury
The L'ony
Сообщения: 26202
Зарегистрирован: 22 янв 2004, 13:48
Откуда: Мирный -> Vancouver
Контактная информация:

Сообщение Yury »

Marmot писал(а): На перловке он написан :-(, что для виндов проблематично ...
там для виндов экзешник есть
работает (через шо пробовал)
но аутинтификация на смтп сервере
похоже там не предусмотрена
так что в корпоративных сетях могут быть проблемы
vg
Маньяк
Сообщения: 2803
Зарегистрирован: 29 май 2003, 22:29
Откуда: Магадан - Миссиссага

Сообщение vg »

2Yuri,
А ты видел файерволы в компаниях чтобы почту не пропускали?
Легальную.
Вы эта.... не горячитесь, товарищь. Я видел товарищей, которые пытались использовать совершенно нормальное мыльное ПО, например Outlook Express, для работы в приватной сети (прикрытой firewall с технологией отличной от NAT) для работы в инет.
Они долго не могли понять, почему не работает :D (если только не NAT-ом прикрыто ) Да-да. И у Вас не будет работать, и у меня не будет работать. И телнет за фареволом не будет работать. B FTP не будет работать. Ежели только не NAT. И та прога, о которой Вы постили не будет скорее всего работать. И вы представляете, :D не будет работать даже в том случае, если на firewall разрешить вообще любой трафик.

Но вот ведь странность, Yuri. Особенно с ICQ. Если покопаться на закладочках в настройках аськи, где шось про SOCKS - то начинает работать :D

Но вот ведь другая странность Как поставишь клиента firewall на рабочей станции пользователя (что, как правило, зло) - сразу всё начинает работать.
:D

ПС. Прошу все употреблённые мною термины трактовать исключительно в теминах RFC.
vg
Маньяк
Сообщения: 2803
Зарегистрирован: 29 май 2003, 22:29
Откуда: Магадан - Миссиссага

Сообщение vg »

2Marmot,
vg:
Ну, и firewall - лы там всякие

Так как ни крути что-то окрывать придётся, так почему бы и не 25-й порт
HTTP..., оно конечно кажется не так страшно, но ведь это только кажется...
Я там вверху давал ссылку на HTTP uploader, если его завернуть в правильный скрипт то сработает и по HTTP, хотя и не так удбно как это AutoMail
Да не об этом я вовсе! Не об э т о м! Хоть все порты открой на firewall - не будет работать. Ибо так работает firewall. Любой, кроме тех, что использует NAT, где на рабочих станциях приватной сети можно ограничиться только указанием шлюза по умолчанию (для инет). Для всего остального ПО firewall мапит запросы от клиентов приватной сети к удалённым клиентам инет. Мапить firewall умеет. Но надо каким-то образом сделать так, чтобы firewall мог принимать от клиента запрос (который потом и будет "мапиться"). А для этого клиент приватной сети должен уметь взаимодействовать с firewall. И есть только три способа взаимодействия: NAT (+ его разновидности), SOCKS (стандарт инф. обмена с firewall) и специализированное ПО, дополнительно установленное на компе пользователя.

Например, для использования Outlook Express на компе пользователя в приватной сети, прикрытой MS Proxy или ISA Server2000 - придётся устанавливать Firewall Client. По-другому в этом случае работать не будет. Если Outlook Express заменить The BAt - тоже не будет работать без Firewall Client с MS Proxy или ISA Server2000.
Но если клиентская прога сама разумеет SOCKS, то она сама может без всяких дополнительных Firewall Client связаться с firewall. Как? Я постил leonidy учебный пример на "С".

И ещё. Про HTTP. В некотором смысле уникальный протокол. Единственный, для которого ВСЕ промышленные firewall (с любой технологией сокрытия приватных ресурсов) поддерживают по умолчанию HTTP-proxy. По этому-то и работает безо всяких SOCKS и всяких там Firewall Client. По этому-то всякие недоадмины и думают, что раз HTTP прокатывает, то и остальное прокатит. Не тут-то было. Для всего остального (smtp, ftp, aol, ..... ), что хочет работать"через" firewall нужен SOCKS, если только firewall построен на технологии прокси, а не NAT. Для этого SOCKS и придумали. Для этого каждый производитель его и поддерживает.
Ну я видел, во многих местах SMTP traffic наружу закрыт для юзверей, только через corporate mail server, a этот AutoMail похоже сам себя обслуживает...
Спасибо, конечно, Marmot, что вступились за меня. :D Но выше я пропостил - в чём дело. Разрешения и запрещения при фильтрации трафика - это одно (то, о чём вы пишите. и кстати нормальные админы только так и делают), а способ взаимодействия клиента внутри приватной сети и firewall - то другое (SOCKS или специализированный клиент, работающий по RPC, SOCKS, да как угодно). Котлеты (фильтрация трафика) и мухи (взаимодействие клиента и фаревал) отдельно.

ПС. Если честно, то сердце уже болит. И причина не в Вас. Я то думал, здесь кое-кто хоть понимает о чём пишет. Блин. Ну нельзя же быть такими легковесными и поверхностными. Может я и эмоционально несколько, но поадминистрировав годы не одну сетку - просто не выношу дилетантов (это не про Вас).
vg
Маньяк
Сообщения: 2803
Зарегистрирован: 29 май 2003, 22:29
Откуда: Магадан - Миссиссага

Сообщение vg »

2Yuri,
там для виндов экзешник есть
работает (через шо пробовал)
А не Вы ли писали в разделе "Общее" про то, что Вам "шо" дает в лиз IP? Этож реальный IP инет. Вы пробовали на машине, которая прямо смотрит в инет. А есть на тойже машине firewall, аль нет - совершенно по барабану, если правильно написаны фильтры трафика.
Если же вы посмотрите на задачу автора топика, то там говорится о компах пользователей в приватной сети, прикрытых firewall. Т.е. 192.168.....см. RFC 1918 "Address Allocation for Private Internets".
Две очень большие разницы, скажу я Вам.
но аутинтификация на смтп сервере
похоже там не предусмотрена
А можно здесь подробнее про связь "аутинтификации" на смпт сервере и задачи leonid. Для Вас откровение, что никто аутинтификацию smtp в инет не использует? :D Догадайтесь почему? :D
так что в корпоративных сетях могут быть проблемы
Расскажите, пожалуйста, какие? :D В задаче leonid-a?
Аватара пользователя
Marmot
Графоман
Сообщения: 39279
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Сообщение Marmot »

vg писал(а):Да не об этом я вовсе! Не об э т о м! Хоть все порты открой на firewall - не будет работать. Ибо так работает firewall. Любой, кроме тех, что использует NAT, где на рабочих станциях приватной сети можно ограничиться только указанием шлюза по умолчанию (для инет). Для всего остального ПО firewall мапит запросы от клиентов приватной сети к удалённым клиентам инет. Мапить firewall умеет. Но надо каким-то образом сделать так, чтобы firewall мог принимать от клиента запрос
vg, вы чего такое тут несёте, вы когда нибудь работали с нормальными firewall-ми?
Ничего клиенты знать не должны, как я уже писал firewall ПРОЗРАЧЕН для клиента, есть он, нет его, механизм взаимодействия с сервером один и тот же.
Просто, если порт закрыт, то firewall не пускает клиента...
leonid
Частый Гость
Сообщения: 26
Зарегистрирован: 21 фев 2003, 11:42
Откуда: Toronto

Сообщение leonid »

Спасибо большое всем за содержательные ответы. Хочу подвести некоторые (промежуточные) итоги. Есть три типа firewall:
- "Нормальные" (те которые поддерживают NAT). При этом любое клиентское приложение (IE, FTP client, SMPT client, custom made socket client, может даже DCOM clent) могут выходить в Inet напрямую (в смысле они не должны в явном виде "общаться" firewall), если соответствующие порты на firewall открыты.
- "Полунормальные", которые требуют наличие на клиенте некоторого "proxy client", например Check Point SecurityAgent. Если этот "proxy client" установлен, то любое клиентское приложение так же имеет "свободный" выход в Inet, если порты открыты
- "Ненормальные" (требующие SOCKS). В этом случае на каждом клиентском приложении должен выполняться некий допонительный код. Приложение должно знать IP adress of firewall или уметь делать autodetect, соединяться сперва с firewall а потом уже через firewall выходить наружу.

Пока я вижу только два способа работать через "ненормальны" firewalls:
1. Писать socket client на C, поддерживающий SOCKS4, предложенный vg.
2. Автоматизировать IE, используя COM (VB или WSH). В этом случае "грязную" работу по прохождению firewall за меня сделает IE.

Похоже, что остальные предложенные command line или "пакетные" HTTP, FTP и SMPT клиенты не смогут проходить через "ненормальные" firewalls. Хотя в общем случае, я бы предпочел что нибудь готовое, чем писать самому.
Интересно, как с этим обстоят дела в WinINet?

Еще интересно как с этим делом обстоит у .Net Remoting или Web Services? M$ клянется, что одно из преемуществ этих технологий перед DCOM, возможность проходить через firewalls. Было бы прикольно, вызвать фунцию, предать содержимое файла как параметр, а .Net сделает все остальное (установит соединение, поборется с firewall, передаст данные, вернет код ошибки ).
Аватара пользователя
Marmot
Графоман
Сообщения: 39279
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Сообщение Marmot »

leonid писал(а):Похоже, что остальные предложенные command line или "пакетные" HTTP, FTP и SMPT клиенты не смогут проходить через "ненормальные" firewalls.
Вы так уверены? По крайней мере в документацци к тому HTTP commnad-line client-у написано что он ходит через SOCKS .
leonid писал(а): Интересно, как с этим обстоят дела в WinINet?
IMHO, хорошо обстoят, это то же код что работает в IE :-)
leonid писал(а): Еще интересно как с этим делом обстоит у .Net Remoting или Web Services? M$ клянется, что одно из преемуществ этих технологий перед DCOM, возможность проходить через firewalls.
Ага, всё так просто, потому что все эти Web Services тоже ходят через обычный HTTP :-)
Аватара пользователя
Lepsik
Житель
Сообщения: 522
Зарегистрирован: 17 фев 2003, 18:34
Откуда: Berlin
Контактная информация:

Сообщение Lepsik »

---А конкретнее? или ты написал, что бы написать, за базар надо отвечать...

ты о чем родной ? ссылку открыть не можешь ? там каждая вторая ссылка по теме

Fast Update, 3.03 beta build 41
Оценка:

Автообновлялка сайтов. Программа сканирует каталог сайта на локальном компьютере, обнаруживает новые и измененные файлы и отправляет на сервер. Избавляет от рутинной работы ручного поиска.
vg
Маньяк
Сообщения: 2803
Зарегистрирован: 29 май 2003, 22:29
Откуда: Магадан - Миссиссага

Сообщение vg »

2Marmot,
vg, вы чего такое тут несёте, вы когда нибудь работали с нормальными firewall-ми?
Ничего клиенты знать не должны, как я уже писал firewall ПРОЗРАЧЕН для клиента, есть он, нет его, механизм взаимодействия с сервером один и тот же.
Просто, если порт закрыт, то firewall не пускает клиента...
Зря Вы так. Я на любых форумах говорю только то, что знаю наверняка (привираю только иногда, и не в этом случае :D ). Ибо делал это 100 раз. Похоже, что кроме firewall, построенных на NAT, Вы не с чем больше не имели дело :D. Без обид. Там, да. Клиенту ничего практически знать не надо. Почти не надо. Единственное, что нужно, это указать шлюз (gateway) по умолчанию на сетевом интерфейсе клиента. В этом случае NAT выполняет маскарадинг, только получая от клиента совершенно обычный пакет (как если б пакет направлялся непосредственно в инет, а не раутеру), приходящий на "внутренний" сетевой интерфейс маршрутиризатора. Как работает NAT ? - в принципе писано-переписано. В инете есть много доки. И на русском. Это только моё мнение, что Вы в своём постинге немного не правы.

И последнее. Не примите, пожалуйста, за указание, умничение, высокомерие, ну, и т.д. Очень легко убедиться в том, что я говорю. Сами знаете, лучший критерий - опыт. Для такого человека, как Вы написать, например, почтового клиента (любого) - две секунду. Напишите, попробуйте запустить в приватной сети за firewall, там где не NAT При этом я также упорно обращаю Ваше внимание на аббревиатеру "NAT", как вы упорно игнорируете эту деталь :D

И самое последнее. Понятие, нормальный/ненормальный firewall -весьма относительно. Тем более, что речь идёт о вполне конкретной задаче leonid-а. Посмотрите в начало треда. Леонид пишет, что он не знает, какой firewall будет стоять у его клиентов. Более того, он совершено справедливо предполагает, что у некоторых клиентов в горле сетки будет стоять обычный прокси, работающий по SOCKS, а не маршрутиризатор, на котором поднят NAT. А если так, то в его коммерческой задаче естественно желание учесть все варианты (то, что с Вашей точки зрения является нормальной, и то, что ненормально)

ПС. Кстати socks - документирован rfc. Это стандартная (в буквальном смысле) технология :D
Аватара пользователя
Marmot
Графоман
Сообщения: 39279
Зарегистрирован: 17 фев 2003, 17:58
Откуда: Caulfeild
Контактная информация:

Сообщение Marmot »

vg писал(а):2Marmot,
vg, вы чего такое тут несёте, вы когда нибудь работали с нормальными firewall-ми?
Ничего клиенты знать не должны, как я уже писал firewall ПРОЗРАЧЕН для клиента, есть он, нет его, механизм взаимодействия с сервером один и тот же.
Просто, если порт закрыт, то firewall не пускает клиента...
Зря Вы так. Я на любых форумах говорю только то, что знаю наверняка (привираю только иногда, и не в этом случае :D ). Ибо делал это 100 раз. Похоже, что кроме firewall, построенных на NAT, Вы не с чем больше не имели дело :D. Без обид. Там, да. Клиенту ничего практически знать не надо. Почти не надо. Единственное, что нужно, это указать шлюз (gateway) по умолчанию на сетевом интерфейсе клиента. В этом случае NAT выполняет маскарадинг, только получая от клиента совершенно обычный пакет (как если б пакет направлялся непосредственно в инет, а не раутеру), приходящий на "внутренний" сетевой интерфейс маршрутиризатора. Как работает NAT ? - в принципе писано-переписано. В инете есть много доки. И на русском. Это только моё мнение, что Вы в своём постинге немного не правы.

И последнее. Не примите, пожалуйста, за указание, умничение, высокомерие, ну, и т.д. Очень легко убедиться в том, что я говорю. Сами знаете, лучший критерий - опыт. Для такого человека, как Вы написать, например, почтового клиента (любого) - две секунду. Напишите, попробуйте запустить в приватной сети за firewall, там где не NAT При этом я также упорно обращаю Ваше внимание на аббревиатеру "NAT", как вы упорно игнорируете эту деталь :D

И самое последнее. Понятие, нормальный/ненормальный firewall -весьма относительно. Тем более, что речь идёт о вполне конкретной задаче leonid-а. Посмотрите в начало треда. Леонид пишет, что он не знает, какой firewall будет стоять у его клиентов. Более того, он совершено справедливо предполагает, что у некоторых клиентов в горле сетки будет стоять обычный прокси, работающий по SOCKS, а не маршрутиризатор, на котором поднят NAT. А если так, то в его коммерческой задаче естественно желание учесть все варианты (то, что с Вашей точки зрения является нормальной, и то, что ненормально)

ПС. Кстати socks - документирован rfc. Это стандартная (в буквальном смысле) технология :D
Вопрос ко всем: Checkpoint firewall какого типа?
И ещё, давайте определимся с терминами что есть firewall, а что есть proxy?
vg
Маньяк
Сообщения: 2803
Зарегистрирован: 29 май 2003, 22:29
Откуда: Магадан - Миссиссага

Сообщение vg »

2Marmot,
leonid:
Похоже, что остальные предложенные command line или "пакетные" HTTP, FTP и SMPT клиенты не смогут проходить через "ненормальные" firewalls.

Вы так уверены? По крайней мере в документацци к тому HTTP commnad-line client-у написано что он ходит через SOCKS .
Хоть Ваше замечание адресовано и не мне, но могу заметить, что Вы здесь не правы. Прав leonid. За одним маленьким исключением, которого, мне кажется, не понимаете (не знаете) Вы.
Я постил чуть выше, что уникальность HTTP заключается в том, что ВСЕ производители прокси-серверов поддерживают HTTP-proxy по умолчанию :D Поэтому-то для HTTP и не нужен SOCKS вовсе :D Отсюда у вас и сложилось мнение, что "...firewall - прозрачный по умолчанию...". :D

leonid:
Интересно, как с этим обстоят дела в WinINet?

IMHO, хорошо обстoят, это то же код что работает в IE
leonid:
Из той же оперы. Дело здесь вовсе не в WinINet, или других библиотеках, а в том, что по умолчанию все firewall (прокси) поддерживают HTTP-proxy. И SOCKS - не нужен. :wink: С НТТР всё просто - пакеты шлются прямо в инет, как еслиб этот хост был выставлен непосредственно в инет (т.е. имел бы на сетевом интерфейсе реальный инет IP, см. rfc 1918 о реальных адресах). И это не зависит от того, какой библитотекой Вы пользуютесь при программировании клиента.
Аватара пользователя
Yury
The L'ony
Сообщения: 26202
Зарегистрирован: 22 янв 2004, 13:48
Откуда: Мирный -> Vancouver
Контактная информация:

Сообщение Yury »

[trn]Na moi neprosvyachshennyi vzglyad, variant s mylom
uje tem horosh chto o firewallah vvobsche dumat'
ne nado
Nuno tolko ctoby dostup k korporativnomu
smtp serveru byl[/trn]


А как ж транслитом набратъ?
Последний раз редактировалось Yury 25 фев 2004, 14:33, всего редактировалось 1 раз.
Ответить