Управление докер контейнерами

[Marmot]

Мармот, если вы уже на консуле и енвое - нафиг вы к8 тяните. Ну номад ведь вам сам бог прописал.

Я не знаю как номад работает, в к8 у нас туева хуча сайдкаров поднимается на каждом поде, что значительно облегчает жизнь как владельцам сервисов, так и владельцам сайдкаров, все живут как бы вместе, но в тоже время по отдельности

[Stanislav]

Мармот, если вы уже на консуле и енвое - нафиг вы к8 тяните. Ну номад ведь вам сам бог прописал.

Я не знаю как номад работает, в к8 у нас туева хуча сайдкаров поднимается на каждом поде, что значительно облегчает жизнь как владельцам сервисов, так и владельцам сайдкаров, все живут как бы вместе, но в тоже время по отдельности

Он не про это.
Вот живет Слак сейчас в билдинге - все живут как бы вместе, но в то же время по отдельности.
У билдинга есть управляющая компания - она предоставляют билдинг менеджера, уборщицу, электрика, сантехника, и т.д.
Он предлагает тебе поменять управляющую компанию - будет новый билдинг менеджер, новая уборщица, новый электрик, новый сантехник и т.д.
Нахрена тебе это надо - не знаю

[Marmot]

Мармот, если вы уже на консуле и енвое - нафиг вы к8 тяните. Ну номад ведь вам сам бог прописал.

Я не знаю как номад работает, в к8 у нас туева хуча сайдкаров поднимается на каждом поде, что значительно облегчает жизнь как владельцам сервисов, так и владельцам сайдкаров, все живут как бы вместе, но в тоже время по отдельности

Он не про это.
Вот живет Слак сейчас в билдинге - все живут как бы вместе, но в то же время по отдельности.
У билдинга есть управляющая компания - она предоставляют билдинг менеджера, уборщицу, электрика, сантехника, и т.д.
Он предлагает тебе поменять управляющую компанию - будет новый билдинг менеджер, новая уборщица, новый электрик, новый сантехник и т.д.
Нахрена тебе это надо - не знаю

Ok, почитал я про номад слегка, он оказывается тоже что-то типа подов делать умеет... короче, это все сложилось исторически, когда мы начинали работать с к8, номада либо совсем еще не было, либо он еще в пеленках лежал...
Сейчас что-то менять уже поздно, слишком много в это дело вложено...

[borei]

Мармот, если вы уже на консуле и енвое - нафиг вы к8 тяните. Ну номад ведь вам сам бог прописал.

Я не знаю как номад работает, в к8 у нас туева хуча сайдкаров поднимается на каждом поде, что значительно облегчает жизнь как владельцам сервисов, так и владельцам сайдкаров, все живут как бы вместе, но в тоже время по отдельности

Он не про это.
Вот живет Слак сейчас в билдинге - все живут как бы вместе, но в то же время по отдельности.
У билдинга есть управляющая компания - она предоставляют билдинг менеджера, уборщицу, электрика, сантехника, и т.д.
Он предлагает тебе поменять управляющую компанию - будет новый билдинг менеджер, новая уборщица, новый электрик, новый сантехник и т.д.
Нахрена тебе это надо - не знаю

Ну да примерно так. Только номад рвет к8 по производительности и по размеру кластера как тузик грелку.
Да продукт моложе чем кубы, это так.
Сравни workload definition - helm chart vs HCL. Да ну нах этот yaml разгребать.
Короче понятно с вами - консерваторы.
Пошел я доку курить - сервисы по TLS не вяжуться, походу накосячил где-то с сертификатами.

[Stanislav]

Сравни workload definition - helm chart vs HCL. Да ну нах этот yaml разгребать.
Короче понятно с вами - консерваторы.
Пошел я доку курить - сервисы по TLS не вяжуться, походу накосячил где-то с сертификатами.

Согласен, хцл лучше, чем хелм, но я предпочитаю джейсон
Не консерваторы, а энтерпрайз мышление.
+100500 - чекай сертификаты и их чейны.

[borei]

Ну так и есть забыл проэкспортить селф сигнед рут сертификат, ну и поэтому прокси на отказ не хотел работать с консулом. Хех сейчас заполучил полную сервис меш. Супер. Но мой лаптоп скоро уже лопнет или закипит - 12 виртуальных машин.

[borei]

Сравни workload definition - helm chart vs HCL. Да ну нах этот yaml разгребать.
Короче понятно с вами - консерваторы.
Пошел я доку курить - сервисы по TLS не вяжуться, походу накосячил где-то с сертификатами.

Согласен, хцл лучше, чем хелм, но я предпочитаю джейсон
Не консерваторы, а энтерпрайз мышление.
+100500 - чекай сертификаты и их чейны.

Ну блин началось - ынтерпрайз. Суппорт то от хашикорпа весьма и весьма на уровне.

[Marmot]

Ну блин началось - ынтерпрайз. Суппорт то от хашикорпа весьма и весьма на уровне.

Не знаю, не знаю... мутные они какие-то, если честно... они мне ораклов напомнили, в стратегии ценообразования...

[borei]

Запинал я таки полный сервис меш, но тлс пришлось отключать, если сервисы на двух хостах то не работает, если на одном - то ок. понятно что они через loopback общаются, но он ведь TLS не отменяет. Короче не понятно мне все это дело на текущий момент. Однако понятно что где то косяк с сертификатами.
Сегодня ещё промитей с consul discovery прикрутил, все автоматом подхватил.

[Stanislav]

тлс пришлось отключать

Вообще, контейнеры не предназначены для работы с шифрованием - дохрена ресурсов уходит на рукопожатия.
По нормальному - вся эта байда должна жить без шифрования в отдельной сети, недоступной другим - например, в отдельном ВЛАНе или отдельном ВПЦ. Если нельзя отделить, Кюби рекомендует собственную сеть между нодами - я использовал Фланель.
А шифрование терминируется на ингресе.

Однако понятно что где то косяк с сертификатами.

Рут сертификат должен быть запихнут везде. Все остальные сертификаты должны быть подписаны именно этим рутом.
Я не парюсь и обычно тупо выпускаю вайлд-кард сертификат, подписываю его рутом и запихиваю везде.
Не то, чтобы запихиваю, но фолдер хоста с сертификатом монтируется во все контейнеры, но можно и запихивать - хозяин-барин.

[Stanislav]

если сервисы на двух хостах то не работает

Да, и сабнеты Докера на разных хостах не должны пересекаться.

[borei]

тлс пришлось отключать

Вообще, контейнеры не предназначены для работы с шифрованием - дохрена ресурсов уходит на рукопожатия.
По нормальному - вся эта байда должна жить без шифрования в отдельной сети, недоступной другим - например, в отдельном ВЛАНе или отдельном ВПЦ. Если нельзя отделить, Кюби рекомендует собственную сеть между нодами - я использовал Фланель.
А шифрование терминируется на ингресе.

Однако понятно что где то косяк с сертификатами.

Рут сертификат должен быть запихнут везде. Все остальные сертификаты должны быть подписаны именно этим рутом.
Я не парюсь и обычно тупо выпускаю вайлд-кард сертификат, подписываю его рутом и запихиваю везде.
Не то, чтобы запихиваю, но фолдер хоста с сертификатом монтируется во все контейнеры, но можно и запихивать - хозяин-барин.

Там несколько по другому. Коммуникация между двумя сервисами сделана через прокси который envoy. Envoy общается с консулом через шифрованный канал, ну и envoy-to-envoy тоже шифрованный. Контейнеры о шифровке канала вообще не знают, и более того - чтобы достучаться до сервиса, если даже сервис на другом хосте, контейнер стучится на локалхост, там сайдкар который и есть этот самый envoy шлёт запрос уже куда. Я поначалу думал что это жуткий оверхеад, однако сейчас понял что схема очень гибка.

[Marmot]

тлс пришлось отключать

Вообще, контейнеры не предназначены для работы с шифрованием - дохрена ресурсов уходит на рукопожатия.
По нормальному - вся эта байда должна жить без шифрования в отдельной сети, недоступной другим - например, в отдельном ВЛАНе или отдельном ВПЦ. Если нельзя отделить, Кюби рекомендует собственную сеть между нодами - я использовал Фланель.
А шифрование терминируется на ингресе.

Однако понятно что где то косяк с сертификатами.

Рут сертификат должен быть запихнут везде. Все остальные сертификаты должны быть подписаны именно этим рутом.
Я не парюсь и обычно тупо выпускаю вайлд-кард сертификат, подписываю его рутом и запихиваю везде.
Не то, чтобы запихиваю, но фолдер хоста с сертификатом монтируется во все контейнеры, но можно и запихивать - хозяин-барин.

Там несколько по другому. Коммуникация между двумя сервисами сделана через прокси который envoy. Envoy общается с консулом через шифрованный канал, ну и envoy-to-envoy тоже шифрованный. Контейнеры о шифровке канала вообще не знают, и более того - чтобы достучаться до сервиса, если даже сервис на другом хосте, контейнер стучится на локалхост, там сайдкар который и есть этот самый envoy шлёт запрос уже куда. Я поначалу думал что это жуткий оверхеад, однако сейчас понял что схема очень гибка.

Кстати, мы весь внутреннуй трафик шифруем вот так https://nebula.defined.net/docs, т.е. для всех компонентов все выглядит как plain text...

[borei]

тлс пришлось отключать

Вообще, контейнеры не предназначены для работы с шифрованием - дохрена ресурсов уходит на рукопожатия.
По нормальному - вся эта байда должна жить без шифрования в отдельной сети, недоступной другим - например, в отдельном ВЛАНе или отдельном ВПЦ. Если нельзя отделить, Кюби рекомендует собственную сеть между нодами - я использовал Фланель.
А шифрование терминируется на ингресе.

Однако понятно что где то косяк с сертификатами.

Рут сертификат должен быть запихнут везде. Все остальные сертификаты должны быть подписаны именно этим рутом.
Я не парюсь и обычно тупо выпускаю вайлд-кард сертификат, подписываю его рутом и запихиваю везде.
Не то, чтобы запихиваю, но фолдер хоста с сертификатом монтируется во все контейнеры, но можно и запихивать - хозяин-барин.

Там несколько по другому. Коммуникация между двумя сервисами сделана через прокси который envoy. Envoy общается с консулом через шифрованный канал, ну и envoy-to-envoy тоже шифрованный. Контейнеры о шифровке канала вообще не знают, и более того - чтобы достучаться до сервиса, если даже сервис на другом хосте, контейнер стучится на локалхост, там сайдкар который и есть этот самый envoy шлёт запрос уже куда. Я поначалу думал что это жуткий оверхеад, однако сейчас понял что схема очень гибка.

Кстати, мы весь внутреннуй трафик шифруем вот так https://nebula.defined.net/docs, т.е. для всех компонентов все выглядит как plain text...

Если я правильно понял то такая же схема в nomad, но взаимодействие сервисов и шифрование трафика между ними делается с помощью envoy. Я сейчас усиленно курю его доку, чтобы запустить как edge proxy.

[Stanislav]

тлс пришлось отключать

Вообще, контейнеры не предназначены для работы с шифрованием - дохрена ресурсов уходит на рукопожатия.
По нормальному - вся эта байда должна жить без шифрования в отдельной сети, недоступной другим - например, в отдельном ВЛАНе или отдельном ВПЦ. Если нельзя отделить, Кюби рекомендует собственную сеть между нодами - я использовал Фланель.
А шифрование терминируется на ингресе.

Там несколько по другому. Коммуникация между двумя сервисами сделана через прокси который envoy. Envoy общается с консулом через шифрованный канал, ну и envoy-to-envoy тоже шифрованный. Контейнеры о шифровке канала вообще не знают, и более того - чтобы достучаться до сервиса, если даже сервис на другом хосте, контейнер стучится на локалхост, там сайдкар который и есть этот самый envoy шлёт запрос уже куда. Я поначалу думал что это жуткий оверхеад, однако сейчас понял что схема очень гибка.

Кстати, мы весь внутреннуй трафик шифруем вот так https://nebula.defined.net/docs, т.е. для всех компонентов все выглядит как plain text...

Если я правильно понял то такая же схема в nomad, но взаимодействие сервисов и шифрование трафика между ними делается с помощью envoy. Я сейчас усиленно курю его доку, чтобы запустить как edge proxy.

Ну так вот это оно и есть - своя собственная сеть с собственным раутингом.
Некоторые называют - софтваре-дефайнед нетворк.
Прокси - неправильное название. Правильно - раутер.
Про жуткий оверхед - вспомни, как организован (софтваре-дефайнед) диск у виртуальной машины, когда он лежит на САН