Каморка

Собственно, сабж.

Ага, забавно, что буквально пару недель назад на vanlug-овском листе обсуждалось, что коло сайты в Харбор центре очень скоро могут накрыться тазиком из-за высокой плотности потребляемой нагрузки..

А что с электроэнергией в центре? Эти событя связаны?

P.S.

Знакомый админ утром сообщал об эвакувации харбор-центра, отключении лифтов и наличии нескольких пожарок. Тех суппорт молчит.
Определенно была попытка запустить что-то на неск минут, но все снова хрюкнуло.

Вот, кстати, только-что получил:

(03:53:32 PM) meser: do you have any news?
(03:58:14 PM) Thor: Apperently, there was an underground electical fire downtown, which caused an explosion under the street near Harbour centre. Smoke was billowing out of manholes and the side of the Harbour Centre building. Harbour Centre and the Marble Arch hotel were partially evacuated. Delays are expected to be long, as the air near the main fire is too bad to send in firefighters, even with respirators.

meser писал(а):А что с электроэнергией в центре? Эти событя связаны?

у меня такие же сведения:

meser писал(а): (03:58:14 PM) Thor: Apperently, there was an underground electical fire downtown, which caused an explosion under the street near Harbour centre.

+ говорят, что на Ричардсе что-то горело

нам (в соседнем с вами здании) электричество обещают восстановить только к завтрашнему утру

Аман Ванкуверский писал(а): нам (в соседнем с вами здании) электричество обещают восстановить только к завтрашнему утру

another update: электричество в нашем здании будет не раньше 11pm tomorrow

вот и закончились мои выходные, сейчас поеду с фонариком сервера и ленты в коло перевозить

Да и вправду, лежат сервера. У нас там Walk-In-Cage на 21 кажись этаже.

ura писал(а):Да и вправду, лежат сервера. У нас там Walk-In-Cage на 21 кажись этаже.

Да ты что? У меня там тоже cage. Питание там дали около 5. Доступ в здание и клеткам тоже около этого. Мои сервера, слава-богу поднялись - ехать не пришлось.

Я блин, шалею от ентого провайдера! Полюбуйтесь, что они накалякали:

Dear Customer,

There has been a massive power outage that has affected the downtown Vancouver area, including the Harbor Center building, where our PEER 1 Vancouver data centers are located.

Shortly before 9am PST, primary power was lost due to a fire on Richards Street, which caused primary power to fail in a large portion of downtown. The main building generator, Generator 7, started and maintained power but failed 20 minutes after the primary power was lost. Initial diagnosis is that the generator failed due to over-heating. Once the generator failed, PEER 1 UPS systems failed after several minutes due to drained batteries.

PEER 1 facilities and building maintenance have been working on the generator continuously to restore power to the data centers. The first attempt to bring emergency power back on-line failed 15 minutes after the generator was restarted. It experienced a similar over-heating situation as caused the initial failure. PEER 1 will continue to work on this issue around the clock until power is restored.

We are keeping up to date information on forums.peer1.com. We sincerely apologize for this disruption in your business. Every effort is being made by PEER 1 and the Harbor Center building maintenance team to restore power as quickly as possible.

If you'd like to talk to someone in person, we have our Support team standing by. The number is (877)504-0091.

Sincerely,

Ted Smith
SVP, Operations
PEER 1
1000-555 West Hastings Street
Vancouver, BC
Canada V6B 4N5

Вот собственно подробности:
У нас сдох лоад балансер - это полная жопа.
П.С. А спрашивать - есть ли у кого то сервера на PEER1 бессмысленно - мы все там были....
FYI: За 3 шнурка с бесперебойным (по контракту!) электричеством мы платим 750 баксов каждый месяц...

Dear PEER 1 valued customer,

I would like to take this opportunity to sincerely apologize for today's disruption to your business. We understand fully that you depend on PEER 1 as your trusted IT infrastructure provider to ensure your online business and applications remain online all of the time. In this instance, we failed to deliver on this promise. We will, of course, fully honor our service level agreement commitments. We also commit to conduct a thorough post mortem review of the events of today and take all measures necessary to ensure that your online presence is protected and not disrupted again in this fashion.

Please allow me to give you a brief rundown of today's events. At 9 AM today, BC Hydro reported that a number of electrical circuits failed in downtown Vancouver, British Columbia due to an underground fire on Richards Street that caused a power outage to approximately 2,200 customers, including the Harbour Centre building where PEER 1's Vancouver Data Centers are located. BC Hydro crews began working to determine the extent of the damage, but had difficulty accessing the man-hole where the fire originated due to extensive smoke and heat.

Harbour Centre's main building generator, Gen No.7, started and maintained power as designed, but failed 20 minutes after the loss of commercial power due to a failure in the generator's cooling system. Gen No.7's cooling system is dependant upon water provided by the city of Vancouver and requires a certain level of water pressure to function normally. As fire fighters worked to put out the fire that had broken out on Richards Street, water pressure in the downtown core, (including Harbour Center), declined to a point where it caused the generator to overheat and malfunction.

Once the generator failed, PEER 1's UPS systems eventually failed as well once the UPS batteries had drained. After three more failed attempts to bring Gen No.7 online, the generator successfully came online at 3:40 PM and restored power back to our Data Centers, our UPS systems, and our client servers. At 5:55 PM, utility power was fully restored to the Data Centers, and Gen No.7 was shut down. A detailed timeline of events has been provided to you at the bottom of this letter.

Please do not hesitate to contact me directly with any questions or concerns that you may have. My direct telephone number is tel: (604) 909-6424.

Thank you for your patience and understanding.

Sincerely,

Fabio M. Banducci
President and CEO
PEER 1


TIMELINE

9:00 AM - Fire started in a manhole located in the 500 block of Richards Street, Vancouver, BC.
10:00 AM - Utility power to most of downtown was lost due to a subsequent transformer explosion. Harbour Centre's main building generator, Gen No.7 started and provided power to the Data Centers. No clients were affected.
10:20 AM - Gen No.7 failed due to overheating as the result of a failure in the generator's cooling system. Power went with UPS systems now running on battery.
10:40 AM - First alarm of batteries failing in UPS systems.
10:45 AM - 11:30 AM - Clients lost power due to UPS batteries running out.
12:30 PM - Gen No.7 is restored and providing power to the Data Centers.
12:30 PM - 12:45 PM - Clients' servers are back up and running.
1:00 PM - Gen No.7 fails a second time due to overheating as the result of a failure in the generator's cooling system. Clients lost power within minutes due to UPS system batteries being low.
3:00 PM - Gen No.7 is restored and providing power to the Data Centers. PEER 1 did not turn client servers on immediately; waited for power to first stabilize.
3:30 PM - Gen No.7 fails a third time due to overheating as the result of a failure in the generator's cooling system.
3:40 PM - Gen No.7 is restored and providing power to the Data Centers.
4:00 PM - Power restored to UPS systems, but not to client servers; waited for power to first stabilize.
4:20 PM - ALL UPS systems now online and power to client servers restored.
5:55 PM - Utility power restored to the Data Center and Gen No.7 shut down.

Хм... Мне казалось, что бэкапные генераторы должны иметь автономное охлаждение и вообще должны зависеть только от топлива и ни от чего больше. По крайней мере нас так учили... Да и батарей должно больше чем на час хватать. Халтурщики там работают, вот что. Или жлобы хозяйничают. Или и то и другое вместе...

Speedline писал(а):Хм... Мне казалось, что бэкапные генераторы должны иметь автономное охлаждение и вообще должны зависеть только от топлива и ни от чего больше. По крайней мере нас так учили... Да и батарей должно больше чем на час хватать. Халтурщики там работают, вот что. Или жлобы хозяйничают. Или и то и другое вместе...

да странновато что то , я сколько их видел этож дизель просто и впереди стоит радиатор, наверное оччч старая или супер новая конструкция

Лоховство эти все датаценты в даунтауне
надо как гууге делать - вот пацаны себе для компов домик строят рядом с электростанцией, с водой ничего не случится

http://web2.commongate.com/post/google_ ... ata_center



а вообще криво все было....как в деревне...
хотя вон и амазоны падают

Stanislav писал(а): П.С. А спрашивать - есть ли у кого то сервера на PEER1 бессмысленно - мы все там были....

На момент написания меня интересовала почему не летает. Тех супорт на телефоны не отвечал.

Что касается всего остального - ну я даже и не знаю, что сказать: перегретые генераторы, упс держащие только несколько минут, полное отсутствие информации в критический момент.... Я так понимаю, кто-то откуда-то должен слететь - уж очень повод хороший.

white_raven писал(а):Лоховство эти все датаценты в даунтауне
надо как гууге делать - вот пацаны себе для компов домик строят рядом с электростанцией, с водой ничего не случится

Да кто-бы спорил, да вот бэкбон оптоволоконный туда заведен. Это который через Британию Европу коннектит.