Сборник коротких рассказов, про разное.
Как-то раз один мальчик полез в ИБП APC сбрасывать пароль. Только взял не тот SERIAL кабель, тут то стоечка и потухла.
Пояснение: при включении не тем кабелем, APC гасит ИБП начисто.
Как-то раз один мальчик сидел ничего не трогал, и вышел из строя диск на СХД.
Пока все ребилдилось - вышло из строя еще два. Тут Raid-6 и конец.
Пояснение: при ребилде классического рейда возникает необходимость прочитать все сектора каждого диска. Есть ненулевые шансы, что при этом вылетит из строя еще один диск, или даже два, особенно если им одинаково лет (3-5) и они из одной партии. Бекап нужен.
Как-то раз один мальчик настраивал коммутатор по сети, и удаленно выключил управляющий интерфейс.
Верная примета - к дальней дороге.
Как-то раз один мальчик сидел ничего не трогал, и вышел из строя диск на СХД.
Пока все ребилдилось - вышло из строя еще один. И еще один. И потом еще один
Тут Raid-6 и конец. И не только ему.
Пояснение: баг в прошивке SSD дисков привел к тому, что при ребилде все падало вот так.
Обновляйте прошивку, проверяйте бекапы.
Как-то раз один мальчик сидел ничего не трогал, и тут лег Exchange.
Тут же выяснилось, что хотя это Очень Важный И Нужный сервис, но оплачивать покупку нового сервера никто не хочет. Ничего страшного, пережили три дня без него, и даже DAG не стали разворачивать, а зачем - работает же после починки.
Как-то раз один мальчик ничего не делал, и вдруг стоечка потухла.
Пояснение: как выяснилось позже, в стойке давно вышел из строя АКБ в ИБП, а висело все это на одной фазе центрального щитка, где автомат и выбило, старый он уже был.
Как-то раз один мальчик получил важную задачу - расширить диск виртуальной машине. Он расширил, тут то сервис и потух.
Пояснение: диск оказался RDM, при расширении у кластера случился перерыв в обслуживании, кластер погас. Вывод - учитывайте тип сервиса при планировании работ.
Как-то раз один мальчик мигрировал виртуальные сервера, а после перезагрузки они все МЕРТВЫЕ.
Ну, так вышло.
Пояснение: Обслуживающая команда разработала скрипт для оптимизации дискового пространства внутри VM и удаления лишнего. На части VM (с одной ОС) скрипт отработал, на части отработал как патч Бармина (rm -rf)
Как-то раз один мальчик нашел на складе ИБП, без всяких пометок и как бы ничей, и решил его включить. Оказывается, конденсаторы внутри могут давать много шума за очень короткий промежуток времени.
Как-то раз один мальчик работал с загадкой - коммутаторы перезагружались ровно в 09:00 - 09:10.
Помогло раскрытию тайны измерение напряжения в сети (коммутаторы были без ИБП), и включение через ИБП. Утром сотрудники приходили и включали компьютеры, чайники, кондиционеры, вот это все.
Как-то раз один мальчик нашел за стойкой старый, заброшенный конвертер оптики в езернет, который затем снова уходил в другой конвертер оптики. Попытки разобраться в маршруте ни к чему не привели. Массовая рассылка и опрос всех участников тоже ничего не дали.
Решено было конвертер выключить и посмотреть, что будет. Через 2 часа обьявилась дежурная бригада связи. Оказалось, это был немаркированный сквозной кабель, который затем уходил сначала на спрятанную за фальш-потолком (бывший завод, потолки по 5 метров) панель, потом дальше в колодцы - 5 лет назад не хватило кабеля на сращивание, поэтому тогда сделали временно "вот так".
не техническое.
Как-то раз одному мальчику поставили Важную Задачу вида Надо Вчера Сделать, но забыли потом документы в бухгалтерию отдать, а может и не забыли, а изначально не хотели. При втором таком подходе "ну надо же вчера ехать в лютые перди", мальчик попросил утром деньги, вечером стулья.
В итоге сначала мальчик заявление на стол положил, а потом выяснилось что работать на такие деньги никто не желает, а те кто желает - по пояс деревянные.
Ничего лучше, чем позвонить мальчику (уже вышедшему на оклад *1.5 на другое место), с предложением вернуться и ему все простят, начальство не придумало. Морали не будет, я историю такого вида слышал от разных людей много раз, причем как в пределах МКАД, так и за пределами.
Как-то раз один мальчик полез в ИБП APC сбрасывать пароль. Только взял не тот SERIAL кабель, тут то стоечка и потухла.
Пояснение: при включении не тем кабелем, APC гасит ИБП начисто.
Как-то раз один мальчик сидел ничего не трогал, и вышел из строя диск на СХД.
Пока все ребилдилось - вышло из строя еще два. Тут Raid-6 и конец.
Пояснение: при ребилде классического рейда возникает необходимость прочитать все сектора каждого диска. Есть ненулевые шансы, что при этом вылетит из строя еще один диск, или даже два, особенно если им одинаково лет (3-5) и они из одной партии. Бекап нужен.
Как-то раз один мальчик настраивал коммутатор по сети, и удаленно выключил управляющий интерфейс.
Верная примета - к дальней дороге.
Как-то раз один мальчик сидел ничего не трогал, и вышел из строя диск на СХД.
Пока все ребилдилось - вышло из строя еще один. И еще один. И потом еще один
Тут Raid-6 и конец. И не только ему.
Пояснение: баг в прошивке SSD дисков привел к тому, что при ребилде все падало вот так.
Обновляйте прошивку, проверяйте бекапы.
Как-то раз один мальчик сидел ничего не трогал, и тут лег Exchange.
Тут же выяснилось, что хотя это Очень Важный И Нужный сервис, но оплачивать покупку нового сервера никто не хочет. Ничего страшного, пережили три дня без него, и даже DAG не стали разворачивать, а зачем - работает же после починки.
Как-то раз один мальчик ничего не делал, и вдруг стоечка потухла.
Пояснение: как выяснилось позже, в стойке давно вышел из строя АКБ в ИБП, а висело все это на одной фазе центрального щитка, где автомат и выбило, старый он уже был.
Как-то раз один мальчик получил важную задачу - расширить диск виртуальной машине. Он расширил, тут то сервис и потух.
Пояснение: диск оказался RDM, при расширении у кластера случился перерыв в обслуживании, кластер погас. Вывод - учитывайте тип сервиса при планировании работ.
Как-то раз один мальчик мигрировал виртуальные сервера, а после перезагрузки они все МЕРТВЫЕ.
Ну, так вышло.
Пояснение: Обслуживающая команда разработала скрипт для оптимизации дискового пространства внутри VM и удаления лишнего. На части VM (с одной ОС) скрипт отработал, на части отработал как патч Бармина (rm -rf)
Как-то раз один мальчик нашел на складе ИБП, без всяких пометок и как бы ничей, и решил его включить. Оказывается, конденсаторы внутри могут давать много шума за очень короткий промежуток времени.
Как-то раз один мальчик работал с загадкой - коммутаторы перезагружались ровно в 09:00 - 09:10.
Помогло раскрытию тайны измерение напряжения в сети (коммутаторы были без ИБП), и включение через ИБП. Утром сотрудники приходили и включали компьютеры, чайники, кондиционеры, вот это все.
Как-то раз один мальчик нашел за стойкой старый, заброшенный конвертер оптики в езернет, который затем снова уходил в другой конвертер оптики. Попытки разобраться в маршруте ни к чему не привели. Массовая рассылка и опрос всех участников тоже ничего не дали.
Решено было конвертер выключить и посмотреть, что будет. Через 2 часа обьявилась дежурная бригада связи. Оказалось, это был немаркированный сквозной кабель, который затем уходил сначала на спрятанную за фальш-потолком (бывший завод, потолки по 5 метров) панель, потом дальше в колодцы - 5 лет назад не хватило кабеля на сращивание, поэтому тогда сделали временно "вот так".
не техническое.
Как-то раз одному мальчику поставили Важную Задачу вида Надо Вчера Сделать, но забыли потом документы в бухгалтерию отдать, а может и не забыли, а изначально не хотели. При втором таком подходе "ну надо же вчера ехать в лютые перди", мальчик попросил утром деньги, вечером стулья.
В итоге сначала мальчик заявление на стол положил, а потом выяснилось что работать на такие деньги никто не желает, а те кто желает - по пояс деревянные.
Ничего лучше, чем позвонить мальчику (уже вышедшему на оклад *1.5 на другое место), с предложением вернуться и ему все простят, начальство не придумало. Морали не будет, я историю такого вида слышал от разных людей много раз, причем как в пределах МКАД, так и за пределами.
no subject
Date: 2019-11-02 09:13 am (UTC)Здесь один упс год лампочками мигал и верещал о дохлых батареях, пока это наконец не достало лично меня и я там батареи поменял собственным решением.