فهرست مطالب
تحمل خطا در دیتاسنتر ماژولار (Fault Tolerance) به معنای طراحی زیرساختی است که در آن وقوع هرگونه خرابی برنامه‌ریزی‌نشده در قطعات، مسیرهای توزیع یا رخدادهای ترکیبی در سه لایه برق (Power)، سرمایش (Cooling) و شبکه (Network)، بدون ایجاد وقفه در پردازش (Zero Downtime در برابر خطاهای زیرساختی در محدوده طراحی) و بدون نیاز به مداخله انسانی (Zero Human Intervention) به صورت خودکار مهار و ایزوله شود.
خطای رایج در بسیاری از پروژه‌ها این است که قرار دادن تجهیزات دارای افزونگی 2N در داخل یک کانتینر واحد را معادل دستیابی به معماری Fault Tolerant فرض می‌کنند. در فضای فشرده یک مرکز داده کانتینری، تراکم حرارتی بالا و نزدیکی فیزیکی زیرسیستم‌ها باعث می‌شود یک حادثه موضعی مانند قطع برق چیلر، نشت سیال یا اختلال در شبکه کنترلی در کمتر از ۱۲۰ ثانیه به خرابی آبشاری (Cascading Failure) در دو لایه دیگر منجر شود.
بنابراین در پروژه‌های حیاتی، اصول مهندسی در طراحی و ساخت دیتاسنتر ماژولار باید بر حذف نقاط شکست با علت مشترک (Common Cause Failure - CCF) و جداسازی فیزیکی محفظه‌ها استوار گردد.
افزونگی (Redundancy) صرفاً به معنای وجود قطعه یدک در مدار است، اما تحمل خطا (Fault Tolerance) یک ویژگی سیستمی در سطح کل توپولوژی سایت محسوب می‌شود.
مراکز داده کانتینری مبتنی بر سازه ISO تنها یک زیرمجموعه از مراکز داده ماژولار پیش‌ساخته (PFM) هستند و در پروژه‌های سطح چهار، اغلب از ماژول‌های چنداسکیدی (Skid-Mounted) استفاده می‌شود تا هم‌زمان با از دست رفتن کامل یک مسیر توزیع، بارهای IT بدون افت عملکرد از مسیر مستقل دوم تغذیه، خنک‌سازی و مسیردهی شوند.
مرز اصلی میان سطح سوم پایداری (Tier III / Rated-3 یا قابلیت تعمیر و نگهداری هم‌زمان - Concurrent Maintainability) و سطح چهارم (Tier IV / Rated-4 یا تحمل خطا)، نحوه واکنش خودکار سیستم به خطای ناگهانی است که در جدول زیر مقایسه شده است:
| شاخص ارزیابی | معماری Concurrent Maintainability (Tier III / Rated-3) | معماری Fault Tolerant (Tier IV / Rated-4) |
|---|---|---|
| توپولوژی توزیع برق و برودت | دو مسیر توزیع (یکی فعال و دیگری پشتیبان) با تجهیزات N+1 | دو مسیر توزیع کاملاً مستقل و هم‌زمان فعال (2N یا 2(N+1)) |
| نیاز به اقدام اپراتور هنگام خطا | نیازمند سوئیچ برنامه‌ریزی‌شده؛ آسیب‌پذیر در برابر خطای ناگهانی مسیر فعال | تشخیص، ایزولاسیون خطا و انتقال بار کاملاً خودکار در کسری از ثانیه |
| رفتار سرمایش در قطع برق | امکان وقفه کوتاه برودت تا راه‌اندازی دیزل‌ژنراتور | الزام قطعی به سرمایش پیوسته (Continuous Cooling) بدون وقفه |
| جداسازی فیزیکی (Compartmentalization) | الزامی نیست (امکان استقرار تجهیزات A و B در یک محفظه) | الزامی؛ جداسازی فیزیکی و آتش‌بند کامل مسیرهای A و B |
در این معادله، QIT توان حرارتی تجهیزات بر حسب کیلووات (kW)، ρ چگالی هوا (حدود1.2 kg/m3)، Vair حجم هوای آزاد مؤثر داخل ماژول بر حسب مترمکعب (m3) و cp ظرفیت گرمایی ویژه هوا (حدود 1.005 kJ/kg·K) است.
بر اساس این رابطه، در یک ماژول ۴۰ فوتی با حجم هوای آزاد مؤثر35 m3 و بار حرارتی100 kW(معادل ۱۰ رک ۱۰ کیلوواتی)، نرخ تئوری و آدیاباتیک صعود دمای توده هوای خالص به 2.37 °C/s می‌رسد.در عمل، با احتساب جذب بخشی از گرما توسط جرم حرارتی شاسی رک‌ها و سرورها، نرخ واقعی صعود دمای هوای ورودی حدود 12 °C تا 18 °C در دقیقه خواهد بود.
به این معنا که دما در کمتر از ۶۰ تا ۹۰ ثانیه از سقف مجاز کلاس A1 در دستورالعمل‌های حرارتی ASHRAE TC 9.9 (سقف مجاز 32 °C در مقابل سقف توصیه‌شده 27 °C) عبور کرده و به مرز خاموشی اضطراری سخت‌افزار (>40 °C) می‌رسد؛ در حالی که استارت دیزل‌ژنراتور و بازگشت چیلرها به ظرفیت کامل ۳ تا ۵ دقیقه زمان می‌برد.
تفاوت رفتار حرارتی دو معماری در جدول زیر مشخص شده است:
| پارامتر مقایسه‌ای (بار اسمی 10kW بر رک) | سالن مرکز داده سنتی | دیتاسنتر کانتینری / ماژولار فشرده | پیامد مهندسی در طراحی ماژولار |
|---|---|---|---|
| نسبت حجم هوای آزاد به توان | بالا (15–25 m³/kW) | بسیار پایین (0.3–0.8 m³/kW) | نبود ذخیره هوای خنک در فضای کابین |
| زمان رسیدن به دمای بحرانی | ۵ تا ۱۲ دقیقه | ۶۰ تا ۱۲۰ ثانیه | تریپ حرارتی سرورها پیش از مدار آمدن چیلر |
| الزام به سرمایش پیوسته | وابسته به تراکم بار | الزامی در تمام تراکم‌ها (برای Tier IV) | تغذیه پمپ و فن از UPS به همراه مخزن ذخیره آب سرد |
مطابق نتایج این مقایسه، برای تحقق Fault Tolerance پیاده‌سازی سرمایش پیوسته (Continuous Cooling) الزامی است: در سیستم‌های آب سرد، پمپ‌های سیرکولاسیون و فن‌های یونیت‌های In-Row / CRAH باید به UPS متصل باشند و یک مخزن ذخیره حرارتی عایق‌بندی‌شده (Chilled Water Buffer Tank) با ظرفیت تامین برودت حداقل ۱۰ تا ۱۵ دقیقه در مدار لوله‌کشی دوگانه قرار گیرد.
در سیستم‌های انبساط مستقیم (DX) نیز کمپرسورهای اینورتر و فن‌های کندانسور مسیر A و B باید از طریق UPS مکانیکی مستقل (Dedicated Mechanical UPS) و مجزا از شینه UPS تجهیزات IT تغذیه شوند تا جریان بارهای موتوری باعث افت ولتاژ روی پاور سرورها نشود.
اگر کنترلرهای منطقی (PLC) سیستم سرمایش و کلیدهای برق برای دریافت فرمان به شبکه IP اصلی وابسته باشند، وقوع یک طوفان شبکه (Broadcast Storm) یا حمله سایبری می‌تواند ارتباط سنسورهای دما را با یونیت‌های کولینگ قطع کند.
ایزولاسیون و امن‌سازی شبکه کنترلی تاسیسات باید بر پایه راهنمای امنیت سیستم‌های کنترلی NIST SP 800-82 (ویرایش سوم ویژه سیستم‌های OT/BMS) انجام پذیرد و از منظر مهندسی مکانیک و کنترل، منطق PLCها به صورت Fail-Safe طراحی شود.
الزام حیاتی مهندسی کنترل (Fail-Safe Cooling): در صورت قطع کامل ارتباط شبکه BMS یا خرابی کنترلر مرکزی، شیرهای برقی آب سرد باید به صورت مکانیکی/فنری در وضعیت ۱۰۰٪ باز (Fail-Open) قرار گیرند و فن‌های سرمایشی با تغذیه دوگانه 24V DC به طور خودکار با دور ایمن پیش‌فرض به کار ادامه دهند.
در جدول زیر، ماتریس مهندسی مهار خرابی‌های آبشاری میان برق، سرمایش و شبکه تدوین شده است:
| منشأ اولیه خطا | مکانیسم سرایت آبشاری به دو لایه دیگر | زمان بحرانی سقوط | راهکار مهندسی قطع زنجیره خرابی (Fault Isolation) |
|---|---|---|---|
| لایه برق: قطع فیدر و اتصال کوتاه شینه | خاموشی چیلر فاقد UPS و در نتیجه صعود دمای کابین به بالای 45 °C و تریپ حرارتی سوئیچ‌های Core و UPS مسیر سالم | ۶۰ تا ۱۲۰ ثانیه | اجرای سرمایش پیوسته (Continuous Cooling) به همراه هماهنگی حفاظتی کلیدها (Selective Coordination) |
| لایه شبکه و کنترل: قطع سوئیچ BMS یا تغذیه 24V | از دست رفتن ارتباط PLC سرمایش، بسته ماندن شیرهای آب سرد یا توقف فن‌ها و بروز فرار حرارتی در رک‌ها و اتاقک UPS | ۲ تا ۳ دقیقه | تغذیه دوگانه 24V DC کنترلرها از هر دو مسیر UPS A/B به همراه تنظیم سخت‌افزاری شیرها در وضعیت Fail-Open |
| لایه سرمایش: نشت آب یا ترکیدگی لوله | نفوذ آب به تابلو برق (PDU) و پچ‌پنل‌ها و وقوع اتصال کوتاه هم‌زمان برق و قطع لینک شبکه | آنی (چند ثانیه) | استقرار لوله‌ها در کف کاذب یا راهروی سرویس ایزوله به همراه شیر قطع خودکار متصل به سنسور نشت آب دوگانه |
تحلیل این ماتریس نشان می‌دهد که بدون ایزولاسیون فیزیکی لوله‌ها و استقلال منطق کنترلی، افزونگی 2N روی کاغذ در برابر حوادث زنجیره‌ای کارایی نخواهد داشت.
آیا یک کانتینر ۲۰ یا ۴۰ فوتی یکپارچه (All-in-One) که تمام رک‌ها، UPSها و کولرها در درون آن قرار دارند، می‌تواند Fault Tolerant باشد؟ از دیدگاه استانداردهای Uptime Tier IV و کلاس F4 در استاندارد طراحی مرکز داده BICSI 002 پاسخ منفی است؛ مگر آنکه جداسازی فیزیکی کامل محفظه‌ها (Compartmentalization) اعمال شود.
در یک کانتینر تک‌محفظه‌ای، رخداد قوس الکتریکی (Arc Flash) یا حریق در تابلو برق مسیر A، تجهیزات مسیر B را نیز در همان کابین از کار می‌اندازد.
مقایسه مهندسی این دو معماری در جدول زیر ارائه شده است:
| ویژگی ساختاری و عملیاتی | کانتینری تک‌محفظه‌ای (All-in-One Container) | ماژولار چنداسکیدی (Multi-Skid / Compartmentalized) |
|---|---|---|
| چیدمان فیزیکی زیرسیستم‌ها | استقرار رک‌های IT، تابلو برق، UPS و کولینگ در یک سازه | تفکیک ماژول IT از اسکید برق A (E-House A)، اسکید برق B و اسکیدهای برودتی |
| مقاومت در برابر حریق و حوادث | آسیب‌پذیر؛ یک حادثه داخلی هر دو مسیر A و B را تهدید می‌کند | ایمن؛ جداسازی با دیواره‌های آتش‌بند (۶۰ تا ۱۲۰ دقیقه) یا فاصله فیزیکی اسکیدها |
| انتقال ارتعاشات مکانیکی | انتقال لرزش کمپرسورها به شاسی رک‌ها و کانکتورهای فیبر | ایزولاسیون کامل ارتعاشات مکانیکی اسکید چیلر و دیزل از ماژول پردازشی |
| حداکثر سطح استاندارد | حداکثر Tier III / Rated-3 | قابلیت دستیابی کامل به Tier IV / Rated-4 و BICSI Class F4 |
بنابراین، برای پروژه‌هایی که نیازمند تحمل خطای واقعی در برابر حوادث فیزیکی هستند، معماری چنداسکیدی تفکیک‌شده تنها گزینه منطبق بر استانداردهای سطح چهار است.
پیاده‌سازی معماری Fault Tolerant کامل (2N چنداسکیدی)، به طور میانگین و بسته به مقیاس پروژه، هزینه سرمایه‌گذاری اولیه (CAPEX) را حدود ۴۰ تا ۶۰ درصد نسبت به معماری N+1 افزایش می‌دهد.
همچنین باید توجه داشت که طراحی Fault Tolerant پایداری فیزیکی در سطح یک سایت را محقق می‌کند، اما برای مصونیت در برابر بلایای طبیعی منطقه‌ای (مانند زلزله شدید)، همواره نیازمند تکمیل با استراتژی بازیابی از بحران (Disaster Recovery - DR) در سایت ثانویه است.
در مناطق صنعتی جنوب و نواحی کویری ایران (مانند عسلویه و خوزستان) که دمای محیط در تابستان از 50 °C فراتر می‌رود، پدیده افت ظرفیت هم‌زمان (Simultaneous Derating) رخ می‌دهد؛ در این دما، ظرفیت دفع حرارت کندانسورهای هواخنک و توان خروجی دیزل‌ژنراتورها به طور هم‌زمان بین ۱۵ تا ۲۵ درصد کاهش می‌یابد.
اگر طراحی 2N بر اساس کاتالوگ‌های استاندارد دمای 35 °C انجام شده باشد، در ظهر تابستان ظرفیت واقعی هر مسیر به کمتر از بار کل سرورها سقوط کرده و سیستم در صورت خرابی یک مسیر، توان تحمل بار ۱۰۰٪ را نخواهد داشت. بنابراین، انتخاب کندانسورهای High-Ambient (طراحی‌شده برای دمای 52 °C تا 55 °C) و اعمال ضریب Derating در سایزینگ ژنراتور و ترانسفورماتور الزامی است.
۱. آیا می‌توان یک مرکز داده ماژولار Tier III موجود را بدون توقف سرویس به سطح Fault Tolerant (Tier IV) ارتقا داد؟ بله، به شرطی که در طراحی اولیه ماژول IT، تغذیه رک‌ها به صورت دوگانه (Dual-Corded PDU A/B) و کلکتورهای سرمایش به صورت دوطرفه (Dual-Loop) پیش‌بینی شده باشند. در این حالت می‌توان اسکید دوم برق (E-House B) و اسکید دوم سرمایش را در بیرون از ماژول مستقر کرد و از طریق انشعاب گرم (Hot-Tap) و مسیر دوم برق، بدون خاموشی سرورها توپولوژی را به 2N کامل ارتقا داد.
۲. در صورت خرابی هم‌زمان هر دو مسیر فیبر نوری ورودی به دیتاسنتر ماژولار، آیا سیستم‌های برق و سرمایش متوقف می‌شوند؟ در یک طراحی استاندارد خیر؛ زیرا کنترلرهای محلی برق (ATS/STS) و سرمایش (PLC) کاملاً مستقل از ارتباطات شبکه بیرون از سایت (WAN) و شبکه داده داخلی عمل می‌کنند. قطع کامل ارتباط شبکه صرفاً مانیتورینگ از راه دور را موقتاً مختل می‌کند، اما تولید برودت و تغذیه برق در داخل ماژول به صورت خودکار ادامه می‌یابد.
۳. حداقل فاصله یا جداسازی استاندارد بین اسکید دیزل‌ژنراتور و ماژول رک‌های IT چقدر است؟ در استانداردهایی نظیر BICSI 002، برای جلوگیری از انتقال ارتعاشات سازه‌ای، نفوذ دود اگزوز به ورودی هوای تازه و مهار ریسک حریق سوخت، اسکید دیزل‌ژنراتور باید یا با دیواره آتش‌بند حداقل ۲ ساعته ایزوله شود و یا با فاصله ایمن فیزیکی (معمولاً ۶ تا ۱۰ متر بسته به ظرفیت و ضوابط ایمنی سایت) همراه با لرزه‌گیرهای الاستومری در فونداسیون و اتصالات نصب گردد.
چنانچه در مرحله تدوین اسناد فنی مناقصه (RFP)، ممیزی نقشه‌های مهندسی یا ارتقای پایداری زیرساخت‌های فعلی خود هستید، تیم مهندسی فیدارکوثر آماده ارائه خدمات تخصصی در زمینه طراحی، ساخت، راه‌اندازی، نگهداری و تعمیرات مراکز داده کانتینری و سنتی مطابق با استانداردهای جهانی و شرایط اقلیمی محل پروژه شماست.
درخواست مشاوره و ممیزی فنی مرکز داده کانتینری
بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید
