طراحی سیستم Containment در مرکز داده کانتینری؛ Hot Aisle، Cold Aisle و مدیریت جریان هوا

  • فیدار کوثر
  • 1405/8/30
مهندسی Containment در دیتاسنتر کانتینری؛ HAC یا CAC؟
طراحی سیستم Containment در مرکز داده کانتینری؛ Hot Aisle، Cold Aisle و مدیریت جریان هوا

 

فهرست مطالب

در یک مرکز داده کانتینری (دیتاسنتر کانتینری)، تراکم حرارتی بالای رک‌ها (۱۰ تا ۲۵ کیلووات و بالاتر در هر رک) در کنار حجم بسیار محدود هوای آزاد داخل سازه (حدود ۲۸ متر مکعب در کانتینر ۴۰ فوت)، روش‌های سنتی تهویه اتاقی را ناکارآمد می‌سازد.

راهکار مهندسی مدیریت جریان هوا در این فضاها، پیاده‌سازی سیستم محصورسازی جریان هوا (Aisle Containment) در ترکیب با یونیت‌های سرمایش ردیفی (In-Row Cooling) روی کف سخت (Hard Floor) است. در میان دو استراتژی موجود، مهار راهروی گرم (Hot Aisle Containment - HAC) گزینه ارجح در کانتینرهای جدید محسوب می‌شود؛ زیرا هوای داغ خروجی سرورها را مستقیماً به کویل یونیت‌های In-Row بازگردانده، فضای آزاد کانتینر را برای تابلوهای برق، باتری‌های UPS و تردد تکنسین‌ها خنک نگه می‌دارد و در صورت محدود بودن دمای فضای کار به ۲۴ درجه سانتی‌گراد، مصرف انرژی سالانه سرمایش را تا ۴۰ الی ۴۳ درصد نسبت به مهار راهروی سرد (Cold Aisle Containment - CAC) کاهش می‌دهد.

با این حال، طراحی سیستم Containment در دیتاسنتر ماژولار نیازمند حل سه محدودیت فیزیکی و ایمنی است که در سالن‌های ساختمانی دیده نمی‌شوند: نخست، محدودیت عرض داخلی کانتینرهای استاندارد ایزو (۲٬۱۸۲ میلی‌متر پس از عایق‌کاری) که اجازه اجرای هم‌زمان دو راهروی استاندارد را نمی‌دهد؛ دوم، سقوط زمان تحمل حرارتی (Thermal Ride-Through) به چند ثانیه در زمان قطع برق فن‌ها؛ و سوم، الزام هماهنگی سقف و درب‌های محفظه با سیستم تشخیص دود مکشی (VESDA) و اطفای حریق گازی پاک مطابق استاندارد NFPA 75.

 

۱. چرا مدیریت جریان هوا در دیتاسنتر کانتینری قوانین متفاوتی نسبت به سالن‌های سنتی دارد؟

هدف بنیادین مدیریت جریان هوا (Airflow Management)، جلوگیری از اختلاط هوای سرد ورودی (Supply) و هوای گرم خروجی (Exhaust) و حذف دو پدیده مخرب آیرودینامیکی است:

  • فرار هوای سرد (Cold Air Bypass): بازگشت مستقیم هوای سرد تامین‌شده به واحد خنک‌کننده پیش از عبور از شاسی سرورها که دمای هوای برگشتی به کویل را به شکل کاذب پایین آورده و موجب بروز سندروم اختلاف دمای پایین (Low Delta-T Syndrome)، هدررفت توان فن‌ها و کمبود هوادهی در رک‌های انتهایی می‌شود.
  • بازچرخش هوای گرم (Hot Air Recirculation): نفوذ هوای داغ خروجی از بالای رک، انتهای ردیف یا یونیت‌های خالی به ورودی سرورها که دمای ورودی تجهیزات را به بالای ۳۵ تا ۴۰ درجه سانتی‌گراد رسانده و باعث افزایش دور فن سرور به ۱۰۰ درصد، کاهش خودکار فرکانس پردازنده (Thermal Throttling با افت ۲۰ تا ۴۰ درصدی کارایی) یا خاموشی اضطراری می‌گردد.

 

در چارچوب استانداردهای طراحی و ساخت دیتاسنتر کانتینری، معماران زیرساخت با سه تفاوت ساختاری نسبت به اتاق‌های سرور سنتی روبه‌رو هستند:

  • حذف کف کاذب بلند و اجرا روی کف سخت (Hard Floor): به دلیل محدودیت ارتفاع داخلی کانتینر، توزیع هوا از طریق پلنوم کف کاذب جای خود را به هوادهی افقی مستقیم روی کف سخت می‌دهد.
  • کاربرد سیستم‌های خنک‌کننده ردیفی (In-Row Cooling): یونیت‌های خنک‌کننده (انبساط مستقیم DX یا آب سرد Chilled Water) دقیقاً در ردیف رک‌ها قرار می‌گیرند تا فاصله منبع سرمایش تا بار حرارتی به حداقل برسد.
  • اینرسی حرارتی ناچیز محیط: حجم هوای آزاد در کل فضای یک کانتینر ۴۰ فوت تنها حدود ۲۸ متر مکعب و در داخل یک راهروی بسته حدود ۱۰.۵ متر مکعب است؛ بنابراین هرگونه اختلال در چرخش هوا، شیب افزایش دمای لحظه‌ای بسیار تندی ایجاد می‌کند.

مطابق استاندارد کنترل محیطی ISO/IEC 22237-4:2021 و دستورالعمل حرارتی ASHRAE TC 9.9 (ویرایش پنجم)، دمای هوای ورودی سرورها (Server Inlet Temperature) برای کلاس‌های محیطی A1 تا A4 باید به صورت پیوسته در بازه توصیه‌شده ۱۸ تا ۲۷ درجه سانتی‌گراد و برای سیستم‌های پردازش سنگین و هوش مصنوعی (کلاس H1) در بازه ۱۸ تا ۲۲ درجه سانتی‌گراد حفظ شود (بازه مجاز یا Allowable از ۱۵ تا ۳۲ درجه در کلاس A1 تا ۵ الی ۴۵ درجه در کلاس A4 تعریف شده است).

همچنین برای پیشگیری از تخلیه الکترواستاتیک (ESD) و میعان روی کویل‌ها، دمای نقطه شبنم (Dew Point) باید در محدوده منفی ۹ تا مثبت ۱۵ درجه سانتی‌گراد و حداکثر رطوبت نسبی ۵۰ یا ۷۰ درصد بسته به سطح آلاینده‌های گازی محیط در ویرایش پنجم (معادل سقف ۶۰ درصد در ویرایش چهارم) کنترل شود.

 

 سیستم In-Row Cooling دیتاسنتر کانتینری

 

۲. محدودیت‌های هندسی کانتینر ایزو (ISO 668) و ۳ توپولوژی اجرایی چیدمان راهروها

۲.۱. پارادوکس عرض ۲٬۴۳۸ میلی‌متری کانتینر استاندارد در برابر الزامات BICSI 002 و TIA-942-C

بزرگ‌ترین چالش طراحی سیستم Containment در مرکز داده کانتینری، تضاد میان ابعاد استاندارد کانتینرهای ترابری (ISO 668) و حداقل عرض استاندارد راهروها است.

عرض بیرونی کانتینر ۲۰ فوت یا ۴۰ فوت High Cube دقیقاً ۲٬۴۳۸ میلی‌متر و عرض داخلی خام آن ۲٬۳۵۲ میلی‌متر است؛ با کسر حدود ۸۵ میلی‌متر در هر طرف برای عایق حرارتی ضدحریق (پشم سنگ یا PIR) و ورق پوشش داخلی، عرض داخلی مفید به حدود ۲٬۱۸۲ میلی‌متر و ارتفاع مفید به ۲٬۵۴۸ میلی‌متر کاهش می‌یابد.

با استقرار یک ردیف رک با عمق ۱٬۰۷۰ میلی‌متر (یا ۱٬۲۰۰ میلی‌متر برای سرورهای عمیق)، کل عرض باقی‌مانده برای هر دو راهروی سرد و گرم مجموعاً ۱٬۱۱۲ میلی‌متر (یا ۹۸۲ میلی‌متر) خواهد بود.

این در حالی است که استاندارد ANSI/BICSI 002-2024 حداقل عرض راهروی سرد و گرم را ۹۰۰ میلی‌متر (و مقدار توصیه‌شده را ۱٬۲۰۰ میلی‌متر) تعیین کرده که اجرای هم‌زمان آن‌ها با رک ۱٬۰۷۰ میلی‌متری نیازمند حداقل ۳٬۱۷۰ میلی‌متر عرض داخلی است.

همچنین استاندارد ANSI/TIA-942-C (مصوب می ۲۰۲۴) برای مدیریت تراکم کابل‌ها، استفاده از رک‌های با حداقل عرض ۸۰۰ میلی‌متر را در نواحی توزیع اصلی، میانی و افقی (MDA، IDA و HDA) الزامی کرده است.

طبق ضوابط ایمنی خروج اضطراری نیز حداکثر طول مجاز راهروی بن‌بست ۶ متر است؛ لذا در کانتینرهای ۴۰ فوت (طول ۱۲.۱۹ متر)، تعبیه درب خروج در هر دو انتهای راهرو الزامی است.

 

۲.۲. سه توپولوژی مهندسی برای پیاده‌سازی سیستم Containment در مرکز داده کانتینری

برای رفع محدودیت عرض سازه و حفظ جداسازی کامل جریان هوا، سه توپولوژی مهندسی در طراحی دیتاسنتر کانتینری و ماژولار به کار گرفته می‌شود که مقایسه ابعادی و ظرفیتی آن‌ها در جدول زیر آمده است:

پارامتر فنی و ابعادی توپولوژی A: کانتینر استاندارد ایزو (ISO 668 - 20ft/40ft HC) توپولوژی B: ماژول پیش‌ساخته سفارشی تک‌ردیفه عریض توپولوژی C: ماژول دوردیفه / کانتینرهای جفت‌شده
عرض بیرونی سازه 2,438 میلی‌متر (استاندارد حمل دریایی و جاده‌ای) 3,000 تا 3,200 میلی‌متر (نیازمند مجوز بار ترافیکی) 4,500 تا 4,876 میلی‌متر (دو ماژول کوپل‌شده در سایت)
عرض داخلی مفید (پس از عایق) حدود 2,182 میلی‌متر حدود 2,800 تا 3,000 میلی‌متر حدود 4,500 میلی‌متر
پیکربندی رک و راهروی سرد تک‌ردیفه (عمق 1,070) + راهروی سرد 750 تا 800 میلی‌متر تک‌ردیفه (عمق 1,070 تا 1,200) + راهروی سرد 1,000 تا 1,100 میلی‌متر دوردیفه روبه‌رو + راهروی مرکزی استاندارد 1,200 میلی‌متر
پیکربندی راهروی گرم و دسترسی پلنوم گرم بسته 310 تا 360 میلی‌متر؛ دسترسی از درب بیرونی بدنه یا رک ریلی کشویی (Sliding Racks) راهروی گرم بسته پیاده‌رو 730 تا 800 میلی‌متر با تردد داخلی تکنسین دو راهروی پیرامونی 580 تا 700 میلی‌متر (در CAC) یا راهروی گرم مرکزی 1,200 میلی‌متر (در HAC)
نوع Containment بهینه Rear-Plenum HAC (هدایت مستقیم اگزوز به پشت کولر In-Row) Walk-In HAC (محصورسازی کامل راهروی گرم پشتی) Central Walk-In HAC یا CAC (بسته به جهت استقرار رک‌ها)
سقف عملی ظرفیت توان IT 5 تا 15 رک (حداکثر 200 تا 250 کیلووات طبق اشنایدر الکتریک) 8 تا 18 رک (حداکثر 150 تا 300 کیلووات) تا 48 رک (حداکثر 310 کیلووات در مدل‌های استاندارد نظیر FusionModule2000)

همانند داده‌های جدول فوق، انتخاب میان کانتینر استاندارد ایزو و ماژول‌های پیش‌ساخته سفارشی، مستقیماً شیوه دسترسی تعمیراتی به پشت رک‌ها و الزام به مجوزهای ترافیکی حمل جاده‌ای را تعیین می‌کند.

 

مقایسه مقطع عرضی سه توپولوژی پیاده‌سازی سیستم Containment در دیتاسنتر کانتینری استاندارد ایزو و ماژول‌های پیش‌ساخته سفارشی

 

۳. کالبدشکافی Hot Aisle Containment (HAC) در برابر Cold Aisle Containment (CAC) در فضای ماژولار

۳.۱. مکانیزم ترمودینامیکی، راندمان انرژی (PUE) و خطای رایج درباره دمای محیط کانتینر

یکی از خطاهای رایج در ادبیات دیتاسنتر، این تصور است که در سیستم راهروی سرد بسته (CAC)، کل محیط اتاق خنک است. از دیدگاه ترمودینامیکی، تفاوت در این است که کدام راهرو محصور شده و کدام‌یک به عنوان فضای باز کانتینر باقی می‌ماند:

  • در Cold Aisle Containment (CAC)، هوای سرد صرفاً در راهروی جلوی رک‌ها محصور شده و کل فضای باقی‌مانده کانتینر به پلنوم برگشت هوای داغ با دمای ۲۷ تا بیش از ۳۸ درجه سانتی‌گراد تبدیل می‌گردد.
  • در Hot Aisle Containment (HAC)، هوای داغ خروجی در پشت رک‌ها حبس شده و مستقیماً به ورودی پشت یونیت‌های In-Row هدایت می‌شود؛ لذا کل فضای آزاد کانتینر به عنوان پلنوم هوای سرد در دمای مطبوع ۱۸ تا ۲۴ درجه سانتی‌گراد باقی می‌ماند.

بر اساس مطالعات مرکز علمی دیتاسنتر اشنایدر الکتریک (White Paper 130، 135 و 153)، در محیط‌های بدون کف کاذب (Hard Floor) اجرای HAC اقتصادی‌ترین و کارآمدترین روش جداسازی جریان هوا است.

در مدل‌سازی مرجع اشنایدر الکتریک برای بار ۷۰۰ کیلووات (در اقلیم شیکاگو)، در شرایطی که دمای فضای باز اتاق برای حضور پرسنل و تجهیزات جانبی روی ۲۴ درجه سانتی‌گراد (۷۵ درجه فارنهایت) محدود شود، معماری HAC مصرف انرژی سالانه سرمایش را ۴۰ تا ۴۳ درصد نسبت به CAC کاهش داده و PUE سالانه را ۱۳ تا ۱۵ درصد بهبود می‌بخشد (دستیابی به ۵٬۳۱۹ ساعت Free Cooling و PUE برابر ۱.۶۹ در HAC، در برابر حذف کامل ساعات اکونومایزر و افزایش PUE به ۱.۹۸ در CAC).

همچنین به دلیل عدم فرار هوا از زیر تجهیزات برق، نشتی هوای سرد در HAC حدود ۵۰ درصد کمتر از CAC است.

شرط مرزی مهندسی: اگر هیچ محدودیتی برای دمای فضای آزاد بیرون راهرو اعمال نشود (اجازه داده شود کل اتاق در CAC بالای ۳۰ تا ۳۸ درجه کار کند) و هر دو سیستم کاملاً آب‌بند باشند، راندمان حالت پایدار HAC و CAC به یکدیگر نزدیک شده و در مدل مذکور هر دو به ۶٬۲۱۸ ساعت اکونومایزر و PUE برابر ۱.۶۵ می‌رسند. بررسی دقیق‌تر اثر دمای تامین و ساعات Free Cooling در مبحث بهینه‌سازی شاخص PUE در طراحی مرکز داده حائز اهمیت است.

 

۳.۲. تله مهندسی CAC در کانتینرهای یکپارچه (All-in-One): اثر بر UPS، باتری‌ها و ارگونومی

در کانتینرهای یکپارچه (All-in-One) که تابلوهای برق، کابینت‌های UPS و رشته‌باتری‌ها در فضای باز همان کانتینر مستقر هستند، اجرای CAC یک تله مهندسی پرهزینه ایجاد می‌کند.

کابینت‌های بزرگ UPS و باتری‌های ایستاده در فضای بیرون راهرو قرار دارند؛ در سیستم CAC این فضا دارای دمای هوای داغ برگشتی است که طول عمر شیمیایی باتری‌های اسید-سرب (VRLA) را به شدت کاهش داده و باتری‌های لیتیوم-یون را در معرض ریسک فرار حرارتی (Thermal Runaway) قرار می‌دهد.

بنابراین در کانتینرهای All-in-One یا باید از معماری HAC استفاده شود تا کل اتاق خنک بماند، و یا محفظه برق و باتری با دیواره عایق و تهویه مستقل جدا گردد (یا در قالب کانتینر برق مجزا طبق اصول معماری افزونگی N+1 و 2N در مرکز داده کانتینری طراحی شود).

از نظر ارگونومی کار تکنسین در HAC، علاوه بر استفاده از سرورهای قابل سرویس از جلو (Front-Serviceable) یا باز کردن موقت درب راهرو هنگام تعمیرات، قوانین بهداشت حرفه‌ای بر اساس شاخص دمای تر گویسان (WBGT) رعایت می‌شوند؛ به دلیل عدم استقرار دائمی نفر در راهروی گرم، اعمال رژیم ۲۵ درصد کار و ۷۵ درصد استراحت، سقف مجاز WBGT را به ۳۲.۲ درجه سانتی‌گراد (۹۰ درجه فارنهایت) می‌رساند که امکان کار ایمن کوتاه‌مدت در راهروی گرم تا سقف ۴۷ درجه سانتی‌گراد (۱۱۷ درجه فارنهایت) را فراهم می‌سازد.

جدول زیر دو معماری HAC و CAC را در فضای کانتینری مقایسه می‌کند:

شاخص ارزیابی مهندسی مهار راهروی گرم در کانتینر (HAC) مهار راهروی سرد در کانتینر (CAC) گزینه ارجح در کانتینر
فضای محصورشده و مسیر هوا محصورسازی پشت رک‌ها و هدایت مستقیم اگزوز به پشت یونیت In-Row محصورسازی جلوی رک‌ها و رهاسازی هوای داغ در کل فضای کانتینر HAC
دمای فضای آزاد داخل کانتینر خنک و معادل دمای تامین (18 تا 24 درجه سانتی‌گراد) گرم و معادل دمای خروجی سرور (27 تا بیش از 38 درجه سانتی‌گراد) HAC
اثر بر UPS و باتری‌های داخل کانتینر ایمن؛ قرارگیری تجهیزات برق و باتری در هوای خنک اتاق پرریسک؛ استهلاک سریع باتری در هوای گرم (نیازمند اتاقک عایق مجزا) HAC
سازگاری با کف سخت و کولینگ In-Row سازگاری ذاتی و اقتصادی‌ترین گزینه در محیط‌های Hard Floor مناسب‌تر برای بازسازی (Retrofit) اتاق‌های دارای کف کاذب HAC
راندمان کولینگ (دمای اتاق محدود به 24 درجه) 40 تا 43 درصد مصرف انرژی کولینگ کمتر؛ PUE معادل 1.69 (مدل مرجع اشنایدر) حذف ساعات اکونومایزر و افزایش PUE به 1.98 (در صورت محدودیت دمای اتاق) HAC
میزان نشتی هوای سرد (Air Leakage) نشتی حداقلی (فقط از عبوری کابل‌های هر رک به فضای سرد) حدود 50 درصد نشتی بیشتر از درزهای کف و زیر تجهیزات برق HAC
رفتار در قطع برق کولرها (Ride-Through) کل فضای آزاد کانتینر مخزن هوای سرد است (مشروط به باز شدن خودکار دریچه‌ها) حجم هوای سرد محبوس بسیار کوچک است (حدود 10.5 متر مکعب در کانتینر 40 فوت) HAC

مقایسه فوق نشان می‌دهد که در کانتینرهای فاقد کف کاذب، معماری HAC در تمامی شاخص‌های پایداری باتری، راندمان انرژی و کنترل نشتی برتری مهندسی دارد.

 

 طراحی Rear-Plenum HAC دیتاسنتر ماژولار

 

۴. مهندسی جریان هوا، محاسبات دبی (CFM/kW) و شاخص‌های ممیزی RCI و RTI

۴.۱. فرمول محاسبه دبی هوا (CFM/kW) و ضریب تصحیح ارتفاع در فلات ایران

محاسبه دبی حجمی هوای مورد نیاز برای دفع بار حرارتی هر رک بر پایه معادله تعادل انرژی در حالت پایدار انجام می‌شود:

Q̇ = ṁ × cp × ΔT = ρ × V̇ × cp × ΔT

در این رابطه، Q̇ توان حرارتی تجهیزات IT بر حسب وات (W)، ṁ دبی جرمی هوا (kg/s)، ρ چگالی هوا (۱.۲ کیلوگرم بر متر مکعب در سطح دریا)، cp ظرفیت گرمایی ویژه هوا (۱٬۰۰۵ ژول بر کیلوگرم کلوین)، V̇ دبی حجمی هوا (m3/s) و ΔT اختلاف دمای هوای خروجی و ورودی سرور بر حسب درجه سانتی‌گراد است. مقادیر مرجع طراحی بر حسب فوت مکعب بر دقیقه (CFM) به ازای هر کیلووات بار در سطح دریا عبارت‌اند از:

  • در اختلاف دمای ΔT = 8°C: نیازمند ۲۱۹.۶ CFM/kW (معادل ۳۷۳.۱ متر مکعب بر ساعت به ازای هر کیلووات)
  • در اختلاف دمای ΔT = 10°C: نیازمند ۱۷۵.۷ CFM/kW (معادل ۲۹۸.۵ متر مکعب بر ساعت)
  • در اختلاف دمای ΔT = 12°C: نیازمند ۱۴۶.۴ CFM/kW (معادل ۲۴۸.۸ متر مکعب بر ساعت)
  • در اختلاف دمای ΔT = 15°C: نیازمند ۱۱۷.۱ CFM/kW (معادل ۱۹۹.۰ متر مکعب بر ساعت)

ضریب تصحیح ارتفاع از سطح دریا (Altitude Derating): در بسیاری از شهرهای فلات ایران و سایت‌های معدنی یا مخابراتی واقع در ارتفاع حدود ۱٬۵۰۰ متری از سطح دریا، کاهش فشار بارومتریک چگالی هوا را به حدود ۱.۰۰ کیلوگرم بر متر مکعب (حدود ۱۷ درصد کاهش چگالی) می‌رساند.

در این ارتفاع، برای جابه‌جایی همان جرم هوا، دبی حجمی فن‌های In-Row باید ۲۰ درصد افزایش یابد؛ یعنی در ΔT = 10°C به ۲۱۰.۸ CFM/kW و در ΔT = 15°C به ۱۴۰.۶ CFM/kW می‌رسد.

همچنین طبق استاندارد ASHRAE TC 9.9، در ارتفاعات بالای ۹۰۰ متر، حداکثر دمای خشک مجاز (Allowable) برای کلاس‌های A1 و A2 به میزان ۱ درجه سانتی‌گراد به ازای هر ۳۰۰ متر، برای کلاس A3 به ازای هر ۱۷۵ متر و برای کلاس A4 به ازای هر ۱۲۵ متر کاهش می‌یابد.

 

۴.۲. کالیبراسیون فن‌های EC با فشار تفاضلی و بهداشت آیرودینامیکی رک

اگر فن‌های یونیت In-Row با دور ثابت کار کنند، تغییرات بار سرورها باعث ایجاد فشار منفی در راهروی سرد (مکش هوای داغ) یا فشار مثبت بیش‌ازحد (اتلاف برق فن) می‌شود.

راهکار استاندارد، تجهیز راهروی بسته به ترانسمیترهای فشار تفاضلی برد پایین (بازه منفی ۵۰ تا مثبت ۵۰ پاسکال یا ۰ تا ۱۰۰ پاسکال) برای تنظیم پیوسته دور فن‌های کموتاسیون الکترونیکی (EC Fans) و حفظ فشار استاتیک مثبت ملایم است. طبق قانون توان سوم فن‌ها:

P2 / P1 = (N2 / N1)3

کاهش سرعت فن‌ها (N) از ۷۰ درصد به ۴۰ درصد پس از اجرای Containment و افزایش دمای Setpoint، توان مصرفی فن‌ها (P) را به شکل تصاعدی کاهش داده و عمر فیلترهای هوا را افزایش می‌دهد. برای حفظ این فشار استاتیک، رعایت سه رکن بهداشت آیرودینامیکی در سطح رک (Rack-Level Hygiene) الزامی است:

  • نصب کامل پنل‌های مسدودکننده (Blanking Panels): تمامی یونیت‌های خالی رک باید مسدود شوند؛ رها کردن تنها یک فضای 1U باز (۱.۷۵ در ۱۹ اینچ) یک روزنه ۳۳.۲۵ اینچ مربعی ایجاد می‌کند که هوای داغ خروجی را مستقیماً به ورودی سرورهای بالایی برمی‌گرداند.
  • آب‌بندی عبوری کابل‌ها و حذف سدهای هوایی (Air Dams): تمامی برش‌های عبور کابل (نظیر روزنه‌های ۲۰۰ در ۲۰۰ میلی‌متری) باید با درزگیرهای برسی (Brush Grommets) پوشانده شده و با مدیریت کابل عمودی و فیبرهای پرتراکم OM4/OM5، از مسدود شدن مسیر اگزوز سرورها جلوگیری شود.
  • هدایت جریان هوای سوئیچ‌های شبکه (Side-to-Side Airflow): برای سوئیچ‌های دارای الگوی جریان هوای جانبی باید از کیت‌های بافل هدایت هوا (Switch Airflow Baffle Kits) در رک‌های با عرض حداقل ۸۰۰ میلی‌متر استفاده شود.

 

آناتومی بهداشت آیرودینامیکی رک سرور در دیتاسنتر کانتینری جانمایی پنل‌های مسدودکننده (Blanking Panels)، درزگیرهای برسی، بافل سوئیچ شبکه و آرایش ۶ نقطه‌ای سنسورهای دما

 

۴.۳. ارزیابی کمی عملکرد با شاخص‌های RCI، RTI، SHI و RHI در سامانه DCIM

برای ممیزی مهندسی سیستم Containment در تست کارخانه و پایش عملیاتی، از دو شاخص اصلی توسعه‌یافته توسط Magnus Herrlin (مورد تایید ASHRAE) به همراه شاخص‌های حرارتی مکمل استفاده می‌شود:

RCIHI = [1 − (Σ(Tx − Tmax-rec)) / ((Tmax-all − Tmax-rec) × n)] × 100%
RTI = [(Treturn − Tsupply) / ΔTequip] × 100%

در این روابط، Tx دمای ورودی در نقطه سنجش x، n تعداد کل نقاط سنجش ورودی رک‌ها، Tmax-rec و Tmax-all به ترتیب سقف دمای توصیه‌شده (۲۷ درجه برای کلاس A1 تا A4) و سقف مجاز، و ΔTequip میانگین وزنی افزایش دما در دو سر تجهیزات IT است.

این شاخص‌ها با آرایش ۶ نقطه‌ای سنسورهای دما در هر رک (پایین، میانه و بالای جلو و عقب رک با دقت ±0.5°C و برای محیط‌های پرتراکم ±0.3°C) از طریق پایش پارامترهای سرمایش و رک در DCIM مرکز داده کانتینری رصد می‌شوند:

شاخص ممیزی آیرودینامیکی بازه هدف استاندارد وضعیت خطا و تفسیر فنی در مرکز داده کانتینری اقدام اصلاحی مهندسی
شاخص خنک‌کاری رک بالا (RCIHI) 96% تا 100% (91 تا 96% قابل‌قبول) زیر 90% نشانه تخطی گسترده از سقف توصیه‌شده ASHRAE و وجود نقاط داغ در رک‌ها نصب Blanking Panel، رفع انسداد کابل‌ها و افزایش دبی یونیت In-Row مجاور
شاخص خنک‌کاری رک پایین (RCILO) 100% زیر 90% نشانه سرمایش بیش‌ازحد (Overcooling) و افت دما به زیر 18 درجه سانتی‌گراد افزایش تدریجی Setpoint دمای تامین هوا/آب سرد برای کاهش مصرف انرژی
شاخص دمای برگشت (RTI) 90% تا 110% (ایده‌آل 100%) زیر 90% نشانه غلبه فرار هوا (Bypass)؛ بالای 110% نشانه غلبه بازچرخش هوای گرم (Recirculation) در RTI زیر 100%: کاهش دور فن یا بستن درزها؛ در RTI بالای 100%: افزایش دبی فن کولر
شاخص حرارتی تامین (SHI: نسبت افزایش دمای ورودی رک به کل افزایش دمای رک) و برگشت (RHI) SHI نزدیک به 0 و RHI نزدیک به 1 افزایش SHI و افت RHI به زیر 1 نشانه نفوذ هوای داغ به راهروی سرد پیش از ورود به سرورها آب‌بندی درب‌ها و سقف Containment و نصب بافل برای سوئیچ‌های دارای جریان جانبی

پایش هم‌زمان RCIHI و RTI در سامانه DCIM به بهره‌بردار امکان می‌دهد پیش از بروز Thermal Throttling، کالیبراسیون دبی فن‌ها و نشتی‌های محفظه را اصلاح کند.

 

۵. ریسک‌های حیاتی در فضای بسته: زمان تحمل حرارتی و ایمنی حریق (NFPA 75)

۵.۱. بحران زمان تحمل حرارتی چندثانیه‌ای و الزام سرمایش پیوسته

مهم‌ترین ریسک عملیاتی سیستم Containment در دیتاسنتر کانتینری، کاهش شدید زمان تحمل حرارتی (Thermal Ride-Through Time) در لحظه قطع برق یونیت‌های خنک‌کننده است که از رابطه زیر تبعیت می‌کند:

tride-through = (m × cp × ΔTallowable) / QIT

که در آن m جرم هوای محبوس، cp ظرفیت گرمایی ویژه هوا، ΔTallowable افزایش دمای مجاز تا آستانه بحرانی (مثلاً ۱۵ درجه افزایش از ۲۲ به ۳۷ درجه سانتی‌گراد) و QIT توان حرارتی بار پردازشی است.

در یک کانتینر ۴۰ فوت، حجم هوای محبوس در راهروی سرد بسته تنها حدود ۱۰.۵ متر مکعب (۱۲.۷ کیلوگرم هوا) و کل حجم هوای آزاد کانتینر حدود ۲۸ متر مکعب (۳۳.۶ کیلوگرم هوا) است.

در بار حرارتی ۱۰۰ کیلووات و افزایش دمای مجاز ۱۵ درجه سانتی‌گراد، ظرفیت گرمایی هوای خالص داخل راهروی بسته تنها در ۱.۹ ثانیه (در بار ۵۰ کیلووات در ۳.۸ ثانیه و در ۱۵۰ کیلووات در ۱.۳ ثانیه) اشباع می‌شود؛ حتی با باز شدن درب‌ها و استفاده از کل ۲۸ متر مکعب هوای کانتینر، ظرفیت هوای خالص در بار ۱۰۰ کیلووات ظرف ۵.۱ ثانیه اشباع می‌گردد (و با احتساب اینرسی حرارتی بدنه فلزی رک‌ها، کل زمان تحمل حرارتی کمتر از ۳۰ تا ۶۰ ثانیه است).

طبق شبیه‌سازی CFD شرکت Vertiv، هنگام خاموش شدن فن‌های کولینگ، زمان تحمل حرارتی در هر دو معماری CAC و HAC بسیار کوتاه و مشابه است؛ زیرا در CAC سمت ورودی رک و در HAC سمت خروجی رک یک حجم بسته است و فن‌های سرور قادر به برقراری جریان هوا نیستند.

برای رفع این گلوگاه که از مهم‌ترین موارد در شناسایی نقاط شکست پنهان (SPOF) در دیتاسنتر کانتینری است، سه الزام طراحی باید اجرا شود:

  • تغذیه بدون وقفه فن‌ها و پمپ‌ها (Continuous Cooling): فن‌های EC یونیت‌های In-Row و پمپ‌های سیرکولاسیون باید مستقیماً از UPS تغذیه شوند تا در فاصله ۱۰ تا ۱۵ ثانیه‌ای راه‌اندازی دیزل ژنراتور، گردش هوا متوقف نشود.
  • قفل‌های الکترومغناطیسی بازشوی خودکار (Fail-Safe Auto-Open): درب‌های انتهایی و پنل‌های سقفی Containment باید مجهز به مگنت‌های Fail-Safe باشند تا به محض قطع برق کولینگ یا عبور دمای راهرو از حد مجاز، به صورت خودکار باز شوند.
  • کنترل نرخ تغییرات دما (Rate of Change): پس از بازگشت چیلر یا کمپرسورها به مدار، شیب کاهش دما باید توسط کنترلر مدیریت شود تا از حداکثر نرخ مجاز استاندارد ASHRAE TC 9.9 برای تجهیزات حالت جامد یعنی ۵ درجه سانتی‌گراد در هر ۱۵ دقیقه (و ۲۰ درجه سانتی‌گراد در ساعت) فراتر نرود.

 

مقایسه HAC و CAC کانتینری

 

۵.۲. یکپارچه‌سازی سیستم Containment با اطفای حریق گازی طبق NFPA 75 (2024)

احداث سیستم Containment در کانتینر، یک «حجم مجزا» ایجاد می‌کند که الگوی حرکت دود و پخش گاز اطفا را تغییر می‌دهد.

مطابق بخش ۶.۷ از استاندارد NFPA 75 (ویرایش ۲۰۲۴، بند 6.7.3)، تمامی پنل‌های محصورکننده راهرو و کلکتورهای هوای گرم باید در آزمون ASTM E84 یا UL 723 دارای حداکثر شاخص گسترش شعله (Flame Spread Index) برابر با ۵۰ و حداکثر شاخص توسعه دود (Smoke Developed Index) برابر با ۴۵۰ باشند (و الزامات FM Global 5-32 / FM Approval 4884 را برآورده سازند).

هشدار ایمنی (ناکارآمدی پنل‌های ذوب‌شونده Fusible-Link در کانتینر): در دیتاسنتر کانتینری به دلیل سرعت بالای جریان هوا و رقیق شدن دود (Smoke Dilution)، تشخیص حریق بر عهده دتکتورهای مکشی فوق‌حساس (VESDA / ASD) در دهانه برگشت هوای گرم و اطفای حریق بر عهده گازهای پاک (Novec 1230 یا FM-200 طبق NFPA 2001) است. از آنجا که سیستم VESDA در فاز بسیار ابتدایی دود (پیش از شکل‌گیری شعله و بالا رفتن دمای سقف) فرمان تخلیه گاز را صادر می‌کند، پنل‌های حرارتی Fusible Link باز نشده و سقف بسته مانع ورود گاز اطفا به راهرو می‌گردد؛ ضمن آنکه سقوط پنل‌ها ایمنی پرسنل را تهدید کرده و قابلیت تست دوره‌ای ندارد.

راهکار مهندسی استاندارد: استفاده از پنل‌های سقفی چرخشی یا رهاشونده الکترومغناطیسی (Electromagnetic Angled/Release Panels) متصل به پنل اعلام حریق و VESDA است که پیش از تخلیه گاز به صورت زاویه‌دار باز می‌شوند (و پس از تست کاملاً قابل بازنشانی یا Resettable هستند)؛ راهکار جایگزین در سیستم‌های دارای پلنوم فلزی ثابت، لوله‌کشی و نازل‌گذاری دوگانه گاز و VESDA در داخل و خارج محفظه به همراه نصب دریچه تخلیه فشار (Over-Pressure Relief Flap) و نازل‌های صداخفه‌کن جهت جلوگیری از آسیب موج فشار و نویز آکوستیک به هارددیسک‌ها است.

 

 معماری یکپارچه مهار راهروی گرم (HAC)، سرمایش ردیفی (In-Row) و سقف رهاشونده الکترومغناطیسی متصل به سیستم اطفای حریق در مرکز داده کانتینری

 

۶. مرز گذار به سرمایش مایع، ماتریس انتخاب و چک‌لیست تحویل (FAT/SAT)

۶.۱. سقف ترمودینامیکی هواخنک (۲۵ تا ۳۰ کیلووات) و معماری هیبریدی

مطابق استاندارد ANSI/TIA-942-C و مستندات فنی اشنایدر الکتریک، سیستم‌های هواخنک متکی بر Containment و کولینگ In-Row تا تراکم ۲۰ تا ۲۵ کیلووات در هر رک (و در شرایط خاص تا ۳۰ کیلووات) از نظر ترمودینامیکی و اقتصادی بهینه هستند.

در بارهای هوش مصنوعی و HPC (کلاس H1 با توان ۳۰ تا ۱۴۰ کیلووات بر رک)، باید از معماری هیبریدی استفاده شود: در این معماری، حدود ۷۰ تا ۷۵ درصد گرمای پردازنده‌ها (CPU/GPU) از طریق سرمایش مایع مستقیم به تراشه (Direct-to-Chip Liquid Cooling) و صفحات سرد میکروکانالی جذب شده و به کمک واحد توزیع خنک‌کننده (CDU) و طراحی Cooling Loop در مرکز داده کانتینری دفع می‌گردد، و ۲۵ تا ۳۰ درصد حرارت باقی‌مانده (حافظه، منابع تغذیه و ذخیره‌سازها) توسط سیستم Containment هواخنک و یونیت‌های In-Row مدیریت می‌شود.

همچنین در سایت‌های صنعتی جنوب کشور با دمای محیط بالای ۵۰ درجه و گازهای خورنده نظیر سولفید هیدروژن، سیستم تهویه کانتینر باید با فیلتراسیون شیمیایی چندمرحله‌ای (استاندارد ISA-71.04 Class G1) و فشار مثبت سازه مطابق الزامات کاربرد دیتاسنتر کانتینری در صنایع نفت، گاز و پتروشیمی ترکیب گردد.

 

۶.۲. ماتریس تصمیم‌گیری انتخاب توپولوژی و چک‌لیست ممیزی FAT/SAT

جدول زیر چارچوب انتخاب مهندسی توپولوژی Containment و پرچم‌های قرمز در ارزیابی فنی پیشنهاد وندورها (RFP) را مشخص می‌کند:

توپولوژی Containment بهترین کاربری (Best Fit) پیش‌نیازهای فنی الزامی پرچم قرمز در ممیزی نقشه وندور (Red Flag)
Rear-Plenum HAC (کانتینر ایزو 2.44 متری) سایت‌های لبه (Edge)، معادن و پروژه‌های نیازمند حمل جاده‌ای استاندارد تا 25 کیلووات بر رک تعبیه درب‌های سرویس بیرونی در بدنه کانتینر پشت رک‌ها یا نصب رک‌های ریلی کشویی (Sliding Racks) ادعای وجود دو راهروی پیاده‌رو استاندارد در جلو و عقب رک ثابت 1,070 میلی‌متری درون کانتینر ایزو
Walk-In HAC (ماژول عریض 3 یا جفت‌شده 4.8 متری) دیتاسنترهای ماژولار سازمانی با تردد منظم پرسنل و استقرار هم‌زمان تابلو برق/UPS در ماژول کانال‌کشی برگشت هوای گرم به پشت یونیت‌های In-Row، نصب درب در هر دو انتها (طول بیش از 6 متر) عدم تغذیه فن‌های یونیت In-Row از UPS یا استفاده از پنل‌های سقفی Fusible Link با گاز پاک
Cold Aisle Containment (CAC) صرفاً بازسازی (Retrofit) اتاق‌ها یا ماژول‌های موجود دارای کف کاذب با اتاق برق/باتری کاملاً مجزا جداسازی کامل فیزیکی و حرارتی کابینت‌های UPS و باتری‌ها از فضای باز برگشت هوای گرم قرار دادن باتری‌های VRLA یا لیتیوم-یون در فضای آزاد بیرون راهروی سرد بدون تهویه اختصاصی
Hybrid Containment (D2C Liquid + In-Row HAC) خوشه‌های هوش مصنوعی و HPC با تراکم بالای 25 تا 30 کیلووات بر رک (کلاس ASHRAE H1) نصب CDU با پمپ‌های افزونه N+1، کنترل نقطه شبنم و حفظ Containment هواخنک برای دفع 25 تا 30% گرما حذف کامل کولینگ هواخنک و Containment با فرض جذب 100 درصدی گرمای رک توسط Cold Plateها

پس از انتخاب توپولوژی منطبق بر جدول فوق، اجرای چک‌لیست ۵ مرحله‌ای ممیزی و تحویل در کارخانه (FAT) و سایت (SAT) الزامی است:

  1. آزمون آب‌بندی و فشار تفاضلی (در FAT): بستن تمامی درب‌ها، نصب کامل Blanking Panelها و تایید توانایی فن‌های EC در حفظ فشار مثبت ملایم در راهروی سرد بدون نوسان دور فن.
  2. آزمون اینترلاک حریق و رهاسازی سقف (در FAT و SAT): شبیه‌سازی هشدار دود در سیستم VESDA و تایید باز شدن فوری پنل‌های سقفی الکترومغناطیسی پیش از تایمر تخلیه گاز اطفا.
  3. آزمون قطع برق کولینگ و Ride-Through (در FAT و SAT): قطع فیدر اصلی کولرها، تایید تداوم کارکرد فن‌های In-Row روی برق UPS و تست باز شدن خودکار قفل‌های الکترومغناطیسی درب‌ها در سناریوی افزایش دما.
  4. بازرسی رگلاژ مکانیکی پس از حمل (در SAT): بررسی مجدد تراز درب‌های کشویی، درزگیرهای سقف Containment و ریل رک‌ها پس از تنش‌های ارتعاشی حمل جاده‌ای و جرثقیل‌ریزی در سایت.
  5. ثبت شاخص‌های پایه RCI و RTI (در آزمون بار گرم): بارگذاری رک‌ها با هیترهای تست (Load Bank)، قرائت سنسورهای ۶ نقطه‌ای رک و ثبت مقادیر پایه RCIHI ≥ 96% و RTI در بازه ۹۰ تا ۱۱۰ درصد.

 

۷.سوالات متداول (FAQ) و جمع‌بندی

۷.۱. سوالات متداول (FAQ)

۱. چرا در دیتاسنترهای کانتینری یکپارچه (All-in-One) استفاده از Hot Aisle Containment (HAC) بر Cold Aisle Containment (CAC) ارجحیت دارد؟

زیرا در کانتینرهای بدون کف کاذب که از کولینگ In-Row استفاده می‌کنند، اجرای HAC هوای داغ را در پشت رک‌ها حبس کرده و کل فضای آزاد کانتینر را در دمای خنک (۱۸ تا ۲۴ درجه سانتی‌گراد) نگه می‌دارد؛ این امر علاوه بر حفاظت از باتری‌های UPS و تابلوهای برق مستقر در کانتینر، در صورت محدود بودن دمای فضای کار به ۲۴ درجه، تا ۴۰ الی ۴۳ درصد در مصرف انرژی سالانه سرمایش نسبت به CAC صرفه‌جویی می‌کند.

۲. چگونه مشکل کمبود عرض کانتینر استاندارد ایزو (۲٬۴۳۸ میلی‌متر) برای اجرای راهروی سرد و گرم حل می‌شود؟

در عرض داخلی مفید ۲٬۱۸۲ میلی‌متری کانتینر ایزو، پس از نصب رک ۱٬۰۷۰ میلی‌متری، یک راهروی سرد پیاده‌رو (۷۵۰ تا ۸۰۰ میلی‌متر) در جلوی رک و یک پلنوم گرم بسته باریک (۳۱۰ تا ۳۶۰ میلی‌متر) در پشت رک طراحی می‌شود که دسترسی تعمیراتی به پشت رک‌ها از طریق درب‌های سرویس بیرونی تعبیه‌شده روی بدنه کانتینر یا استفاده از رک‌های ریلی کشویی (Sliding Racks) صورت می‌گیرد.

۳. برای جلوگیری از تداخل سقف Containment با سیستم اطفای حریق گازی پاک چه اقدامی الزامی است؟

طبق استاندارد NFPA 75 (ویرایش ۲۰۲۴، بخش ۶.۷)، علاوه بر لزوم استفاده از پنل‌های دارای شاخص گسترش شعله حداکثر ۵۰ و دود حداکثر ۴۵۰ (ASTM E84)، به جای پنل‌های ذوب‌شونده حرارتی (Fusible Link) باید از پنل‌های سقفی رهاشونده الکترومغناطیسی متصل به دتکتور مکشی VESDA استفاده شود تا به محض تشخیص دود و پیش از تخلیه گاز پاک، سقف راهرو به صورت خودکار باز شود.  

 

طراحی سیستم Containment در دیتاسنتر کانتینری نقطه‌تلاقی ابعاد سازه، ترمودینامیک سیالات، سلامت باتری‌های UPS و ایمنی حریق است.

در کانتینرهای استاندارد ایزو، استفاده از پلنوم گرم بسته پشتی (Rear-Plenum HAC) با درب‌های سرویس بیرونی یا رک‌های ریلی، و در ماژول‌های سفارشی عریض، اجرای راهروی گرم بسته پیاده‌رو (Walk-In HAC) کوپل‌شده با یونیت‌های In-Row، بیشترین پایداری حرارتی و کمترین هزینه عملیاتی (OPEX) را به همراه دارد؛ مشروط بر آنکه فن‌های کولینگ از UPS تغذیه شوند و پنل‌های سقفی از طریق قفل‌های الکترومغناطیسی با سیستم VESDA یکپارچه گردند.

مشاوره مهندسی، طراحی و ممیزی مرکز داده کانتینری

چنانچه در مرحله تدوین اسناد فنی (RFP)، طراحی مفهومی یا ممیزی و بهینه‌سازی سیستم سرمایش و Containment زیرساخت خود قرار دارید، تیم مهندسی فیدارکوثر آماده ارائه خدمات تخصصی در زمینه طراحی، ساخت، نگهداری و تعمیر مراکز داده کانتینری و سنتی مطابق با آخرین ویرایش استانداردهای جهانی است.

درخواست مشاوره فنی و بررسی زیرساخت

 

نظرات :
ارسال نظر :

بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید