طراحی مرکز داده کانتینری برای رک‌های ۵۰، ۷۵ و ۱۰۰ کیلووات؛ بررسی موردی در فرانسه

  • فیدار کوثر
  • 1405/7/12
خنک‌کاری مایع در مراکز داده کانتینری
طراحی مرکز داده کانتینری برای رک‌های ۵۰، ۷۵ و ۱۰۰ کیلووات؛ بررسی موردی در فرانسه
 
فهرست مطالب

ظهور بارهای کاری پردازش متمرکز، به‌ویژه در حوزه‌های آموزش مدل‌های زبانی بزرگ (LLMs) و محاسبات سریع (HPC)، مرزهای مهندسی زیرساخت را جابه‌جا کرده است. در حالی که میانگین توان هر رک در مراکز داده سنتی ۵ تا ۱۵ کیلووات بود، خوشه‌های پردازنده گرافیکی (GPU) نظیر معماری NVIDIA GB200 NVL72، توانی بالغ بر ۱۲۰ کیلووات طلب می‌کنند.

این جهش نمایی، پارادایم‌های طراحی را با بحران‌های بنیادین ترمودینامیکی و سازه‌ای مواجه ساخته است. مراکز داده کانتینری (Modular Data Centers) به دلیل سرعت بالای استقرار (۹۰ تا ۱۲۰ روز) راهکاری استراتژیک هستند.

اما جانمایی رک‌های ۱۰۰ کیلوواتی در کانتینر، نیازمند بازطراحی کامل است. استقرار چنین زیرساخت‌هایی در فرانسه، با توجه به چارچوب‌های سخت‌گیرانه زیست‌محیطی (Loi Industrie Verte) و آکوستیک، پیچیدگی‌های مهندسی را دوچندان می‌کند. این گزارش جامع، نقشه راه مهندسی و تطابق رگولاتوری برای این زیرساخت‌ها را ارائه می‌دهد.  

 

۱. دگرگونی ترمودینامیکی: محدودیت‌های هوا و گذار به مایع

 عبور از مرز ۳۰ کیلووات در هر رک، نقطه پایان حیات فیزیکی و اقتصادی سیستم‌های خنک‌کاری هوایی (CRAC/CRAH) در کانتینرهاست.

ظرفیت حرارتی مایعات بیش از ۳۰۰۰ برابر هواست و استفاده از سیستم‌های مایع‌خنک (Liquid Cooling) برای بارهای ۵۰ تا ۱۲۰ کیلووات یک الزام قطعی ترمودینامیکی است.

  • هوا توانایی دفع سریع حرارت تولید شده در رک‌های متراکم (مانند H100 یا GB300) را ندارد.
  • تلاش برای خنک‌کاری بادی در چگالی بالا منجر به افزایش شدید PUE، نویز غیرقابل تحمل و لرزش هارمونیک مخرب می‌شود.

 

مقایسه معماری سرمایش هوایی با خنک‌کاری مایع در کانتینر

 

۱.۱ معماری مستقیم به تراشه (DTC) در کانتینرها

در معماری DTC، صفحات خنک‌کننده فلزی دارای میکروکانال مستقیماً روی پردازنده‌ها نصب شده و سیال از درون آن‌ها عبور می‌کند. سیستم‌های مدرن می‌توانند تا ۹۲ درصد حرارت تولید شده را مستقیماً جذب کنند.

این معماری به دلیل حفظ فرم فاکتور استاندارد رک‌ها (نظیر OCP ORv3) برای پیاده‌سازی در کانتینرهای ایزو بسیار ایده‌آل است. واحدهای توزیع خنک‌کننده (In-Row CDUs) در کنار رک‌ها مستقر شده و می‌توانند تا ۱۸۰۰ کیلووات ظرفیت تبادل حرارت داشته باشند.

 

۱.۲ سرمایش غوطه‌وری: تک‌فاز در برابر دو فاز

در چگالی‌های فراتر از ۱۰۰ کیلووات و برای حذف کامل فن‌ها، رک‌ها به صورت افقی درون مخازن سیال دی‌الکتریک غوطه‌ور می‌شوند. در روش تک‌فاز، سیال گرم شده پمپاژ می‌شود، اما در روش دو فاز، سیال در تماس با قطعات به جوش آمده و با استفاده از گرمای نهان تبخیر، حرارت را با راندمان بالا (PUE حدود ۱.۰۳) دفع می‌کند.

با این وجود، روش دو فاز نیازمند تغییر کامل هندسه کانتینر و مدیریت سیالات به شدت گران‌قیمت فلورکربنی است که در اروپا با محدودیت جدی مواجه‌اند.

جدول زیر مقایسه تطبیقی معماری‌های خنک‌کننده را نشان می‌دهد:

شاخص ارزیابی مهندسی سرمایش هوایی (CRAC) مایع مستقیم (DTC) غوطه‌وری (Immersion)
سقف ظرفیت موثر ۲۰ تا ۲۵ کیلووات بر رک ۵۰ تا ۱۳۰ کیلووات بر رک ۱۰۰ تا ۲۰۰+ کیلووات
متوسط PUE در اروپا ۱.۳۵ تا ۱.۵۰ ۱.۱۵ تا ۱.۲۵ ۱.۰۳ تا ۱.۰۸
چالش تعمیر و نگهداری نقاط داغ (Hot Spots) مدیریت نشتی (UQD) کار با سیال چرب و تبخیر
سیال مصرفی هوای تصفیه شده آب دی‌یونیزه + PG25 هیدروکربن / فلوئوره

 

سرمایش غوطه‌وری سرور

 

۲. بحران شیمیایی و ضربه قانونی EU REACH در فرانسه

یکی از بزرگ‌ترین چالش‌های پنهان توسعه زیرساخت‌های مایع‌خنک در اروپا، قوانین شیمیایی است. سیستم‌های غوطه‌وری دو فاز به سیالات مبتنی بر پرفلوئوروآلکیل (PFAS) وابسته هستند. اتحادیه اروپا از طریق ECHA و در قالب چارچوب REACH، ممنوعیت فازبندی شده این «مواد شیمیایی ابدی» را آغاز کرده است.

در پاسخ، طراحان کانتینر در فرانسه به هیدروکربن‌های سنتزی تک‌فاز که از نظر EU REACH ایمن هستند مهاجرت کرده‌اند، هرچند که این مواد نیاز به پمپ‌های قوی‌تر و مبدل‌های بزرگتر دارند.

هشدار ایمنی: توسعه‌دهندگان مراکز داده کانتینری در فرانسه باید به طور مطلق از سرمایه‌گذاری بر تجهیزات غوطه‌وری متکی به سیالات فلوئوره (مانند HFE ها) اجتناب کنند. قوانین REACH از سال ۲۰۲۶ کنترل‌هایی اعمال می‌کند که تامین، نوسازی و دفع این مواد را با جریمه‌های سنگین همراه می‌سازد.

 

۳. مکانیک سیالات و توزیع خنک‌کننده در مقیاس مگاوات (CDU)

در معماری DTC، اتصال مستقیم آب سرد چیلرهای بیرونی به سرورها اشتباهی فاجعه‌بار است. این دو محیط به دلیل تفاوت در کیفیت و فشار سیال باید توسط واحد توزیع خنک‌کننده (CDU) ایزوله شوند.

CDU مدار آب تاسیسات (FWS) را از مدار پاک و حساس فناوری (TCS) جدا می‌کند. پمپ‌های CDU برای پشتیبانی از یک رک ۱۲۰ کیلوواتی باید توان تامین جریانی بالغ بر ۱۴۴ لیتر بر دقیقه (LPM) را با قابلیت اطمینان (N+1) داشته باشند.

 

۳.۱ استاندارد اتصال سریع جهانی (UQD)

برای تعویض امن قطعات بدون تخلیه مدار آب در فضای تنگ کانتینر، استاندارد OCP کانکتورهای UQD را الزامی کرده است. برای بارهای سنگین، استفاده از سایزهای UQD06 یا UQD08 ضروری است.

نسل جدید این قطعات تحت عنوان UQDB (Blind-Mate) امکان اتصال خودکار بدون نیاز به دخالت دستی تکنسین را فراهم می‌کند که برای کانتینرهای ۴۰ فوتی با دسترسی محدود پشت رک‌ها یک ضرورت حیاتی است.

 

۳.۲ هیدروشیمی سیالات و کنترل خوردگی گالوانیک

استفاده از آب شهری (حتی نرم‌شده) در حلقه سرورها مطلقاً ممنوع است. سیال پایه استاندارد، آب دی‌یونیزه (DI Water) است؛ اما از آنجا که آب دی‌یونیزه خالص به شدت خورنده است (مانند حلال عمومی عمل کرده و فلزات را از بین می‌برد)، حتماً باید با مهارکننده‌های خوردگی (Inhibitors) یا در ترکیب با پروپیلن گلیکول (مانند محلول PG25) استفاده شود تا از وقوع پدیده مخرب خوردگی گالوانیک بین مس (در پردازنده) و آلومینیوم (در منیفولد) جلوگیری گردد.

 

سیستم لوله‌کشی دیتاسنتر

 

۴. دینامیک سازه‌ای و بازطراحی کانتینرهای ایزو

هوش مصنوعی بسیار سنگین است. وزن یک رک پر از GPU مایع‌خنک به راحتی به ۲۰۰۰ تا ۲۲۰۰ کیلوگرم می‌رسد که بارهای نقطه‌ای (Point Loads) ویرانگری روی شاسی ایجاد می‌کند.

استاندارد ISO 1496-1 کانتینرها را برای توزیع بار یکنواخت طراحی کرده است، لذا تغییرات زیر در کانتینرها الزامی است:

  • حذف کف کاذب (Raised Floor): نصب رک‌های ۲ تنی مایع‌خنک بر روی پایه‌های کف کاذب قطعاً منجر به شکست سازه‌ای می‌شود.
  • مسیردهی کابل‌ها: در کانتینرهای نسل جدید هوش مصنوعی، رک‌ها مستقیماً بر روی شاسی فولادی تقویت‌شده نصب می‌شوند و تمامی کابل‌های داده و برق از طریق سینی‌های هوایی (Overhead Trays) در سقف مسیریابی می‌گردند.
  • مدیریت نشتی: نصب سینی‌های جمع‌آوری نشتی (Drip Pans) متصل به حسگرها در کف زیرین رک‌ها برای محافظت از نشتی سیالات الزامی است.
  • تقویت شاسی: پروفیل‌های C-Channel کف باید به ضخامت ۴.۵ تا ۵ میلی‌متر ارتقا یابند تا خمش زیر پایه‌های رک به صفر برسد و لوله‌های صلب دچار شکست نشوند.

 

۵. معماری توزیع الکتریکی (IEC 61439)

تامین برق ۱۰۰ کیلوواتی از طریق کابل‌کشی سنتی درون کانتینر منجر به تراکم حرارتی شدید و اشغال کامل فضا می‌شود. راهکار استاندارد بر اساس IEC 61439-6، استفاده از سیستم‌های باس‌وی (Busway) هوایی تا ظرفیت ۱۰۰۰ آمپر در سقف کانتینر است.

این معماری به دلیل قابلیت جابجایی تپ‌آف‌ها (Hot-swappable Tap-off boxes) مسیرهای زیرین را برای تجهیزات خنک‌کننده آزاد گذاشته و پایداری بالایی در برابر اتصال کوتاه دارد. همچنین استفاده از معماری ۴۸ ولت DC بر اساس OCP ORv3 و باتری‌های لیتیم-یون برای مدیریت پرش‌های ناگهانی بار (GPU Power Spikes) ضروری است.

 

۶. انطباق با رگولاتوری و استانداردهای بومی فرانسه

فرانسه دارای پیچیده‌ترین پروتکل‌های قانونی اروپا برای زیرساخت‌های انرژی و محیط زیست است. بدون انطباق با این استانداردها، اخذ مجوزهای بهره‌برداری غیرممکن خواهد بود.

 

۶.۱ استاندارد EN 50600 و قانون صنعت سبز (Loi Industrie Verte)

بر اساس قانون صنعت سبز و استراتژی کم‌کربن فرانسه، کانتینرهای دیتاسنتر موظفند گرمای اتلافی خود را بازیابی کنند. رک‌های ۱۰۰ کیلوواتی مایع‌خنک، آب گرم ۵۰ تا ۶۰ درجه سانتی‌گراد تولید می‌کنند که می‌تواند بدون نیاز به پمپ حرارتی به شبکه گرمایش شهری تزریق شود (اندازه‌گیری توسط شاخص ERF طبق استاندارد EN 50600-4-6).

فلوچارت ادغام کانتینر مایع‌خنک با شبکه گرمایش شهری

۶.۲ الزامات زیست‌محیطی ICPE 2920 و آکوستیک

تطابق رگولاتوری: در فرانسه، استقرار تجهیزات دفع حرارت بیرونی مانند چیلرها و درای‌کولرها (Dry Coolers) که به صورت مدار بسته کار می‌کنند، آن‌ها را تحت شمول قوانین حفاظت از محیط زیست (ICPE - روبریک ۲۹۲۰) قرار می‌دهد.(توجه: روبریک ۳۱۱۰ به اشتباه گاهی ذکر می‌شود که صرفاً مختص برج‌های خنک‌کننده تبخیری باز با خطر لژیونلا است).

از نظر آکوستیک (Code de la Santé Publique)، نویز این دستگاه‌ها نباید بیش از ۵ دسی‌بل در روز و ۳ دسی‌بل در شب از صدای پس‌زمینه فراتر رود. نصب کانتینرهای آکوستیک با صداخفه‌کن‌های بافل‌دار برای این تجهیزات اجباری است.

 

۶.۳ اتصال به شبکه برق فرانسه (RTE/Enedis)

تامین برق مگاواتی خوشه‌های کانتینری نیازمند اتصال به شبکه‌های انتقال فشار قوی (HTB3) است. RTE اخیراً رویه «مسیر سریع» (Fast Track) را معرفی کرده که زمان اخذ انشعاب را در مناطق مستعد کاهش می‌دهد.

با این حال، انتقال پیشنهاد فنی و مالی انشعاب (PTF) بین شرکت‌ها محدود شده و تنها با اثبات پیوند سرمایه‌ای مستقیم (Capitalist Link) قانونی است تا از سفته‌بازی زمین جلوگیری شود.

نتیجه‌گیری مدیریتی: توسعه‌دهندگان در فرانسه باید ساختار حقوقی شرکت پروژه را پیش از درخواست انشعاب (PTF) تعیین تکلیف کنند. هر تغییری در مالکیت، ریسک باطل شدن مجوز انشعاب مگاواتی را به همراه دارد.

 

۷. تحلیل سناریو و مدیریت ریسک

با معماری‌های متراکم، خطاهای کوچک عواقب گسترده‌ای دارند. فرض کنید نشت موضعی قطره‌ای سیال از کانکتور رخ دهد:
  • تهدید: اتصال کوتاه و آتش‌سوزی در رک پردازنده‌های میلیون دلاری.
  • کنترل و فناوری: استفاده انحصاری از کانکتورهای Blind-Mate (UQDB) جهت رفع خطای انسانی ترازبندی. نصب نوارهای تشخیص نشتی (Leak Detection Tapes) و سینی‌های جمع‌آوری زیر رک.
  • واکنش: واحدهای CDU هوشمند در صورت افت فشار خط، سریعاً پمپ را کند کرده و شیرهای برقی منیفولد معیوب را مسدود می‌کنند.

 

۸. چک‌لیست اجرایی استقرار زیرساخت

  • شاسی سازه‌ای: ارتقاء پروفیل‌های کف کانتینر برای مهار بارهای نقطه‌ای ۲ تنی. انتقال تمامی کابل‌های برق و شبکه به سینی‌های هوایی سقف.
  • اتصالات هیدرولیک: تاییدیه OCP UQDB برای کاهش نشتی تا مرز ۰.۰۳۵ میلی‌لیتر.
  • مواد شیمیایی: تضمین عدم استفاده از ترکیبات ممنوعه PFAS مطابق با EU REACH.
  • آکوستیک و محیط زیست: نصب سایلنسرهای درای‌کولرها مطابق با قوانین ICPE 2920.
  • بازیافت حرارت: ایجاد Handoff point برای اتصال به شبکه گرمایش شهری (EN 50600-4-6).
  • توزیع الکتریکی: اجرای شبکه باس‌وی سقفی مطابق با IEC 61439 بجای کابل‌کشی سنتی.

 

۹. سوالات متداول (FAQ)

  1. چرا تهویه بادی (CRAC) در رک‌های بالای ۳۰ کیلووات کارایی ندارد؟ ظرفیت حرارتی هوا بسیار پایین است. دفع ۱۰۰ کیلووات با هوا نیازمند سرعت‌های طوفانی فن است که فراتر از تحمل فیزیکی قطعات، حد آکوستیک و استانداردهای مصرف انرژی (PUE) است.
  2. چرا از آب دی‌یونیزه خالص در سیستم مایع‌خنک کانتینر استفاده نمی‌شود؟ آب دی‌یونیزه خالص به شدت تمایل به جذب یون دارد و مانند یک حلال قدرتمند باعث خوردگی گالوانیک سریع فلزاتی مثل مس و آلومینیوم می‌شود؛ بنابراین ترکیب آن با مهارکننده‌ها یا PG25 الزامی است.
  3. تفاوت UQD و UQDB در چیست؟ کانکتورهای UQD توسط دست تکنسین متصل می‌شوند، در حالی که UQDB (Blind-Mate) مکانیزم خودتراز دارد و صرفاً با فشار دادن سرور داخل رک چفت می‌شود. این فناوری برای کانتینرهای تنگ حیاتی است.
  4. قوانین ICPE فرانسه چه تاثیری روی درای‌کولرها دارد؟ استقرار درای‌کولرها در محوطه کانتینرها آن‌ها را مشمول روبریک ۲۹۲۰ قوانین ICPE و محدودیت‌های آکوستیک (زیر ۶۰ دسی‌بل در شب) می‌کند که نیازمند محفظه‌های کاهش نویز است.

آیا برای استقرار خوشه‌های محاسباتی هوش مصنوعی آماده‌اید؟

برای طراحی زیرساخت‌های کانتینری مایع‌خنک با رعایت الزامات EU REACH و استانداردهای EN 50600، نیازمند معماری یکپارچه فیزیکی، هیدرولیکی و حقوقی هستید.

دریافت مشاوره مهندسی زیرساخت دیتاسنتر

     

نظرات :
ارسال نظر :

بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید