GPU-ready Data Center چیست؟ سند جامع تحقیقاتی و نقشه راه معماری زیرساخت

  • فیدار کوثر
  • 1405/6/12
راهنمای جامع طراحی و پیاده‌سازی دیتاسنتر GPU-ready
GPU-ready Data Center چیست؟ سند جامع تحقیقاتی و نقشه راه معماری زیرساخت

فهرست مطالب

میزبانی از بارهای کاری هوش مصنوعی (AI) و محاسبات با کارایی بالا (HPC) چالش‌های زیرساختی بی‌سابقه‌ای را برای مراکز داده سنتی ایجاد کرده است. دیتاسنترهای کلاسیک که بر پایه توان الکتریکی ۵ تا ۱۰ کیلووات به ازای هر رک و خنک‌کاری با هوا طراحی شده‌اند، توانایی مواجهه با شار حرارتی شدید و توان مصرفی سنگین خوشه‌های مدرن پردازش گرافیکی (GPU) را ندارند.

قرار دادن سرورهای پردازش سنگین نظیر شتاب‌دهنده‌های NVIDIA H100، GH200 یا معماری‌های GB200 NVL72 در رک‌های سنتی، منجر به افت شدید فرکانس هسته به دلیل داغ شدن (Thermal Throttling)، جهش‌های ناگهانی در مصرف برق و پدید آمدن گلوگاه‌های پهنای باند در بستر شبکه می‌شود.

یک دیتاسنتر GPU-ready یا دیتاسنتر آماده هوش مصنوعی، زیرساختی حیاتی و هدفمند است که کلیه اجزای فیزیکی، الکتریکی، مکانیکی و شبکه‌ای آن برای پشتیبانی پایدار از تراکم‌های توان ۳۰ تا بیش از ۱۲۰ کیلووات به ازای هر رک بازطراحی شده‌اند.

این مقاله به بررسی دقیق استانداردهای مهندسی، معماری توزیع برق، سیستم‌های خنک‌کاری مایع، الزامات کابل‌کشی ساخت‌یافته و مدلسازی اقتصادی دیتاسنترهای GPU-ready می‌پردازد.

 

۱. تعریف و ضرورت دیتاسنتر GPU-ready (Core Definition & Industrial Context)

 دیتاسنتر GPU-ready به زیرساخت پردازشی حساسی گفته می‌شود که به‌طور خاص برای پشتیبانی از تراکم توان بالای ۳۰ تا بیش از ۱۲۰ کیلووات به ازای هر رک، مدیریت شار حرارتی شدید پردازنده‌های گرافیکی از طریق خنک‌کاری مایع مستقیم (Direct-to-Chip)، توزیع برق ۴۸۰ ولت و بستر شبکه‌ای با تاخیر نزدیک به صفر طراحی شده است.

این مراکز امکان فعالیت ناپیوسته و مداوم پردازنده‌های هوش مصنوعی را بدون افت عملکرد حرارتی یا محدودیت تغذیه فراهم می‌سازند.

  • پشتیبانی از تراکم برق ۳۰ تا ۱۲۰+ کیلووات بر رک در مقایسه با ۵ تا ۱۰ کیلووات مراکز سنتی
  • گذار از خنک‌کاری با هوا به خنک‌کاری مایع مستقیم (DLC) یا غوطه‌وری
  • کاهش شاخص کارایی مصرف برق (PUE) به محدوده ۱.۱۵ تا ۱.۳۵
  • تامین بستر شبکه‌ای غیرمسدودکننده نظیر InfiniBand و RoCE v2

در خنک‌کاری سنتی با هوا (Air Cooling)، ظرفیت گرمایی ویژه هوا محدودکننده اصلی است. برای دفع حرارت ناشی از یک رک ۵۰ کیلوواتی، حجم هوای عبوری (CFM) مورد نیاز به قدری افزایش می‌یابد که سرعت جریان هوا باعث ایجاد فن‌های فوق‌العاده پرصدا، افت فشار شدید، ناپایداری‌های دینامیکی و ایجاد نقاط داغ (Hot Spots) در دیتاسنتر می‌شود.

زمانی که توان مصرفی سرورها از مرز ۲۵ تا ۳۰ کیلووات عبور می‌کند، خنک‌کاری صرفاً بر پایه هوا از نظر اقتصادی و فیزیکی غیرممکن می‌گردد. جدول زیر پارامترهای مهندسی کلیدی زیرساخت‌های سنتی و GPU-ready را مقایسه می‌کند تا تمایزات ساختاری آن‌ها آشکار شود.

 

شاخص ارزیابی دیتاسنتر سنتی (CPU-Centric) دیتاسنتر GPU-ready (AI-Centric)
تراکم توان در هر رک (kW/Rack) ۵ تا ۱۰ کیلووات ۳۰ تا ۱۲۰+ کیلووات
توپولوژی اصلی خنک‌کاری هوای سرد زیر کف کاذب (CRAH/CRAC) خنک‌کاری مایع مستقیم (Direct-to-Chip) / غوطه‌وری
شاخص کارایی مصرف برق (PUE) ۱.۵۰ تا ۱.۸۰ ۱.۱۵ تا ۱.۳۵
معماری توزیع برق داخلی ۲۰۸/۲۳۰ ولت متناوب ۴۸۰ ولت متناوب / باس‌بارهای پرقدرت
بستر شبکه‌ای پردازش Ethernet استاندارد (۱۰/۴۰/۱۰۰ گیگابیت) InfiniBand / RoCE v2 با تاخیر ناچیز
تحمل بار استاتیکی کف (Weight Load) ۵۰۰ تا ۸۰۰ کیلوگرم بر متر مربع ۱۵۰۰ تا بیش از ۲۵۰۰ کیلوگرم بر متر مربع

تحلیل داده‌های جدول بالا نشان می‌دهد که تغییر پارادایم از پردازش عمومی به پردازش شتاب‌یافته، نیازمند ارتقای ۳ تا ۱۰ برابری در تراکم توان و ظرفیت بارگذاری سازه است. تصمیم‌گیرندگان فنی باید توجه داشته باشند که استفاده از تجهیزات پرقدرت در سالن‌های سنتی، حتی با وجود نصب سیستم‌های محوّطه راهرو سرد/گرم، در کوتاه‌مدت به خطاهای حرارتی مکرر می‌انجامد.

 

رک دیتاسنتر هوش مصنوعی

 

۲. معماری توان و توزیع الکتریکی (Electrical Power Architecture & Sizing)

معماری توان در دیتاسنترهای GPU-ready نیازمند توزیع برق فشار ضعیف ۴۸۰ ولت، باس‌بارهای پرتراکم و سیستم‌های UPS با پاسخ دینامیکی سریع است تا جهش‌های ناگهانی بار (Step-Loads) ناشی از الگوریتم‌های هوش مصنوعی را بدون افت ولتاژ یا اختلال مدیریت کند.

 

۲.۱. چالش تراکم توان و بارهای دینامیک (Rack Density & Dynamic Step-Loads)

پردازنده‌های گرافیکی مدرن توان حرارتی (TDP) بسیار بالایی دارند. به عنوان نمونه، پردازنده NVIDIA GH200 Superchip دارای توان مصرفی ۱۰۰۰ وات، شتاب‌دهنده AMD MI250X دارای توان ۵۶۰ وات به ازای هر دای و سرورهای استاندارد شامل پردازنده‌های 5th Gen Intel Xeon دارای TDP حدود ۳۵۰ وات هستند.

هنگام اجرای الگوریتم‌های یادگیری عمیق، توان مصرفی این تجهیزات به‌صورت پله‌ای و ناگهانی تغییر می‌کند (Dynamic Step-Loads). جهش‌های ناگهانی در مصرف جریان (Transient Loads) به سیستم‌های توزیع برق، ترانسفورماتورها و یوپی‌اس‌ها (UPS) استرس شدید وارد می‌کنند.

اگر سیستم تغذیه توان دیتاسنتر پاسخ دینامیکی مناسبی نداشته باشد، این جهش‌ها موجب افت ولتاژ (Voltage Sag) و اختلال در عملکرد کل خوشه پردازشی می‌شوند.

 

۲.۲. زیرساخت برق، ژنراتور و پایداری شبکه (Distribution, UPS & Utility Permitting)

  • توزیع برق ۴۸۰ ولت: برای انتقال جریان‌های بالا بدون افزایش بیش از حد قطر و وزن هادی‌های مسی، دیتاسنترهای GPU-ready از توزیع برق ۴۸۰ ولت و سیستم‌های باس‌بار (Busbar Trunking) استفاده می‌کنند که اتلاف توان را به شدت کاهش می‌دهد.
  • یوپی‌اس و ژنراتورهای پشتیبان: یوپی‌اس‌ها باید توانایی مدیریت نوسانات ناگهانی بار (Dynamic Response) را داشته باشند. همچنین، برای تضمین پایداری خوشه‌های هوش مصنوعی، تامین سوخت دیزل‌ژنراتورها برای حداقل ۹۶ ساعت کارکرد مداوم در نظر گرفته می‌شود.
  • چالش اتصال به شبکه برق (Utility Lead Times): تامین توان ۳۰ تا ۶۰ مگاواتی برای دیتاسنترهای هوش مصنوعی نیازمند اخذ مجوزها و ارتقای پست‌های فوق‌توزیع برق شهری است. فرایند تایید و اجرای این اتصالات شبکه‌ای در نقاط مختلف دنیا بین ۱۸ تا ۳۶ ماه زمان می‌برد؛ از این رو، ارزیابی برق واقعی و قراردادی قبل از تامین تجهیزات ضروری است.

 

جدول زیر مدل محاسباتی مرحله‌به‌مرحله را برای برآورد ظرفیت زیرساخت الکتریکی در یک استقرار ۱۰۰ رکی مقایسه می‌کند.

مرحله محاسباتی فرمول / پارامتر ارزیابی دیتاسنتر سنتی (۱۰kW/Rack) دیتاسنتر GPU-Ready (۵۰kW/Rack) ملاحظات مهندسی
۱. بار مصرفی تجهیزات IT تعداد رک × توان مصرفی هر رک ۱.۰ مگاوات (۱۰۰ × ۱۰ kW) ۵.۰ مگاوات (۱۰۰ × ۵۰ kW) بار پردازشی ۵ برابر بیشتر است.
۲. بار کل دیتاسنتر با ضریب PUE بار IT × شاخص PUE هدف ۱.۶ مگاوات (PUE ۱.۶۰) ۶.۲۵ مگاوات (PUE ۱.۲۵) خنک‌کاری مایع تلفات PUE را کاهش می‌دهد.
۳. ظرفیت سیستم UPS (N+1) بار IT × ضریب اطمینان (۱۱۰٪) ۱.۱ مگاوات ظرفیت UPS ۵.۵ مگاوات ظرفیت UPS Sized برای پاسخگویی به بارهای دینامیک
۴. ظرفیت ترانسفورماتور اصلی توان UPS / ضریب توان (0.8 PF) ۱.۳۷۵ مگاوات‌آمپر (MVA) ۶.۸۷۵ مگاوات‌آمپر (MVA) نیازمند شبکه توزیع ۴۸۰ ولت

تحلیل جدول محاسباتی فوق مشخص می‌سازد که یک سایت ۱۰۰ رکی GPU-ready به ترانسفورماتوری با ظرفیت نزدیک به ۷ مگاوات‌آمپر نیاز دارد. این حجم از توان مصرفی نیازمند بازنگری در قراردادهای تامین انرژی و تعبیه سیستم‌های حفاظتی پیشرفته در ورودی فشار متوسط دیتاسنتر است.

 

۳. سیستم‌های مدیریت حرارتی و خنک‌کاری مایع (Thermal Management & Liquid Cooling)

مدیریت حرارتی دیتاسنترهای GPU-ready بر پایه سیستم‌های خنک‌کاری مایع مستقیم (Direct-to-Chip)، واحد‌های توزیع مایع (CDU) و استاندارد ASHRAE TC 9.9 5th Edition استوار است تا دفع حرارت بیش از ۳۰ تا ۱۲۰ کیلووات بر رک را بدون نیاز به چیلرهای پرمصرف فراهم آورد.

 

۳.۱. روش‌های خنک‌کاری: Direct-to-Chip، غوطه‌وری و RDHx (Cooling Topologies)

تکنولوژی‌های خنک‌کاری مایع به سه دسته اصلی تقسیم می‌شوند:

  1. خنک‌کاری مایع مستقیم روی تراشه (Direct-to-Chip - DLC): در این روش، صفحه سرد فلزی (Cold Plate) مستقیماً روی پردازنده‌های اصلی (CPU/GPU) نصب می‌شود. سیال خنک‌کننده با عبور از کانال‌های میکروسکوپی، حرارت را تا ۱۰۰۰ برابر کارآمدتر از هوا جذب می‌کند. این سیستم توانایی پشتیبانی از تراکم ۵۰ تا ۱۰۰ کیلووات بر رک را داشته و مصرف انرژی خنک‌کاری را تا ۹۰٪ کاهش می‌دهد.
  2. خنک‌کاری غوطه‌وری (Immersion Cooling): سرورها به‌طور کامل درون مایع دی‌الکتریک غیررسانا غوطه‌ور می‌شوند. سیال حرارت تمام قطعات (شامل حافظه، منبع تغذیه و پردازنده) را جذب می‌کند. سیستم‌های غوطه‌وری توانایی خنک‌کاری تراکم‌های بیش از ۱۵۰ کیلووات به ازای هر رک را دارا هستند.
  3. مبدل‌های حرارتی درب پشتی (Rear Door Heat Exchangers - RDHx): رادیاتورهای مبتنی بر مایع در درب پشتی رک نصب شده و هوای داغ خروجی از سرورها را قبل از ورود به سالن خنک می‌کنند. این روش معمولاً در سالن‌های ترکیبی (Hybrid) استفاده می‌شود؛ جایی که ۷۰ تا ۸۰ درصد حرارت توسط مایع و ۲۰ تا ۳۰ درصد باقیمانده توسط سیستم‌های هوایی جذب می‌گردد.

 

معماری دوحلقه واحد توزیع مایع خنک‌کننده (CDU)

جدول زیر گذار تکنولوژی‌های خنک‌کاری را بر اساس تراکم توان و الزامات استاندارد نشان می‌دهد.

سطح تراکم توان مصرفی رک توپولوژی خنک‌کاری پیشنهادی PUE تقریبی کلاس استاندارد ASHRAE
سطح ۱: هوایی سنتی ۱ تا ۱۵ کیلووات کف کاذب / CRAH پریمتر ۱.۵۰ – ۱.۸۰ Class A1 / A2 Air
سطح ۲: هوایی محصور ۱۵ تا ۲۵ کیلووات راهرو سرد/گرم محصور + In-Row ۱.۳۵ – ۱.۵۰ Class A3 / H1 Air
سطح ۳: ترکیبی (Hybrid) ۲۵ تا ۶۰ کیلووات Direct-to-Chip (۷۰٪) + RDHx هوایی (۳۰٪) ۱.۲۰ – ۱.۳۵ Class W17 / W27 Liquid
سطح ۴: مایع متراکم ۶۰ تا ۱۰۰+ کیلووات Direct-to-Chip کامل + آب گرم ۱.۱۵ – ۱.۲۵ Class W32 / W40 Liquid
سطح ۵: تراکم فوق‌سنگین بیش از ۱۵۰ کیلووات خنک‌کاری غوطه‌وری کامل (Immersion) ۱.۰۵ – ۱.۱۵ Class W45 / W+ Liquid

تحلیل جدول بالا نشان می‌دهد که از مرز توان ۲۵ کیلووات به بعد، معماری خنک‌کاری به‌طور کامل از حالت صرفاً هوایی خارج شده و وارد فاز ترکیبی یا مایع کامل می‌شود. این گذار نیازمند تغییر در طراحی لوله‌کشی سالن دیتاسنتر است.

 

۳.۲. استاندارد ASHRAE TC 9.9 ویرایش پنجم و کلاس‌های W (ASHRAE 5th Edition Standards)

کمیته فنی ۹.۹ انجمن ASHRAE در ویرایش پنجم دستورالعمل حرارتی خود (2021 5th Edition)، کلاس‌های قدیمی خنک‌کاری مایع (W1 تا W5) را بازنگری کرده و نام‌گذاری جدیدی بر اساس حداکثر دمای آب ورودی تعیین نموده است:

  • Class W17 (آب ورودی تا ۱۷ درجه سانتی‌گراد): نیازمند چیلر تراکمی مداوم.
  • Class W27 (آب ورودی تا ۲۷ درجه سانتی‌گراد): استفاده از چیلر به همراه اکونومایزر در ساعات گرم سال.
  • Class W32 (آب ورودی تا ۳۲ درجه سانتی‌گراد): امکان استفاده از برج خنک‌کننده یا اکونومایزر سمت آب بدون چیلر در اکثر شرایط آب‌وهوایی.
  • Class W40 (آب ورودی تا ۴۰ درجه سانتی‌گراد): کلاس جدید معرفی‌شده در ویرایش پنجم؛ کارکرد با درای‌کولر (Dry Cooler) بسته.
  • Class W45 (آب ورودی تا ۴۵ درجه سانتی‌گراد): کارکرد کاملاً بدون چیلر (Chillerless) حتی در اقلیم‌های گرم.
  • Class W+ (آب ورودی بیش از ۴۵ درجه سانتی‌گراد): مخصوص بازیافت انرژی حرارتی برای سیستم‌های گرمایشی.

مطابق با دستورالعمل ویرایش پنجم ASHRAE TC 9.9، شرط تطابق یک تجهیز با کلاس W، عملکرد کامل و بدون افت فرکانس (Unthrottled Operation) سرور در تمام محدوده دمایی آن کلاس است.

جدول زیر مشخصات کلاس‌های جدید خنک‌کاری مایع را طبق ویرایش پنجم استاندارد ASHRAE TC 9.9 خلاصه می‌کند.

 

کلاس مایع (ویرایش پنجم) حداکثر دمای آب ورودی (°C) زیرساخت خنک‌کاری اصلی نیاز به چیلر پتانسیل Free-Cooling
W17 ۱۷ °C چیلر تراکمی استاندارد مداوم بسیار کم
W27 ۲۷ °C چیلر + اکونومایزر فقط در اوج گرمای تابستان متوسط
W32 ۳۲ °C برج خنک‌کننده / اکونومایزر آب محدود به شرایط استثنایی بالا
W40 ۴۰ °C درای‌کولر مدار بسته بدون نیاز به چیلر بسیار بالا
W45 ۴۵ °C درای‌کولر هوایی مستقیم ۱۰۰٪ بدون چیلر حداکثر
W+ بیش از ۴۵ °C سیستم‌های بازیافت حرارت (Heat Reuse) ۱۰۰٪ بدون چیلر + بازیافت کامل

از جدول فوق می‌توان دریافت که بهره‌گیری از کلاس‌های W40 و W45 نیاز به سیستم‌های چیلر تراکمی پرمصرف را برطرف کرده و به دیتاسنتر اجازه می‌دهد در اکثر اقلیم‌ها صرفاً با درای‌کولرهای مداربسته کار کند.

 

۳.۳. معماری واحد توزیع مایع خنک‌کننده (CDU & Loop Separation)

واحد توزیع مایع خنک‌کننده (Coolant Distribution Unit - CDU) قلب خنک‌کاری مایع است. وظیفه اصلی CDU تفکیک فیزیکی حلقه آب کارخانه (Facility Water System - FWS) از حلقه خنک‌کاری تجهیزات (Technology Cooling Loop - TCL) است.

  • کیفیت مایع و کنترل خوردگی: سیال جاری در حلقه TCL مستقیماً با صفحات سرد سرورها در تماس است؛ بنابراین باید از آب دی‌اونیزه به همراه مواد ضدخوردگی و ضدباکتری استفاده شود.
  • مدیریت فشار و دبی: CDUها با پمپ‌های متغیر، دبی جریان (GPM) و فشار سیال را متناسب با بار پردازشی GPU تنظیم می‌کنند.
  • دستورالعمل‌های عملیاتی (SOP/FMEA): دیتاسنتر باید مجهز به سنسورهای نقطه‌ای و نواری نشت مایع، مخازن انبساط، سیستم‌های تخلیه/تزریق نیتروژن و سناریوهای تحلیل حالت و آثار شکست (FMEA) باشد.

 

۴. زیرساخت شبکه و کابل‌کشی ساخت‌یافته (High-Speed Network Fabric & TIA-942-C)

زیرساخت شبکه در دیتاسنترهای هوش مصنوعی نیازمند بسترهای ارتباطی غیرمسدودکننده با تاخیر ناچیز (مانند InfiniBand و RoCE v2) و رعایت استاندارد TIA-942-C جهت جداسازی مسیرهای کابل‌کشی فیبر نوری از لوله‌های مایع و خروجی حرارت است.

توزیع بارهای یادگیری ماشین بین هزاران GPU نیازمند تبادل داده با پهنای باند بالا و تاخیر بسیار کم است. شبکه ارتباطی بین GPUها از بسترهای اختصاصی زیر استفاده می‌کند:

  • InfiniBand: پروتکلی با تاخیر سخت‌افزاری بسیار کم و پهنای باند بالا که کنترل جریان داده را مستقیماً انجام می‌دهد.
  • RoCE v2 (RDMA over Converged Ethernet): امکان دسترسی مستقیم حافظه از راه دور بر روی بسترهای اتصالات اترنت را فراهم می‌سازد.
  • پروتکل CXL 1.1 و PCIe Gen 5/6: استفاده از پروتکل Compute Express Link (CXL 1.1) بر روی گذرگاه PCIe تاخیر ارتباطی میان حافظه و پردازنده‌ها را کاهش داده و اتصال ۱:۱ بدون اشتراک‌گذاری (Non-oversubscribed) را برای درایوهای NVMe فراهم می‌سازد.

استاندارد TIA-942-C الزامات ویژه‌ای را برای کابل‌کشی دیتاسنترهای تراکم بالا تعیین کرده است.

 

زیرساخت شبکه رک سرور

 

۵. سازه، بارگذاری کف و ملاحظات فیزیکی (Physical Infrastructure & Floor Weight Sizing)

 به دلیل وزن فوق‌العاده سنگین رک‌های خنک‌کاری‌شده با مایع (بیش از ۱.۵ تن در معماری‌هایی مانند GB200 NVL72)، دیتاسنترهای GPU-ready نیازمند زیرسازی بتنی مسلح (Slab-on-grade) و تحمل بار بالای ۱۵۰۰ تا ۲۵۰۰ کیلوگرم بر متر مربع هستند. رک‌های خنک‌کاری‌شده با مایع و سرورهای پرتراکم هوش مصنوعی وزن بسیار سنگینی دارند.

به عنوان مثال، یک رک کامل از معماری NVIDIA GB200 NVL72 به همراه مایع خنک‌کننده درون منیفولدها وزنی بیش از ۱.۵ تن (حدود ۱۷۰۰ کیلوگرم) دارد. این حجم از وزن، فشار نقطه‌ای (Point-Load) و فشار گسترده (Distributed Load) شدیدی به کف وارد می‌کند.

سازه‌های سنتی با کف کاذب استاندارد توانایی تحمل این بار را نداشته و دیتاسنترهای GPU-ready نیازمند کف بتنی مسلح روی زمین (Slab-on-grade) یا سازه‌های تقویت‌شده با تیرهای فولادی هستند.

  • فضای سفید اضافی (White Space): به ازای هر مگاوات توان پردازشی هوش مصنوعی، حدود ۲۰ درصد فضای سفید اضافی جهت نصب CDUها، لوله‌های اصلی منیفولد و مسیرهای کابل‌کشی سنگین نیاز است.
  • ریشه اطمینان سخت‌افزاری (Hardware RoT): سرورهای پردازش گرافیکی پیشرفته از تراشه‌های امنیتی CEC جهت اعتبارسنجی فریم‌ور و ایجاد ریشه اطمینان سخت‌افزاری (Hardware Root of Trust) بهره می‌برند که نیازمند کنترل‌های دسترسی فیزیکی دقیق‌تر در سالن‌های دیتاسنتر است.

 

۶. ارزیابی اقتصادی، PUE و مدل‌های درآمدی (Economics, PUE & Revenue Density)

دیتاسنترهای GPU-ready با کاهش شاخص PUE به ۱.۱۵ تا ۱.۳۵ (در شرایط استفاده از اکونومایزر و کلاس‌های W32 به بالا) و افزایش درآمد هر رک (ARR) از ۵۰ هزار دلار به بیش از ۹۰۰ هزار دلار در سال، بازدهی اقتصادی و تراکم درآمدی به مراتب بالاتری نسبت به مراکز داده سنتی ارائه می‌دهند.

سرمایه‌گذاری در زیرساخت GPU-ready با وجود هزینه اولیه (CAPEX) بالاتر، به دلیل بهینه‌سازی شدید هزینه‌های جاری (OPEX) و ایجاد مدل‌های درآمدی پربازده کاملاً توجیه‌پذیر است:

  • کاهش شاخص PUE: استفاده از خنک‌کاری مایع و اکونومایزر، PUE دیتاسنتر را از ۱.۵۰ تا ۱.۸۰ به ۱.۱۵ تا ۱.۳۵ می‌رساند. این امر اتلاف انرژی در بخش خنک‌کاری را تا ۴۰ درصد کاهش می‌دهد.
  • چگالی درآمد هر رک (ARR per Rack): در حالی که یک رک سنتی ۱۰ کیلوواتی سالانه حدود ۵۰ هزار دلار درآمد ایجاد می‌کند (۵ دلار به ازای هر کیلووات در ماه)، یک رک ۵۰ کیلوواتی GPU می‌تواند تا ۹۰۰ هزار دلار در سال درآمدزایی داشته باشد (۱۵ تا ۲۵ دلار به ازای هر کیلووات در ماه).
  • تعرفه‌های انتقال برق (Power Pass-Through): اپراتورهای دیتاسنتر هزینه‌های برق مصرفی مستاجران هوش مصنوعی را با ضریب ۱۰۰ تا ۱۱۰ درصد نرخ برق مصرفی (۱۰٪ کارمزد بالاسری) محاسبه کرده و خطر نوسانات قیمت انرژی را جبران می‌کنند.

 

بهره‌وری اقتصادی دیتاسنتر

 

۷. راهنمای ارزیابی، راه‌اندازی و چک‌لیست تصمیم‌گیری (Commissioning SOP & Decision Matrix)

 ارزیابی و راه‌اندازی دیتاسنتر GPU-ready نیازمند اجرای تست‌های یکپارچه سیستم (IST)، تست هیدرواستاتیک، شبیه‌سازی بار حرارتی واقعی با بانک‌های بار و ممیزی بر اساس چک‌لیست آمادگی زیرساخت است. قبل از بارگذاری سرورهای واقعی، دیتاسنتر باید مراحل تست IST را طی کند:

  1. تست فشار هیدرواستاتیک: بررسی عدم نشتی لوله‌ها و منیفولدهای TCL در فشاری بالاتر از فشار کاری.
  2. تست بانک بار حرارتی (Thermal Load Banking): شبیه‌سازی بار الکتریکی و حرارتی ۵۰ تا ۱۰۰ کیلوواتی در هر رک جهت سنجش عملکرد درای‌کولرها و CDUها در شرایط اوج گرمای تابستان.
  3. تحلیل FMEA: قطع ناگهانی یکی از پمپ‌های CDU یا خطوط تغذیه برق جهت اطمینان از عملکرد بدون وقفه سیستم‌های جایگزین.

 

جدول زیر چک‌لیست سنجش آمادگی دیتاسنتر را برای میزبانی از تجهیزات تراکم‌بالای GPU ارائه می‌دهد

معیار ارزیابی حداقل استاندارد مورد قبول وضعیت مطلوب (Best Practice) درصد اهمیت
توان واقعی قابل تحویل ۳۰ کیلووات به ازای هر رک ۶۰ تا ۱۰۰+ کیلووات به ازای هر رک ۲۵٪
زیرساخت خنک‌کاری امکان نصب RDHx و خطوط FWS سیستم Direct-to-Chip با CDU و کشف نشتی ۲۵٪
تحمل بار کف سالن ۱۰۰۰ کیلوگرم بر متر مربع ۲۰۰۰+ کیلوگرم بر متر مربع (Slab-on-grade) ۱۵٪
تطابق با ASHRAE TC 9.9 پشتیبانی از کلاس W27 پشتیبانی از کلاس W32 / W40 بدون چیلر ۱۵٪
تنوع مسیر فیبر نوری ۲ مسیر ورود فیزیکی مجزا ۳+ مسیر ورود فیزیکی با TIA-942-C ۱۰٪
پایداری توزیع برق پشتیبانی ۴۸۰ ولت + N+1 UPS سیستم اتوماتیک مدیریت بارهای دینامیک ۱۰٪

تحلیل جدول فوق مشخص می‌سازد که وزن اصلی ارزیابی (۵۰ درصد) بر عهده توان تغذیه واقعی و سیستم خنک‌کاری مایع است. عدم احراز حداقل‌ها در این دو بخش، ریسک قطعی زیرساخت را به شدت افزایش می‌دهد.

جدول مقایسه‌ای زیر راهنمای جامعی را برای انتخاب توپولوژی خنک‌کاری مناسب بر اساس تراکم توان سالن ارائه می‌دهد.

شرایط کاری / تراکم Contained Air POD Hybrid Direct Liquid Cooling Full Immersion Cooling
تراکم توان هدف ۱۵ تا ۲۵ کیلووات بر رک ۳۰ تا ۱۰۰ کیلووات بر رک بیش از ۱۰۰ کیلووات بر رک
کاربرد اصلی استنتاج هوش مصنوعی (Inference) و CPU آموزش مدل‌های بزرگ (LLM Training) ابرمحاسبات فوق‌سنگین (HPC)
محدودیت اصلی عدم توانایی خنک‌کاری بالای ۳۵kW نیازمند کنترل دقیق کیفیت آب پیچیدگی سرویس فیزیکی قطعات
PUE قابل دسترسی ۱.۳۵ – ۱.۵۰ ۱.۱۵ – ۱.۲۵ ۱.۰۵ – ۱.۱۵

تحلیل ماتریس تصمیم‌گیری فوق نشان می‌دهد که برای اکثر پروژه‌های جاری هوش مصنوعی (نظیر آموزش مدل‌های زبانی)، روش Hybrid Direct Liquid Cooling مناسب‌ترین توازن را میان پیچیدگی عملیاتی، هزینه و کارایی حرارتی برقرار می‌سازد.

 

سازه تحمل وزن رک

 

۸. سوالات متداول (FAQ)

۱. دیتاسنتر GPU-ready چیست؟

دیتاسنتر GPU-ready زیرساختی هدفمند است که با ارائه توان برق بالای ۳۰ تا ۱۲۰ کیلووات بر رک، خنک‌کاری مایع مستقیم (DLC) و شبکه کم‌تاخیر، امکان کارکرد ناپیوسته سرورهای هوش مصنوعی را فراهم می‌کند.

۲. چرا خنک‌کاری با هوا برای رک‌های پرتراکم GPU پاسخگو نیست؟

ظرفیت گرمایی محدود هوا امکان دفع شار حرارتی شدید پردازنده‌های بالای ۵۰ کیلووات در هر رک را ندارد و منجر به ایجاد نقاط داغ و افت فرکانس حرارتی (Thermal Throttling) می‌شود.

۳. کلاس‌های مایع ASHRAE TC 9.9 ویرایش پنجم چه تغییراتی کرده‌اند؟

کلاس‌های قدیمی W1-W5 با کلاس‌های W17، W27، W32، W40، W45 و W+ جایگزین شده‌اند که بر اساس حداکثر دمای آب ورودی نام‌گذاری شده و عملکرد بدون افت پردازنده را الزامی می‌دانند.

۴. شاخص PUE در دیتاسنترهای خنک‌کاری مایع چقدر بهبود می‌یابد؟

با استفاده از خنک‌کاری مایع مستقیم و اکونومایزرهای سمت آب، شاخص PUE از محدوده ۱.۵–۱.۸ در دیتاسنترهای سنتی به ۱.۱۵–۱.۳۵ کاهش می‌یابد.

۵. استاندارد TIA-942-C چه الزامی برای کابل‌کشی رک‌های GPU دارد؟

این استاندارد جداسازی فیزیکی مسیرهای کابل‌کشی فیبر نوری از لوله‌های مایع خنک‌کننده و معابر خروج هوای داغ را برای جلوگیری از آسیب دیدن اتصالات الزام می‌کند.

 

۹. نتیجه‌گیری و گام‌های بعدی

انتقال به عصر پردازش‌های هوش مصنوعی و محاسبات سنگین، بازطراحی بنیانی زیرساخت‌های دیتاسنتر را اجتناب‌ناپذیر کرده است. دیتاسنترهای GPU-ready تنها یک ارتقای سخت‌افزاری ساده نیستند، بلکه یک یکپارچه‌سازی سیستماتیک میان توزیع برق ۴۸۰ ولت، سیستم‌های خنک‌کاری مایع مستقیم (DLC)، استانداردهای حرارتی ASHRAE TC 9.9 5th Edition و معماری کابل‌کشی TIA-942-C به شمار می‌روند.

سرمایه‌گذاران و مدیران ارشد فناوری باید پیش از خرید شتاب‌دهنده‌های گران‌قیمت هوش مصنوعی، آمادگی واقعی زیرساخت شامل توان الکتریکی قراردادی، ظرفیت تحمل بار کف سالن و زیرساخت خنک‌کاری مایع را ارزیابی کنند.

 

خدمات مشاوره‌ای و اجرایی فیدار کوثر

شرکت فیدار کوثر با بهره‌گیری از متخصصین ارشد زیرساخت دیتاسنتر، آماده ارائه خدمات جامع زیر در زمینه دیتاسنترهای آماده هوش مصنوعی است:
  • ممیزی و ارزیابی آمادگی زیرساخت موجود برای پذیرش بارهای کاری GPU
  • طراحی مهندسی و اجرای سیستم‌های خنک‌کاری مایع مستقیم (DLC) و واحدهای CDU
  • امکان‌سنجی، تامین تجهیزات و پیاده‌سازی دیتاسنترهای ماژولار و کانتینری پرتراکم
  • مشاوره در تطابق زیرساخت با آخرین استانداردهای بین‌المللی ASHRAE و TIA-942-C

جهت دریافت مشاوره فنی یا درخواست ممیزی زیرساخت، با کارشناسان فیدار کوثر در ارتباط باشید.

 

نظرات :
ارسال نظر :

بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید