Bên trong siêu máy tính lớn nhất thế giới của Elon Musk

Cuối tháng 5 vừa qua, Elon Musk tuyên bố tham vọng xây dựng siêu máy tính lớn nhất thế giới để phát triển và huấn luyện cho Grok, hệ thống trí tuệ nhân tạo (AI) được phát triển bởi xAI, công ty chuyên về AI do Elon Musk thành lập.

Grok là chatbot tích hợp AI được xAI cho ra mắt lần đầu tiên vào tháng 11 năm ngoái, nhằm cạnh tranh với ChatGPT của OpenAI, phần mềm chatbot AI được đánh giá là thông minh nhất hiện nay.

Sau tuyên bố của Elon Musk, xAI chỉ mất 122 ngày để lắp ráp và hoàn tất phát triển siêu máy tính Colossus, đặt tại thành phố Memphis, bang Tennessee. Tính đến thời điểm hiện tại, siêu máy tính này đã đi vào hoạt động hơn 2 tháng.

Mới đây, những chi tiết bên trong siêu máy tính Colossus của xAI lần đầu tiên được tiết lộ.

Theo đó, kênh YouTube công nghệ có tên ServeTheHome đã được quyền ghé thăm bên trong Colossus và cho thấy cái nhìn tổng quan về siêu máy tính khổng lồ này.

Các thông tin chi tiết về siêu máy tính như công suất tiêu thụ điện năng, hệ thống làm mát… không được tiết lộ do những vấn đề về bảo mật. Tuy nhiên, ServeTheHome cho biết hệ thống siêu máy tính này được trang bị đến 100.000 card đồ họa Nvidia H100, xử lý đồ họa mạnh nhất hiện nay.

Colossus sử dụng cấu trúc máy chủ HGX H100 của Nvidia, chứa 8 card đồ họa H100 trên mỗi chiếc, được làm mát bằng hệ thống chất lỏng. 8 hệ thống máy chủ sẽ được đặt chung trên một giá đỡ, tạo thành từng cụm 64 card đồ họa. Mỗi máy chủ có 4 nguồn điện dự phòng.

Mỗi card đồ họa sẽ có một NIC (bộ điều khiển giao diện mạng) chuyên dụng ở tốc độ 400GbE (Gigabit Ethernet, tương đương 1.000Mb/s), giúp đảm bảo tốc độ kết nối tối đa cho các hệ thống máy chủ bên trong siêu máy tính.

Dĩ nhiên, một siêu máy tính để đào tạo mô hình AI như Grok cần nhiều thứ hơn chỉ là những card đồ họa để hoạt động. Tuy nhiên, các thông tin chi tiết về bộ xử lý trung tâm, dung lượng lưu trữ… của máy chủ này không được phía xAI tiết lộ.

Bên ngoài nơi đặt siêu máy tính Colossus là hàng loạt hệ thống Tesla Megapack. Đây là những hệ thống lưu trữ năng lượng quy mô lớn do hãng xe điện Tesla của Elon Musk phát triển, dùng để tích trữ và cung cấp điện từ các nguồn năng lượng tái tạo như điện mặt trời hoặc điện gió.

Tesla Megapack được thiết kế phục vụ cho các cơ sở hạ tầng lớn và đủ sức đáp ứng năng lượng cho cả một khu vực rộng lớn. Việc sử dụng Tesla Megapack giúp đảm bảo siêu máy tính Colossus luôn có thể hoạt động mà không phụ thuộc vào lưới điện cung ứng từ bên ngoài.

Hiện tại Colossus đã đi vào hoạt động, nhưng đại diện xAI cho biết quá trình phát triển của siêu máy tính này vẫn chưa hoàn thiện.

Trong thời gian tới, quy mô của siêu máy tính sẽ được mở rộng để tăng thêm sức mạnh, bổ sung thêm 50.000 bộ xử lý đồ họa H100 và 50.000 bộ xử lý đồ họa H200, tất cả đều của Nvidia. Đến khi hoàn thiện, siêu máy tính Colossus sẽ được trang bị đến 300.000 bộ xử lý đồ họa H200.

Colossus không phải là siêu máy tính đầu tiên được Elon Musk đầu tư và xây dựng. Trước đó, vị tỷ phú này cũng đã xây dựng siêu máy tính Cortex tại thành phố Austin, bang Texas. Siêu máy tính này được trang bị 50.000 bộ xử lý đồ họa, chịu trách nhiệm phát triển và đào tạo hệ thống AI và tự lái trên xe điện Tesla.

Ngoài ra, Tesla cũng dự kiến sẽ xây dựng một siêu máy tính khác mang tên gọi Dojo tại thành phố Buffalo, bang New York, với chi phí 500 triệu USD.