Công ty khởi nghiệp AI của Elon Musk, xAI, gần đây đã công bố rằng “Colossus”, siêu máy tính đào tạo AI (trí tuệ nhân tạo) mạnh nhất thế giới, hiện đã trực tuyến. Có trụ sở tại Memphis, Tennessee, siêu máy tính AI mới này được xây dựng chỉ trong bốn tháng (122 ngày).
Cụm đào tạo xAI mới được xây dựng bằng 100.000 GPU chuẩn NVIDIA Hopper H100, một thành phần có nhu cầu cao để đào tạo các mô hình AI mới. Mô hình này được thiết kế để đào tạo thế hệ tiếp theo của mô hình ngôn ngữ lớn (LLM) của xAI, Grok.
Công ty cũng có kế hoạch tăng gấp đôi số lượng GPU lên 200.000 trong vài tháng bằng cách bổ sung thêm 50.000 chip thuộc dòng H200 mới, tiên tiến hơn của NVIDIA, cung cấp bộ nhớ tính toán cao hơn.
Hơn nữa, GPU chuẩn mực mới Hopper H200 của NVIDIA có bộ nhớ HBM3E nhanh hơn tới 141GB, trái ngược với H100, chỉ có bộ nhớ HBM3 tới 80GB.
Cuối tuần này, @xAI nhóm đã đưa cụm đào tạo Colossus 100k H100 của chúng tôi lên mạng. Từ đầu đến cuối, nó được hoàn thành trong 122 ngày.
Colossus là hệ thống đào tạo AI mạnh mẽ nhất thế giới. Hơn nữa, nó sẽ tăng gấp đôi quy mô lên 200k (50k H200) trong vài tháng.
Xuất sắc…
— Elon Musk (@elonmusk) Ngày 2 tháng 9 năm 2024
“Cuối tuần này, nhóm xAI đã đưa cụm đào tạo Colossus 100K H100 của chúng tôi lên mạng. Từ đầu đến cuối, nó được hoàn thành trong 122 ngày. Colossus là hệ thống đào tạo AI mạnh mẽ nhất thế giới. Hơn nữa, nó sẽ tăng gấp đôi quy mô lên 200K (50K H200) trong vài tháng nữa. Đội ngũ, NVIDIA và nhiều đối tác/nhà cung cấp của chúng tôi đã làm việc tuyệt vời”, Musk đã tweet trên X (trước đây là Twitter).
“Thật phấn khích khi thấy Colossus, #siêu máy tính GPU lớn nhất thế giới, trực tuyến trong thời gian kỷ lục. Colossus được hỗ trợ bởi nền tảng #acceleratedcomputing của @nvidia, mang lại hiệu suất đột phá với mức tăng trưởng vượt trội về #hiệu quả năng lượng. Xin chúc mừng toàn bộ nhóm!” X handle của NVIDIA Data Center đã viết trên nền tảng của mình.
GPU NVIDIA có giá khoảng 30.000 đô la, cho thấy Musk đã chi ít nhất 3 tỷ đô la để xây dựng siêu máy tính mới, một cơ sở cũng sẽ cần nguồn điện và làm mát đáng kể.
Hiện tại, Grok 2 của Musk, mô hình AI thế hệ thứ hai của xAI được đào tạo bằng 15.000 GPU H100, chỉ dành riêng cho những người đăng ký X premium và X premium plus có khả năng tạo hình ảnh và văn bản. Ông cho biết họ dự kiến sẽ phát hành mô hình AI thế hệ thứ ba của xAI, Grok-3, vào tháng 12.
