66B là một mô hình ngôn ngữ quy mô lớn, với xấp xỉ 66 tỷ tham số, được thiết kế theo kiến trúc transformer để xử lý ngôn ngữ tự nhiên, sinh nội dung và trả lời câu hỏi. Quy mô tham số cho phép nắm bắt các mô hình ngữ nghĩa phức tạp nhưng đồng thời đi kèm chi phí tính toán cao.
66B sử dụng các lớp attention và feed-forward, với cơ chế định vị và vị trí học. Số lượng tầng và kích thước ẩn được điều chỉnh để tối ưu hiệu suất trên nhiều tác vụ. Việc huấn luyện cần dữ liệu đa dạng và cơ sở hạ tầng mạnh mẽ, bao gồm GPU/TPU và dữ liệu sạch, được quản lý chặt chẽ để giảm thiên lệch.
Trong quá trình đào tạo, 66B được huấn luyện trên tập dữ liệu lớn và đa ngôn ngữ, bao gồm văn bản từ nhiều nguồn khác nhau. Việc xử lý dữ liệu, làm sạch và cân nhắc quyền riêng tư đóng vai trò quan trọng để mang lại kết quả an toàn và ổn định.
66B mang lại khả năng sinh văn bản chất lượng, trả lời câu hỏi, tóm tắt và hỗ trợ sáng tạo. Tuy nhiên, chi phí tính toán, tiêu thụ điện và thời gian inference là yếu tố cần cân nhắc khi triển khai trong sản phẩm. Ứng dụng tiềm năng gồm trợ lý ảo, hệ thống tư vấn, phân tích văn bản và hỗ trợ lập trình.
