66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để hiểu, sinh và trả lời các câu hỏi ở nhiều ngữ cảnh ngôn ngữ khác nhau.
66B dựa trên kiến trúc transformer với cơ chế attention đa đầu, lớp thanh lọc tham số và tối ưu hóa mới cho hiệu suất trên dữ liệu lớn.
Quá trình đào tạo kết hợp dữ liệu văn bản từ web, sách và nguồn đa ngôn ngữ, được chuẩn hóa và cân bằng để giảm thiên vị và tăng khả năng tổng quát.
66B có thể sinh văn bản, tóm tắt, phân tích ý kiến, dịch ngôn ngữ và hỗ trợ viết mã, đồng thời có thể tham gia vào các hệ thống hội thoại phức tạp.
Mô hình có thể thể hiện thiên vị dữ liệu, tạo thông tin sai và đòi hỏi kiểm soát nội dung, đánh giá an toàn và giám sát người dùng.
66B hỗ trợ nhiều ngôn ngữ và có thể tích hợp vào ứng dụng doanh nghiệp, giáo dục hoặc nghiên cứu, với yêu cầu về hạ tầng và quản trị dữ liệu.
