66b là một mô hình ngôn ngữ quy mô lớn do một nhóm nghiên cứu độc lập phát triển. Nó có khả năng hiểu và sinh ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau.
66b dựa trên kiến trúc Transformer với 66 tỷ tham số, cho phép nắm bắt mối quan hệ phức tạp trong văn bản và sinh nội dung mạch lạc. Mô hình được tối ưu cho tính linh hoạt và hiệu suất trên nhiều tác vụ ngôn ngữ.
66b được huấn luyện trên tập dữ liệu rộng lớn từ nhiều nguồn như sách, bài báo và nội dung web. Dữ liệu được làm sạch và trộn hợp lý để giảm rủi ro xuất hiện nội dung không mong muốn. Quá trình huấn luyện được phân tán trên hệ thống có hiệu suất cao nhằm tối ưu hóa thời gian và chi phí.
66b có thể hỗ trợ viết sáng tạo, tổng hợp văn bản, trả lời câu hỏi và dịch thuật. Tuy nhiên cần nhận diện và khắc phục sai lệch thông tin, thiên vị và nguy cơ lạm dụng. Việc giám sát con người và thiết lập biện pháp an toàn là cần thiết.
