Chainbase mã nguồn mở Theia-Llama-3.1-8B, mô hình quy mô lớn đầu tiên trong lĩnh vực mã hóa, với hiệu suất vượt xa các mô hình chính thống

Tin tức BlockBeats, vào ngày 11 tháng 10, Chainbase, một mạng dữ liệu toàn chuỗi, gần đây đã thông báo rằng họ sẽ mở nguồn mô hình ngôn ngữ lớn Theia-Llama-3.1-8B, được xây dựng đặc biệt cho lĩnh vực mã hóa, trên HuggingFace. Mô hình này vượt qua các mô hình chính thống trên thị trường về mức độ phức tạp và điểm BERT, đồng thời khả năng hiểu thế giới tiền điện tử của nó vượt xa hầu hết các mô hình lớn nguồn mở chính thống.

Nhóm Chainbase đã xây dựng một cách sáng tạo tập dữ liệu Web3 chuyên nghiệp đầu tiên, chứa nhiều thông tin khác nhau về 2000 dự án hàng đầu trên CoinMarketCap. Các bộ dữ liệu được lọc thủ công và thuật toán để đảm bảo tính chính xác, đa dạng và chuyên nghiệp của dữ liệu huấn luyện. Dựa trên tập dữ liệu này, nhóm đã sử dụng công nghệ LoRA để tinh chỉnh mô hình một cách hiệu quả và sử dụng các công cụ như DeepSpeed để đẩy nhanh quá trình đào tạo. Ngoài ra, mô hình được lượng tử hóa thành định dạng Q8 GGUF, giúp giảm đáng kể mức sử dụng bộ nhớ và cải thiện tốc độ suy luận.

Có thông tin cho rằng Theia-Llama-3.1-8B là nỗ lực ban đầu của Chainbase đối với một mô hình lớn trong lĩnh vực mã hóa và mô hình này đã được áp dụng thành công cho Chainbase Ứng dụng tương tác DEMO TheiaChat Hiện có hơn 300.000 người dùng hoạt động hàng ngày.