Hệ thống đánh giá thí sinh theo bình luận mạng xã hội sử dụng công nghệ xử lý dữ liệu lớn trực tuyến và học sâu

Abstract

Trong thời đại số hóa, việc phân tích bình luận trên mạng xã hội đã trở thành một công cụ quan trọng để đánh giá mức độ yêu thích và phản hồi của khán giả đối với các chương trình giải trí. Nghiên cứu này tập trung vào việc xây dựng một hệ thống đánh giá thí sinh theo bình luận trên mạng xã hội, sử dụng công nghệ xử lý dữ liệu lớn trực tuyến và học sâu. Hệ thống được phát triển bao gồm các bước thu thập, tiền xử lý, gán nhãn và phân tích dữ liệu bình luận từ chương trình Rap Việt mùa 3 trên YouTube. Dữ liệu được thu thập bằng cách sử dụng API của YouTube và được xử lý qua các bước chuẩn hóa và gán nhãn thủ công. Mô hình học sâu đa tác vụ, một mô hình ngôn ngữ mạnh mẽ tối ưu hóa cho tiếng Việt, được sử dụng để dự đoán thực thể và phân tích cảm xúc đa khía cạnh trong các bình luận. Hệ thống sử dụng các công nghệ dữ liệu lớn như Kafka, Spark Streaming, Spark Inference và Cassandra để thu thập và xử lý dữ liệu một cách tự động và nhanh chóng. Kết quả phân tích được trực quan hóa bằng các biểu đồ, giúp hiểu rõ hơn về cảm xúc và khía cạnh của các bình luận, cũng như đánh giá mức độ yêu thích của khán giả đối với từng thí sinh. Kết quả nghiên cứu cho thấy mô hình học sâu đạt độ chính xác cao trong việc dự đoán đối tượng và sắc thái của các bình luận. Hệ thống đã thu thập và xử lý thành công dữ liệu bình luận từ YouTube, cung cấp những thông tin giá trị về cảm xúc và khía cạnh của các bình luận. Việc triển khai mô hình trên nền tảng công nghệ dữ liệu lớn giúp tối ưu hóa quá trình thu thập và xử lý dữ liệu, đảm bảo rằng chỉ những bình luận mới nhất và có giá trị được xử lý và lưu trữ. Nghiên cứu này mở ra nhiều hướng phát triển tương lai, bao gồm việc phát triển mô hình đa ngôn ngữ, tích hợp với các nền tảng mạng xã hội và ứng dụng trong thương mại điện tử. Việc tiếp tục cải tiến và mở rộng hệ thống sẽ giúp nâng cao hiệu quả và ứng dụng của công nghệ phân tích bình luận trong nhiều lĩnh vực khác nhau.