Bài học chính
Binance sử dụng mô hình học máy để giám sát hoạt động đáng ngờ trên nền tảng.
Một vấn đề được gọi là tính năng cũ có thể tác động tiêu cực đến hiệu suất của những mô hình đó, khiến chúng đưa ra dự đoán hoặc phân loại không chính xác.
Đường truyền phát trực tuyến của chúng tôi - hoặc quá trình liên tục cung cấp cho mô hình dữ liệu thời gian thực - bao gồm hai phần: xử lý dữ liệu và cung cấp dữ liệu.
Xử lý dữ liệu được chia thành ba loại: Tính toán luồng, nhập và chìm.
Tìm hiểu cách chúng tôi sử dụng công nghệ máy học để bảo vệ hệ sinh thái Binance.
Nhóm AI rủi ro của chúng tôi, bao gồm các kỹ sư máy học và nhà khoa học dữ liệu, làm việc suốt ngày đêm để chống gian lận và bảo vệ người dùng Binance. Để đạt được điều này, họ sử dụng các giải pháp dựa trên AI có thể xác định và ứng phó với các mối đe dọa tiềm ẩn, chẳng hạn như lừa đảo ngang hàng (P2P), đánh cắp thông tin thanh toán và tấn công chiếm đoạt tài khoản (ATO), cùng một số vấn đề khác.
Trong bài viết này, chúng tôi sẽ giải thích cách nhóm AI xử lý rủi ro của chúng tôi sử dụng quy trình phát trực tuyến để đảm bảo phản hồi theo thời gian thực bên cạnh những gì diễn ra ở hậu trường.
Nếu bạn chưa quen với học máy, chúng tôi khuyên bạn nên đọc phần sau để có cái nhìn tổng quan cơ bản về một số thuật ngữ mà chúng tôi sẽ sử dụng trong suốt bài viết này.
Hàng loạt và phát trực tuyến
Các kỹ sư máy học thường sử dụng hai loại quy trình: hàng loạt và truyền phát. Cả hai đều có ưu và nhược điểm, tùy thuộc vào tình huống yêu cầu.
Đường dẫn hàng loạt, như tên gọi của nó, xử lý dữ liệu theo lô. Các kỹ sư thường sử dụng chúng để xử lý khối lượng lớn dữ liệu.
Mặt khác, các đường dẫn phát trực tuyến xử lý dữ liệu theo thời gian thực khi chúng được thu thập. Điều này khiến chúng trở nên lý tưởng cho những tình huống cần phản hồi gần như ngay lập tức; ví dụ: phát hiện hacker trước khi họ có thể rút tiền từ tài khoản bị đánh cắp.
Lưu ý rằng cả hai đường ống đều quan trọng như nhau. Đường ống truyền phát là lựa chọn tuyệt vời để cung cấp phản hồi theo thời gian thực, trong khi đường ống hàng loạt xử lý khối lượng dữ liệu lớn tốt hơn.
Trong trường hợp ngăn chặn gian lận, chúng tôi cần ưu tiên dữ liệu theo thời gian thực để tránh tình trạng gọi là “mô hình cũ kỹ”, tức là các mô hình học máy trở nên lỗi thời hoặc không chính xác.
Ý nghĩa của sự ổn định
Giống như cách mọi người có thể trở nên kém hiệu quả hơn trong một nhiệm vụ nếu họ không cập nhật thông tin hoặc kỹ thuật mới nhất, các mô hình học máy cũng có thể trở nên kém chính xác hơn nếu chúng không được cập nhật thường xuyên tùy theo tình huống.
Một điều bạn không muốn là một mô hình được thiết kế để ngăn chặn gian lận trở nên lỗi thời. Hậu quả bao gồm việc mô hình gắn nhãn sai cho một giao dịch hợp pháp là gian lận hoặc không xác định được tài khoản bị xâm phạm. Do đó, chúng tôi sử dụng quy trình phát trực tuyến để đảm bảo các mô hình ngăn chặn gian lận đang hoạt động với dữ liệu thời gian thực.
Tính toán cho mô hình Tiếp quản tài khoản (ATO)
Hãy lấy một ví dụ từ mô hình ATO mà chúng tôi đào tạo để xác định các tài khoản mà bọn tội phạm đã chiếm đoạt với mục đích xấu. Một trong những đặc điểm mà mô hình này đo lường là số lượng giao dịch mà một khách hàng cụ thể đã thực hiện trong phút vừa qua.
Tin tặc có xu hướng làm theo mô hình tuần tự, thực hiện nhiều hoạt động, chẳng hạn như rút tiền, trong một khoảng thời gian ngắn. Hệ thống của chúng tôi phải tính toán tính năng này càng sớm càng tốt trong trường hợp có mối đe dọa tiềm ẩn. Điều này có nghĩa là giảm thiểu độ trễ giữa thời điểm người dùng thực hiện hành động và thời điểm dữ liệu hoạt động của người dùng này được các mô hình của chúng tôi xử lý. Chỉ một vài giây có thể là sự khác biệt giữa việc ngăn chặn một hacker và việc người dùng mất hết tiền.
Để biết thêm thông tin về mức độ ảnh hưởng của các tính năng bị trì hoãn đến hiệu suất mô hình, bạn có thể tham khảo bài viết này của LinkedIn Engineering: Các tính năng gần thời gian thực để cá nhân hóa gần thời gian thực.
Vai trò của tính toán hàng loạt
Lưu ý rằng tầm quan trọng của tính cũ của tính năng có thể phụ thuộc vào kiểu máy hoặc tính năng đang được sử dụng. Ví dụ, một số tính năng tương đối ổn định. Trong trường hợp ATO được đề cập ở trên, chúng tôi cũng cần truy xuất dữ liệu về số lần rút tiền của người dùng trong 30 ngày qua để tính tỷ lệ dựa trên các giao dịch gần đây nhất của họ.
Trong trường hợp này, tính toán hàng loạt trong khoảng thời gian dài hơn, chẳng hạn như khoảng thời gian hàng ngày hoặc hàng giờ, có thể chấp nhận được mặc dù độ ổn định cao hơn do phải chờ dữ liệu đến kho dữ liệu và các công việc hàng loạt chạy theo định kỳ.
Cân bằng độ tươi và độ trễ
Cuối cùng, việc lựa chọn giữa quy trình hàng loạt và quy trình phát trực tuyến phải được thực hiện dựa trên các yêu cầu cụ thể của trường hợp sử dụng và các tính năng được đề cập. Việc xem xét cẩn thận các yếu tố này cho phép chúng tôi xây dựng các hệ thống ngăn chặn gian lận hiệu quả để bảo vệ người dùng của mình.
Việc sử dụng quy trình phát trực tuyến cho phép chúng tôi ưu tiên độ mới thay vì độ trễ cho các tính năng nhạy cảm với thời gian. Sơ đồ trên minh họa nhu cầu này, vì số lượng thao tác để truy xuất các tính năng phải là ba thay vì hai.
Đây là lý do tại sao quy trình học máy theo thời gian thực lại quan trọng đối với hoạt động hàng ngày của nhóm xử lý rủi ro của chúng tôi.
Phá vỡ đường ống truyền phát
Học máy theo thời gian thực cho nhóm AI xử lý rủi ro của Binance chủ yếu bao gồm hai phần:
Xử lý dữ liệu (phần trên của sơ đồ)
Cung cấp dữ liệu (phần dưới của sơ đồ)
Xử lí dữ liệu
Về xử lý dữ liệu, chúng tôi có thể chia đường dẫn phát trực tuyến (Flink Job) thành ba loại dựa trên trách nhiệm của chúng:
Điện toán dòng: kỹ thuật tính năng
Nhập luồng: nhập tính năng
Đánh chìm luồng: làm giàu dữ liệu
Tính toán luồng
Thành phần điện toán luồng của quy trình chịu trách nhiệm về kỹ thuật tính năng gần thời gian thực, quá trình trích xuất các tính năng từ dữ liệu thô.
Nó tính toán trước các tính năng mà mô hình học máy của chúng tôi sẽ sử dụng để dự đoán trực tuyến. Có hai loại phương pháp tính toán cho quy trình tính toán phát trực tuyến: dựa trên thời gian và dựa trên sự kiện.
Dựa trên thời gian. Tính số lượng giao dịch cứ sau 10 phút. Điều này giới thiệu một số độ trễ nhưng làm giảm độ trễ.
Dựa trên sự kiện. Tính toán các tính năng dựa trên sự kiện đến. Điều này làm giảm độ ổn định nhưng tăng độ trễ một chút.
Ưu tiên của chúng tôi là không sử dụng tính toán thời gian thực nhiều nhất có thể và đây là lý do:
Có sự đánh đổi giữa độ trễ và độ cứng. Các tính năng điện toán khi có yêu cầu trực tuyến sẽ giới hạn logic tính toán ở các phương pháp tiếp cận đơn giản. Trong khi phương pháp này làm giảm độ ổn định thì tính toán tính năng lại làm tăng độ trễ dự đoán.
Mở rộng quy mô một cách độc lập là một thách thức vì các dịch vụ dự đoán và tính toán phụ thuộc vào nhau.
Tính toán theo yêu cầu dựa trên lưu lượng yêu cầu tạo ra áp lực mở rộng quy mô không thể đoán trước.
Tính toán thời gian thực không thể thích ứng với các giải pháp giám sát mô hình (độ lệch phục vụ đào tạo) và giám sát tính năng của chúng tôi do các tính năng này không được lưu trữ trong cơ sở dữ liệu trung tâm, tức là kho tính năng.
Truyền phát trực tiếp
Thành phần nhập luồng chịu trách nhiệm nhập các tính năng gần như theo thời gian thực vào kho tính năng của chúng tôi từ nền tảng máy học Kafka. Cửa hàng tính năng là cơ sở dữ liệu tập trung chứa các tính năng thường được sử dụng. Chúng đóng một vai trò thiết yếu trong quy trình học máy. Bạn có thể tìm hiểu thêm về chúng trong các bài viết sau: Xem xét kỹ hơn về Kho tính năng học máy của chúng tôi và sử dụng MLOps để xây dựng quy trình học máy từ đầu đến cuối theo thời gian thực.
Dòng chìm
Thành phần thu thập luồng chủ yếu chịu trách nhiệm đưa các sự kiện thời gian thực vào một đích cụ thể — chẳng hạn như hệ thống tệp phân tán cao (HDFS) như S3 hoặc các cơ sở dữ liệu bên ngoài khác như ElasticSearch — tùy thuộc vào yêu cầu của dự án.
Đối với nhóm AI rủi ro của chúng tôi, nhìn chung có hai mẫu làm giàu dữ liệu có thể được áp dụng cho dữ liệu thời gian thực trong Kafka tùy thuộc vào trường hợp sử dụng:
Dữ liệu tĩnh. Ví dụ: truy xuất danh sách các nhà sản xuất phổ biến có mặt trong S3 cho các dự án kinh doanh liên quan đến P2P trong công việc Flink. Dữ liệu tham chiếu là dữ liệu tĩnh và chỉ yêu cầu cập nhật ít hơn một lần mỗi tháng.
Dữ liệu động. Ví dụ: tỷ giá hối đoái theo thời gian thực (BTC sang USD) được lấy từ cơ sở dữ liệu bên ngoài như Redis. Tra cứu trên mỗi bản ghi đảm bảo độ trễ thấp và độ chính xác cao nếu dữ liệu tham chiếu thay đổi.
Cung cấp dữ liệu
Thành phần phân phối dữ liệu của quy trình chịu trách nhiệm dự đoán trực tuyến và tính toán hàng loạt.
Dự đoán trực tuyến. Điều này xảy ra khi các yêu cầu được gửi qua Trung tâm Quyết định (công cụ quy tắc nội bộ của nhóm xử lý rủi ro của chúng tôi). Sau đó, dịch vụ liên quan sẽ gọi đến kho tính năng để truy xuất các tính năng và gửi chúng đến mô hình học máy để chấm điểm. Nhóm AI về Rủi ro của chúng tôi có hơn 20 mô hình học máy được thiết kế để xử lý các yêu cầu kinh doanh khác nhau.
Tính toán hàng loạt. Mặc dù nó có thể gây ra độ trễ lên đến vài ngày nhưng nó đóng một vai trò quan trọng ở đây vì nó bổ sung cho các tính năng được tính toán trong thời gian thực.
Bớt tư tưởng
Điều quan trọng cần lưu ý là thị trường tiền điện tử hoạt động 24/7, không giống như thị trường tài chính truyền thống có thời gian mở và đóng cửa. Mỗi giây, có một luồng dữ liệu mới liên tục (rút tiền, gửi tiền, giao dịch, v.v.) đòi hỏi chúng ta phải cảnh giác với những kẻ xấu đang cố gắng đánh cắp tiền hoặc thông tin cá nhân của người dùng.
Nhóm AI rủi ro của chúng tôi đã làm việc không mệt mỏi để phát triển và duy trì một hệ thống AI tinh vi có thể gắn cờ hoạt động đáng ngờ một cách hiệu quả. Nhờ nỗ lực của họ, chúng tôi có thể hành động nhanh chóng để bảo vệ các tài khoản Binance bị xâm nhập khỏi những tổn thất có thể xảy ra hoặc giảm thiểu thiệt hại nhiều nhất có thể.
Hãy theo dõi để biết thêm thông tin chi tiết về nỗ lực học máy của chúng tôi hoặc xem một số bài viết trước đây của chúng tôi bên dưới. Bạn quan tâm đến sự nghiệp học máy tại Binance? Hãy xem Binance Engineering trên trang tuyển dụng của chúng tôi để biết các tin tuyển dụng đang tuyển dụng.
Đọc thêm
Xem xét kỹ hơn về Cửa hàng tính năng học máy của chúng tôi
Sử dụng MLOps để xây dựng quy trình học máy từ đầu đến cuối theo thời gian thực
Một nghiên cứu điển hình về kỹ thuật tính năng về tính nhất quán và phát hiện gian lận
