Nhược điểm của CNN là gì?
CNN có những hạn chế như thời gian đào tạo kéo dài, nhu cầu về bộ dữ liệu được dán nhãn lớn và dễ bị trang bị quá mức. Độ phức tạp của mạng cũng có thể ảnh hưởng đến hiệu suất. Tuy nhiên, CNN vẫn là một công cụ hiệu quả và được sử dụng rộng rãi trong thị giác máy tính, bao gồm phát hiện và phân đoạn đối tượng, bất chấp những hạn chế trong các nhiệm vụ đòi hỏi kiến thức theo ngữ cảnh như NLP.
Mạng nơ-ron tích chập có một số nhược điểm có thể khiến việc sử dụng chúng trong một số ứng dụng học máy trở nên khó khăn. Ví dụ: việc đào tạo CNN có thể mất một thời gian, đặc biệt đối với các tập dữ liệu lớn, vì CNN có chi phí tính toán cao. Hơn nữa, việc tạo ra kiến trúc CNN có thể là một thách thức và đòi hỏi sự hiểu biết thấu đáo về các ý tưởng cơ bản của mạng lưới thần kinh nhân tạo.
Một nhược điểm khác là CNN cần nhiều dữ liệu được dán nhãn để đào tạo hiệu quả. Đây có thể là một hạn chế nghiêm trọng trong những trường hợp có ít dữ liệu. CNN cũng không phải lúc nào cũng thành công trong các nhiệm vụ đòi hỏi nhiều kiến thức theo ngữ cảnh hơn, chẳng hạn như NLP, ngay cả khi chúng khá giỏi trong các nhiệm vụ nhận dạng hình ảnh.
Số lượng và loại lớp được sử dụng trong thiết kế CNN có thể ảnh hưởng đến hiệu suất. Ví dụ: việc thêm nhiều lớp hơn có thể cải thiện độ chính xác nhưng đồng thời làm tăng độ phức tạp của mạng và chi phí tính toán. Kiến trúc CNN học sâu cũng dễ bị trang bị quá mức, điều này xảy ra khi mạng quá chuyên biệt hóa đối với dữ liệu huấn luyện và hoạt động kém trên dữ liệu mới, chưa được huấn luyện.
Bất chấp những hạn chế này, CNN vẫn là một công cụ được sử dụng rộng rãi và rất hiệu quả cho các thuật toán học sâu và học máy trong lĩnh vực mạng thần kinh nhân tạo, bao gồm phân đoạn, phát hiện đối tượng và nhận dạng hình ảnh. Điều đó nói lên rằng, CNN sẽ vẫn là nhân tố chủ chốt trong lĩnh vực thị giác máy tính.
Ưu điểm của CNN là gì?
CNN được ưa chuộng hơn trong các nhiệm vụ thị giác máy tính do những ưu điểm của chúng, bao gồm tính bất biến dịch thuật, chia sẻ tham số, biểu diễn phân cấp, khả năng phục hồi trước những thay đổi và đào tạo từ đầu đến cuối.
Mạng nơ-ron tích chập có một số ưu điểm, khiến chúng trở thành sự lựa chọn hấp dẫn cho các nhiệm vụ thị giác máy tính khác nhau. Một trong những ưu điểm chính của chúng là tính bất biến dịch thuật, một tính năng của CNN cho phép chúng nhận dạng các vật thể trong ảnh bất kể vị trí của chúng. Các lớp tích chập được sử dụng để thực hiện điều này bằng cách áp dụng các bộ lọc cho hình ảnh đầu vào đầy đủ để mạng có thể tìm hiểu các tính năng bất biến dịch.
Việc sử dụng chia sẻ tham số, trong đó cùng một bộ tham số được chia sẻ trên tất cả các vùng của hình ảnh đầu vào, là một lợi ích khác của CNN. Do đó, mạng có ít tham số hơn và có thể khái quát hóa dữ liệu mới tốt hơn, điều này rất quan trọng khi làm việc với các tập dữ liệu khổng lồ.
CNN cũng có thể tìm hiểu các cách biểu diễn phân cấp của hình ảnh đầu vào, trong đó các lớp trên học các tính năng phức tạp hơn như các phần và hình dạng đối tượng, trong khi các lớp dưới học các phần tử đơn giản hơn như các cạnh và kết cấu. Đối với các nhiệm vụ đầy thách thức như phát hiện và phân đoạn đối tượng, mô hình phân cấp này cho phép mạng tìm hiểu các đặc điểm ở nhiều mức độ trừu tượng.
CNN phù hợp với các ứng dụng trong thế giới thực vì chúng có khả năng phục hồi tốt trước những thay đổi về ánh sáng, màu sắc và những biến dạng nhỏ trong hình ảnh đầu vào. Cuối cùng, mạng nơ ron tích chập có thể được đào tạo từ đầu đến cuối, cho phép giảm độ dốc để tối ưu hóa đồng thời tất cả các tham số của mạng để đạt hiệu suất và hội tụ nhanh hơn. Giảm độ dốc là một thuật toán tối ưu hóa được sử dụng để điều chỉnh lặp lại các tham số mô hình bằng cách giảm thiểu hàm mất mát theo hướng độ dốc âm.
Các loại mạng lưới thần kinh tích chập là gì?
Một số loại mạng thần kinh tích chập tồn tại, bao gồm CNN truyền thống, mạng thần kinh tái phát, mạng tích chập hoàn toàn và mạng biến áp không gian - trong số những loại khác.
CNN truyền thống
CNN truyền thống, còn được gọi là CNN “vanilla”, bao gồm một loạt các lớp chập và gộp, theo sau là một hoặc nhiều lớp được kết nối đầy đủ. Như đã đề cập, mỗi lớp tích chập trong mạng này chạy một loạt các tích chập với một tập hợp các bộ lọc có thể dạy được để trích xuất các đặc điểm từ hình ảnh đầu vào.
Kiến trúc Lenet-5, một trong những CNN hiệu quả đầu tiên để nhận dạng chữ số viết tay, minh họa cho CNN thông thường. Nó có hai bộ lớp chập và lớp gộp sau hai lớp được kết nối đầy đủ. Hiệu quả của CNN trong việc nhận dạng hình ảnh đã được chứng minh bằng kiến trúc Lenet-5, điều này cũng khiến chúng được sử dụng rộng rãi hơn trong các nhiệm vụ thị giác máy tính.
Mạng lưới thần kinh tái phát
Mạng thần kinh tái phát (RNN) là một loại mạng thần kinh có thể xử lý dữ liệu tuần tự bằng cách theo dõi bối cảnh của các đầu vào trước đó. Mạng thần kinh tái phát có thể xử lý các đầu vào có độ dài khác nhau và tạo ra đầu ra phụ thuộc vào đầu vào trước đó, không giống như mạng thần kinh tiếp liệu điển hình chỉ xử lý dữ liệu đầu vào theo một thứ tự cố định.
Chẳng hạn, RNN có thể được sử dụng trong các hoạt động NLP như tạo văn bản hoặc dịch ngôn ngữ. Mạng nơ-ron hồi quy có thể được huấn luyện theo các cặp câu ở hai ngôn ngữ khác nhau để học cách dịch giữa hai ngôn ngữ đó.
RNN xử lý từng câu một, tạo ra câu đầu ra tùy thuộc vào câu đầu vào và đầu ra trước đó ở mỗi bước. RNN có thể tạo ra các bản dịch chính xác ngay cả đối với các văn bản phức tạp vì nó theo dõi các đầu vào và đầu ra trong quá khứ.
Mạng tích chập hoàn toàn
Mạng tích chập hoàn toàn (FCN) là một loại kiến trúc mạng thần kinh thường được sử dụng trong các tác vụ thị giác máy tính như phân đoạn hình ảnh, phát hiện đối tượng và phân loại hình ảnh. FCN có thể được huấn luyện từ đầu đến cuối bằng cách sử dụng lan truyền ngược để phân loại hoặc phân đoạn hình ảnh.
Lan truyền ngược là một thuật toán huấn luyện tính toán độ dốc của hàm mất mát theo trọng số của mạng lưới thần kinh. Khả năng dự đoán đầu ra dự đoán của mô hình học máy cho một đầu vào nhất định được đo bằng hàm mất mát.
FCN chỉ dựa trên các lớp tích chập, vì chúng không có bất kỳ lớp nào được kết nối đầy đủ, khiến chúng có khả năng thích ứng và tính toán hiệu quả hơn so với các mạng thần kinh tích chập thông thường. Mạng chấp nhận hình ảnh đầu vào và đưa ra vị trí cũng như phân loại các đối tượng trong hình ảnh là một ví dụ về FCN.
Mạng biến áp không gian
Mạng biến áp không gian (STN) được sử dụng trong các tác vụ thị giác máy tính để cải thiện tính bất biến về không gian của các tính năng mà mạng đã học. Khả năng mạng lưới thần kinh nhận dạng các mẫu hoặc đối tượng trong hình ảnh độc lập với vị trí địa lý, hướng hoặc tỷ lệ của chúng được gọi là bất biến không gian.
Mạng áp dụng phép biến đổi không gian đã học cho hình ảnh đầu vào trước khi xử lý thêm là một ví dụ về STN. Việc chuyển đổi có thể được sử dụng để căn chỉnh các đối tượng trong hình ảnh, sửa lỗi méo phối cảnh hoặc thực hiện các thay đổi không gian khác để nâng cao hiệu suất của mạng đối với một công việc cụ thể.
Phép biến đổi đề cập đến bất kỳ thao tác nào sửa đổi hình ảnh theo một cách nào đó, chẳng hạn như xoay, chia tỷ lệ hoặc cắt xén. Căn chỉnh đề cập đến quá trình đảm bảo rằng các đối tượng trong hình ảnh được căn giữa, định hướng hoặc định vị một cách nhất quán và có ý nghĩa.
Khi các vật thể trong ảnh bị lệch hoặc biến dạng do góc hoặc khoảng cách mà ảnh được chụp, hiện tượng méo phối cảnh sẽ xảy ra. Áp dụng một số phép biến đổi toán học cho hình ảnh, chẳng hạn như phép biến đổi affine, có thể được sử dụng để hiệu chỉnh biến dạng phối cảnh. Các phép biến đổi affine bảo toàn các đường thẳng song song và tỷ lệ khoảng cách giữa các điểm để điều chỉnh độ méo phối cảnh hoặc các thay đổi không gian khác trong ảnh.
Thay đổi không gian đề cập đến bất kỳ sửa đổi nào đối với cấu trúc không gian của hình ảnh, chẳng hạn như lật, xoay hoặc dịch hình ảnh. Những thay đổi này có thể làm tăng thêm dữ liệu huấn luyện hoặc giải quyết các thách thức cụ thể trong tác vụ, chẳng hạn như các biến thể về ánh sáng, độ tương phản hoặc nền.
Mạng lưới thần kinh tích chập hoạt động như thế nào?
Mạng thần kinh tích chập hoạt động bằng cách trích xuất các tính năng từ dữ liệu đầu vào thông qua các lớp tích chập và học cách phân loại dữ liệu đầu vào thông qua các lớp được kết nối đầy đủ.
Các bước liên quan đến hoạt động của mạng nơ ron tích chập bao gồm:
Lớp đầu vào: Lớp đầu vào - lớp đầu tiên trong CNN - lấy dữ liệu thô làm đầu vào, như hình ảnh hoặc video và gửi nó đến lớp tiếp theo để xử lý.
Lớp chập: Việc trích xuất tính năng diễn ra trong lớp chập. Lớp này áp dụng một tập hợp các bộ lọc hoặc hạt nhân để trích xuất các tính năng như cạnh, góc và hình thức từ dữ liệu đầu vào.
Lớp ReLU: Để cung cấp tính phi tuyến tính cho đầu ra và nâng cao hiệu suất của mạng, chức năng kích hoạt đơn vị tuyến tính được chỉnh lưu (ReLU) thường được triển khai sau mỗi lớp tích chập. ReLU xuất trực tiếp đầu vào nếu nó dương và xuất ra 0 nếu nó âm.
Lớp gộp: Các bản đồ đặc trưng của lớp chập được hình thành bằng lớp gộp, làm giảm tính chiều của chúng. Max-pooling là một kỹ thuật thường được sử dụng trong đó giá trị tối đa trong mỗi phần của bản đồ đối tượng được lấy làm đầu ra.
Lớp được kết nối đầy đủ: Lớp được kết nối đầy đủ lấy đầu ra đã được làm phẳng của lớp gộp và áp dụng một tập hợp các trọng số để tạo ra đầu ra cuối cùng, có thể được sử dụng cho các nhiệm vụ phân loại hoặc dự đoán.
Dưới đây là minh họa về cách CNN phân loại hình ảnh chó và mèo:
Bước 1: Lớp đầu vào nhận được hình ảnh 3 kênh (RGB) của chó hoặc mèo và dữ liệu hình ảnh thô khác. 3 kênh (RGB) là định dạng tiêu chuẩn được sử dụng để thể hiện hình ảnh màu trong mạng thần kinh, với mỗi pixel được biểu thị bằng ba giá trị biểu thị cường độ của các kênh màu đỏ, lục và lam.
Bước 2: Lớp tích chập áp dụng một loạt bộ lọc cho hình ảnh đầu vào để trích xuất các đặc điểm như cạnh, góc và hình thức.
Bước 3: Đầu ra của lớp chập trở nên phi tuyến tính do lớp ReLU.
Bước 4: Bằng cách lấy giá trị tối đa trong mỗi bản đồ đối tượng, lớp tổng hợp sẽ giảm kích thước của bản đồ đối tượng được tạo bởi lớp tích chập.
Bước 5: Nhiều lớp tích chập và gộp được xếp chồng lên nhau để trích xuất các đặc điểm phức tạp dần dần từ hình ảnh đầu vào.
Bước 6: Lớp Flatten chuyển đổi đầu ra của lớp trước thành vectơ một chiều hoặc 1D (một chuỗi số được sắp xếp thành một hàng hoặc cột, mỗi số đại diện cho một tính năng hoặc đặc điểm). Sau đó, lớp được kết nối đầy đủ sẽ nhận đầu ra đã được làm phẳng của lớp gộp cuối cùng và áp dụng một tập hợp các trọng số để tạo ra đầu ra cuối cùng, xác định xem hình ảnh là của một con mèo hay một con chó.
CNN được đào tạo bằng cách sử dụng một tập hợp các hình ảnh được gắn nhãn, với trọng số của bộ lọc và các lớp được kết nối đầy đủ được điều chỉnh trong quá trình đào tạo để giảm thiểu sai số giữa nhãn dự đoán và nhãn thực tế. Sau khi được huấn luyện, mạng lưới thần kinh tích chập có thể phân loại chính xác những hình ảnh mới, chưa từng thấy của chó và mèo.
Mạng lưới thần kinh tích chập trong học sâu là gì?
Mạng nơ-ron tích chập được sử dụng trong các nhiệm vụ thị giác máy tính, sử dụng các lớp tích chập để trích xuất các tính năng từ dữ liệu đầu vào.
Mạng thần kinh chuyển đổi (CNN) là một lớp mạng thần kinh sâu thường được sử dụng trong các tác vụ thị giác máy tính như nhận dạng hình ảnh và video, phát hiện đối tượng và phân đoạn hình ảnh.
Mạng thần kinh là các mô hình học máy bao gồm các nút được kết nối với nhau để xử lý thông tin để đưa ra quyết định, trong khi mạng thần kinh sâu có nhiều lớp ẩn cho phép chúng học các biểu diễn phức tạp cho các nhiệm vụ khác nhau. Cả hai đều mô phỏng cấu trúc và chức năng của bộ não con người. Thị giác máy tính là một lĩnh vực trí tuệ nhân tạo (AI) tập trung vào việc cho phép máy móc diễn giải và hiểu dữ liệu hình ảnh từ thế giới.
Mặc dù nhận dạng hình ảnh và video liên quan đến việc phân loại hoặc nhận dạng các đối tượng, cảnh hoặc hành động trong ảnh hoặc video, nhưng việc phát hiện đối tượng liên quan đến việc định vị một số thứ nhất định bên trong hình ảnh hoặc video. Phân đoạn hình ảnh bao gồm việc chia hình ảnh thành các phân đoạn hoặc vùng có ý nghĩa để phân tích hoặc xử lý thêm.
CNN sử dụng một số lớp tích chập để tự động trích xuất các tính năng từ dữ liệu đầu vào. Dữ liệu đầu vào được lọc bởi các lớp tích chập, với các bản đồ tính năng được tạo ra sẽ được chuyển đến các lớp xử lý tiếp theo. Các lớp tích chập là các khối xây dựng của CNN thực hiện hoạt động lọc và trích xuất tính năng trên dữ liệu đầu vào.
Lọc là quá trình tích hợp một hình ảnh bằng bộ lọc để trích xuất các đặc điểm, trong khi trích xuất đặc điểm là quá trình xác định các mẫu hoặc đặc điểm có liên quan từ các hình ảnh được tích hợp.
Các lớp gộp, lấy mẫu đầu ra của các lớp tích chập để giảm chi phí tính toán và tăng khả năng tổng quát hóa của mạng cho các đầu vào mới, thường được đưa vào CNN bên cạnh các lớp tích chập. Các lớp điển hình bổ sung bao gồm các lớp chuẩn hóa, giúp giảm thiểu tình trạng trang bị quá mức và nâng cao hiệu suất của mạng cũng như các lớp được kết nối đầy đủ, được sử dụng cho các nhiệm vụ phân loại hoặc dự đoán.
Nhiều ứng dụng, chẳng hạn như nhận dạng khuôn mặt, xe tự lái, phân tích hình ảnh y tế và xử lý ngôn ngữ tự nhiên (NLP), đã sử dụng rộng rãi CNN. Chúng cũng đã được sử dụng để đạt được kết quả tiên tiến trong các nhiệm vụ phân loại hình ảnh, chẳng hạn như thử thách ImageNet.