Sự minh bạch trong việc nghiên cứu AI

Sự minh bạch trong việc nghiên cứu AI

Một nhóm các nhà khoa học quốc tế đang yêu cầu các tạp chí khoa học đòi hỏi sự minh bạch hơn từ các nhà nghiên cứu trong các lĩnh vực liên quan đến máy tính khi chấp nhận báo cáo của họ để xuất bản.

Họ cũng muốn các nhà nghiên cứu tính toán đưa thông tin về mã, mô hình và môi trường tính toán của họ trong các báo cáo đã xuất bản.

Lời kêu gọi của họ, được đăng trên Tạp chí Nature vào tháng 10, là để đáp lại kết quả nghiên cứu do Google Health thực hiện đã được công bố trên tạp chí Nature vào tháng 1 năm ngoái.

Nghiên cứu khẳng định một hệ thống trí tuệ nhân tạo nhanh hơn và chính xác hơn trong việc sàng lọc ung thư vú so với các bác sĩ X quang của con người.

Google đã tài trợ cho nghiên cứu do Google Scholar Scott McKinney và các nhân viên khác của Google dẫn đầu.

Những lời chỉ trích về Nghiên cứu của Google


"Trong nghiên cứu của họ, McKinney và các cộng sự đã cho thấy tiềm năng cao của trí tuệ nhân tạo trong việc tầm soát ung thư vú", nhóm các nhà khoa học quốc tế, dẫn đầu bởi Benjamin Haibe-Kains, thuộc Đại học Toronto, tuyên bố.

"Tuy nhiên, việc thiếu các phương pháp chi tiết và mã máy tính làm giảm giá trị khoa học của nó. Thiếu sót này hạn chế bằng chứng cần thiết cho những người khác để xác nhận trước và triển khai lâm sàng các công nghệ đó."

Các nhà khoa học cho biết, tiến bộ khoa học phụ thuộc vào khả năng của các nhà nghiên cứu độc lập xem xét kỹ lưỡng các kết quả của một nghiên cứu, tái tạo các kết quả chính của nó bằng cách sử dụng các tài liệu của nó và xây dựng chúng trong các nghiên cứu trong tương lai, các nhà khoa học trích dẫn các chính sách của Tạp chí Nature.

McKinney và các đồng tác giả của ông nói rằng không khả thi để phát hành mã được sử dụng để đào tạo các mô hình vì nó có một số lượng lớn phụ thuộc vào công cụ nội bộ, cơ sở hạ tầng và phần cứng, nhóm của Haibe-Kains lưu ý.

Tuy nhiên, nhiều khuôn khổ và nền tảng có sẵn để làm cho nghiên cứu AI minh bạch hơn và có thể tái tạo được, nhóm cho biết. Chúng bao gồm Bitbucket và Github; quản lý gói bao gồm Conda; và các hệ thống chứa và ảo hóa như Code Ocean và Gigantum.

Al cho thấy nhiều hứa hẹn để sử dụng trong lĩnh vực y học, nhưng "Thật không may, các tài liệu y sinh học có rất nhiều nghiên cứu đã thất bại trong quá trình kiểm tra khả năng tái tạo và nhiều nghiên cứu trong số này có thể gắn liền với các phương pháp luận và thực hành thử nghiệm mà không thể nghiên cứu được do không tiết lộ đầy đủ phần mềm và dữ liệu, "nhóm của Haibe-Kains cho biết.

Google đã không trả lời yêu cầu của chúng tôi để cung cấp bình luận cho câu chuyện này.

Các bằng sáng chế?


Có thể có lý do kinh doanh tốt để các công ty không tiết lộ chi tiết đầy đủ về các nghiên cứu AI của họ.

Jim McGregor, nhà phân tích chính tại Tirias Research, nói với TechNewsWorld: “Nghiên cứu này cũng được coi là bí mật trong quá trình phát triển công nghệ. "Các công ty công nghệ có nên bị buộc phải từ bỏ công nghệ mà họ đã bỏ ra hàng tỷ đô la để phát triển?"

Những gì các nhà nghiên cứu đang làm với AI "là một hiện tượng và đang dẫn đến những đột phá về công nghệ, một số trong số đó sẽ được bảo hộ bằng sáng chế", McGregor nói. "Vì vậy, không phải tất cả thông tin sẽ có sẵn để kiểm tra, nhưng chỉ vì bạn không thể kiểm tra nó không có nghĩa là nó không chính xác hoặc đúng sự thật."

Nhóm của Haibe-Kains khuyến nghị rằng, nếu dữ liệu không thể được chia sẻ với toàn bộ cộng đồng khoa học vì vấn đề cấp phép hoặc các vấn đề không thể vượt qua khác, thì "tối thiểu phải thiết lập một cơ chế để một số nhà điều tra độc lập, được đào tạo chuyên sâu có thể truy cập dữ liệu và xác minh các phân tích. "

Được thúc đẩy bởi cường điệu


Khả năng xác minh và khả năng tái tạo kết quả nghiên cứu nghiên cứu AI về toàn bộ. Chỉ 15% các bài báo nghiên cứu về AI công bố mã của họ, theo State of AI Report 2020, do các nhà đầu tư AI Nathan Benaich và Ian Hogarth thực hiện.

Họ đặc biệt chỉ ra công ty con và phòng thí nghiệm AI của Google DeepMind và công ty nghiên cứu và phát triển AI OpenAI làm thủ phạm.

Tiến sĩ Jeffrey Funk, một nhà tư vấn kinh tế và kinh doanh có trụ sở tại Singapore, nói với TechNewsWorld: “Nhiều vấn đề trong nghiên cứu khoa học được thúc đẩy bởi sự cường điệu ngày càng tăng về nó, [mà] cần thiết để tạo ra nguồn vốn.

"Sự cường điệu này, và những tuyên bố phóng đại của nó, thúc đẩy nhu cầu về kết quả phù hợp với những tuyên bố đó và do đó, một sự khoan dung cho nghiên cứu không thể tái tạo."

Funk nhận xét rằng các nhà khoa học và các cơ quan tài trợ sẽ phải "quay lại với sự cường điệu" để đạt được nhiều khả năng tái tạo hơn. Tuy nhiên, điều đó "có thể làm giảm số tiền tài trợ cho AI và các công nghệ khác, vốn đã bùng nổ vì các nhà lập pháp đã tin rằng AI sẽ tạo ra 15 nghìn tỷ đô la lợi nhuận kinh tế vào năm 2030."