Científicos presionan a los investigadores de inteligencia artificial para lograr transparencia

 Investigación biomédica de IA

Un grupo internacional de científicos exige que las revistas científicas exijan más transparencia de los investigadores en áreas relacionadas con la informática al aceptar sus informes para su publicación.

También quieren que los investigadores informáticos incluyan información sobre su código, modelos y entornos computacionales en informes publicados.

Su convocatoria, publicada en Nature Magazine en octubre, fue en respuesta a los resultados de una investigación realizada por Google Health que se publicó en Nature el pasado mes de enero.

La investigación reclamó una inteligencia artificial El sistema fue más rápido y más preciso en la detección del cáncer de mama que los radiólogos humanos.

Google financió el estudio, que fue dirigido por el académico de Google Scott McKinney y otros empleados de Google.

Críticas al estudio de Google

"En su estudio, McKinney et al. Demostraron el alto potencial de la inteligencia artificial para la detección del cáncer de mama", el grupo internacional de científicos, dirigido por Benjamin Haibe-Kains, de la Universidad de Toronto, declaró.

"Sin embargo, la falta de métodos detallados y códigos de computadora socava su valor científico. Esta deficiencia limita la evidencia requerida para que otros validen prospectivamente e implementen clínicamente tales tecnologías".

El progreso científico depende de la capacidad de investigadores independientes para examinar los resultados de un estudio de investigación, reproducir sus resultados principales utilizando sus materiales y desarrollarlos en estudios futuros, dijeron los científicos, citando las políticas de Nature Magazine .

McKinney y su compañía -los autores declararon que no era factible liberar el código utilizado para entrenar los modelos porque tiene una gran cantidad de dependencias en herramientas internas, infraestructura y hardwar e, señaló el grupo de Haibe-Kains.

Sin embargo, hay muchos marcos y plataformas disponibles para hacer que la investigación de la IA sea más transparente y reproducible, dijo el grupo. Estos incluyen Bitbucket y Github ; administradores de paquetes que incluyen Conda ; y sistemas de virtualización y contenedores como Code Ocean y Gigantum .

Al muestra una gran promesa para su uso en el campo de la medicina, pero "Desafortunadamente, la literatura biomédica está plagada de estudios que no pasaron la prueba de reproducibilidad, y muchos de ellos pueden estar vinculados a metodologías y prácticas experimentales que no pudieron ser investigadas debido a que no se revelaron completamente el software y los datos ", dijo el grupo de Haibe-Kains.

Google no respondió a nuestra solicitud de proporcionar comentarios para esta historia.

¿Patentes pendientes?

Puede haber buenas razones comerciales para que las empresas no revelen todos los detalles sobre sus estudios de investigación de IA.

"Esta investigación también se considera confidencial en el desarrollo de tecnología", Jim McGregor, analista principal de Tirias Research dijo a TechNewsWorld. "¿Deberían las empresas de tecnología verse obligadas a regalar tecnología en la que han gastado miles de millones de dólares en desarrollar?"

Lo que los investigadores están haciendo con la IA "es fenomenal y está dando lugar a avances tecnológicos, algunos de los cuales estarán cubiertos por patentes protección ", dijo McGregor. "Así que no toda la información estará disponible para la prueba, pero el hecho de que no pueda probarla no significa que no sea correcta o verdadera".

El grupo de Haibe-Kains recomendó que, si los datos no puede compartirse con toda la comunidad científica debido a licencias u otros problemas insuperables, "como mínimo se debe establecer un mecanismo para que algunos investigadores independientes altamente capacitados puedan acceder a los datos y verificar los análisis".

Impulsado por Hype

La verificabilidad y la reproducibilidad plagan los resultados de los estudios de investigación de IA en general. Solo el 15 por ciento de los trabajos de investigación de IA publican su código, según el Informe sobre el estado de la IA 2020 elaborado por los inversores en IA Nathan Benaich e Ian Hogarth.

Destacan en particular la filial y el laboratorio de IA de Google DeepMind y la empresa de investigación y desarrollo de IA OpenAI como culpables.

"Muchos de los problemas en la investigación científica son impulsados ​​por la creciente publicidad al respecto, [which] se necesita para generar financiación, " Dr. Jeffrey Funk un consultor de negocios y economía tecnológica con sede en Singapur, dijo a TechNewsWorld.

"Este bombo, y sus afirmaciones exageradas, alimentan la necesidad de resultados que coincidan con esas afirmaciones y, por lo tanto, una tolerancia para la investigación que no es reproducible ".

Los científicos y las agencias de financiación tendrán que" volver a marcar el bombo publicitario "para lograr una mayor reproducibilidad, observó Funk. Sin embargo, eso "puede reducir la cantidad de financiación para la IA y otras tecnologías, financiación que se ha disparado porque los legisladores están convencidos de que la IA generará 15 billones de dólares en ganancias económicas para 2030".


Leave a Reply

Your email address will not be published. Required fields are marked *