¿Cómo pueden las nuevas #tecnologías mejorar la gestión de #incidentes?

👉 @INCIBE, @guardiacivil, @policia, @tecnalia y @unizar abordan #estrategias innovadoras para reaccionar con rapidez y eficacia ante #ciberataques 🔧.

🖥️ https://t.co/Vi3mmuu3r7 #18ENISE pic.twitter.com/vqowGx56Fm

— INCIBE (@INCIBE) October 23, 2024

Este año tuve la suerte de poder acudir al ENISE (ENcuentro Internacional de SEguridad de la información), organizado por el INCIBE (Instituto Nacional de Ciberseguridad), que se celebró en León los días 21, 22 y 23 de octubre.

Pude moderar una mesa redonda, con el título “Nuevas tecnologías y estrategias al servicio de la gestión de incidentes de ciberseguridad” acompañado de:

• Erkuden Rios, Directora de proyectos / TECNALIA
• Patricia Alonso, Gerente / INCIBE-CERT
• Santiago González, Jefe de la Oficina Técnica (Cuerpo Nacional de Policía-GPO- Plan director de Seguridad) / Ministerio del Interior- Dirección General de Policía
• Juan Salom, Coronel Jefe de la Unidad de Coordinación de Ciberseguridad de la Guardia Civil / Guardia Civil

Nunca había estado en este encuentro y fue una buena oportunidad para conocerlo, saludar a algunos conocidos y hacer una pequeña visita que tuvieron la amabilidad de organizar al INCIBE. También, claro, dar una vuelta por la ciudad un probar un poco la gastronomía (funtamentalmente tapas).

No había mucho tiempo así que nos concentramos, fundamentalmente estas preguntas:

• Una toma de posición inicial de cada una de las personas que había (se habló de IA, pero también de otras tecnologías y la preocupación de cómo muchos ciberataques ni siquiera se denuncian).
• Hablamos un poquito del uso de la IA en los distintos negociados de los participantes
• Introdujimos el tema de usar nuevas tecnologías para detectar ataques, e incluso en el análisis posterior, cuando ya se ha pasado el problema, pero… ¿sería adecuado experimentar cuando estamos en pleno incidente?
• ¿Qué otras tecnologías puede haber por debajo del radar en este momento que pueden ser peligrosas en el futuro?

Muy interesante, a pesar de no disponer de mucho tiempo.

Se puede ver la mesa en (a partir de las 3 horas y 15 minutos, aproximadamente):

Es un encuentro muy bien organizado, con traducción simultánea, también para personas con dificultades auditivas. Un verdadero placer.

Además tuve la suerte de encontrarme con que se hacía un homenaje a uno de mis primeros profesores en la Universidad, Santos González Jiménez, que fue profesor en la Universidad de Zaragoza antes de marcharse a Oviedo, y que se ha dedicado a diversos temas sobre la criptografía. Pude saludarle y recordar aquellos tiempos cuando todo empezaba.

🎓🎓el miércoles vivimos un día muy emotivo durante el #18ENISE de INCIBE. Se rindió un merecido homenaje al profesor emérito santos Gonzalez jimenez, director de nuestra Cátedra.
Felix Barrio , D.G. @INCIBE Ensalzó su figura tanto profesional como personal del profesor. pic.twitter.com/nRgQ6O09H5

— Cristina Caldueño (@criscaldueno) October 25, 2024

Esta entrada se publicó en primer lugar en En ENISE, moderando una mesa sobre ciberseguridad

Hace un par de semanas me contactó Oscar Espiritusanto al que conozco desde hace unos cuantos años y que participa en la ONG Cibervoluntarios. Me contó que llevaban unos años celebrando el World Encryption Day y que este año habían pensado en mi para la sesión.

La actividad se celebró el lunes 21 de octubre a las 16:30 (el anuncio en la web de la actividad: Encryption: key resource to empower people y estuvimos un rato bien agradable charlando de estos temas.

Se puede ver el resultado (dura casi una hora) en:

Hablamos de qué es la criptografía, los sistemas más conocidos (clave secreta, clave pública) y por qué es importante que las comunicaciones sean secretas aunque no tengamos nada que esconder. También cómo debilitar esa seguridad con el objetivo de capturar a pesonas que tienen comportamientos inadecuados es una medida poco efectiva:

• Porque no garantiza que vayan a encontrarlas y detenerlas (estas personas ya se saltan la ley, no tendrían problemas en saltársela para conseguir mejores sistemas de protección de sus comunicaciones).
• Aunque fueran capaces de leer absolutantemente todos los mensajes que se emitieran, necesitarían algún tipo de sistema automatizado para detectar los mensajes peligrosos y eso, en sí mismo, ya sería una tarea difícil.
• Dejar desprotegidos a los ciudadanos puede tener consecuencias para algunos de llos que son especialmente susceptibles de ser atacados y espiados por diversos motivos.
• Si alguien que no sea el gobierno (o la policía) tiene acceso a esas herramientas de acceso a la información cifrada con mecanismos más débiles puede provocar problemas a la gente.

Óscar comparaba la necesidad del cifrado con la de la salud, que solo nos damos cuenta cuando nos falta. En el caso del cifrado, añadíamos, hablaríamos de la salud en términos de enfermedades crónicas (una gripe se pasa, pero una vez que nuestra seguridad ha sido comprometida ya no hay vuelta atrás).

Esta entrada se publicó originalmente en En el día mundial del cifrado con los Cibervoluntarios

No tengo ninguna duda sobre que las discusiones sobre los sesgos de las inteligencias artificiales están muy sesgadas en nuestro contexto. Es una herencia de ese sentimiento anti-tecnología que rodea todas las discusiones y que, aquí encuentra argumentos con facilidad. Me esperaba, sin embargo, algo menos en el contexto global y Donald Clark nos recuerda que no es así en What if discussions of bias in AI were mostly biased themselves?.

Habla de los típicos argumentos que ya casi son un meme, como la inteligencia artificial que confunde a una persona negra con un gorila, y otros…

You also hear the same very old examples being brought up time and time again: black face/gorilla, recruitment and reoffender software.

Luego pasa a analizar algunas de las críticas habituales, y por qué podrían ser poco útiles:

• Razonamientos que implican sólo los aspectos negativos. Pero todas las tecnologías (y lo que no es) tienen aspectos negativos y, en este caso, en lugar de analizar lo positivo y lo negativo se quedan en los aspectos menos convenientes.

The main bias in debates on bias is a form of one-sidedness in the analysis. Most technology has a downside. ... Rather than tease out the complexity, even comparing upsides with downsides, we are given the downsides only.

• Razonamientos antropomórficos. Se basan muchas veces en ver los posibles efectos de la tecnología, visualizándolos como robots malignos, o acciones que podemos comprender mejor que la propia naturaleza de los algoritmos que realmente se utilizan.

So crude images of robots enter the mind as characterising AI, or fixed databases where data is retrieved, as opposed to complex LLMs, vector databases or software or mathematics, which is not, for most, easy to call to mind or visualise.

• Razonamientos que ignoran los propios sesgos humanos. Las personas tenemos nuestros propios sesgos (género, educación, economía, …) lo que hace que muchas veces ni siquiera seamos capaces de ver el problema de manera desapasionada (sesgo de confirmación, negatividad, …)

One layer of human bias heavily influences the bias debate. Rather than look at the issue dispassionately we get well identified neophobia biases; ... This is common in financial decision making and, especially, new technology.

• Razonamientos que asumen que todas las inteligencias artificiales tienen sesgos. Pero todos conocemos algoritmos sin sesgos (ordenar una lista, por ejemplo) y eso sucede con la mayoría. No sólo eso, mejoran la velocidad, efectividad….

The point is that most algorithms are benign, doing a mechanical job and free from bias. They can improve performance in terms of strength, precision and performance over time...

• Razonamientos que combinan los sesgos humano y estadístico. No hay que olvidar que hablamos de programas, que no tienen consciencia no conocimiento de cuál es su objetivo y por lo tanto no pueden tener sesgo en el sentido en el que lo tienen las personas. La definición de sesgo estadístico tiene que ver con medir la diferencia entre ‘lo esperado’ y ‘lo que se obtiene’ y, en este sentido, nos permite medir, comprobar y tratar de eliminar el problema. Sin embargo, el sesgo humano muchas veces ni siquiera se mide.

Al is not conscious or aware of its purpose. It is just software, and as such, is not ‘biased’ in the way we attribute that word to ‘humans’. ... There is a definition of ‘bias’ in statistics, which is not a pejorative term, but precisely defined as the difference between an expected value and the true value of a parameter. ... The statistical approach at least recognises these biases and adopts scientific and mathematical methods to try to eliminate these biases. ... This is a key point – human bias often goes unchecked, statistical and mathematical bias is subjected to rigorous checks.

• Barandillas. Las barandillas (guardrails) son una intervención humana, igual que los re-entrenamientos (post-model training) que tratan de mejorar los resultados, pero que pueden introducir sus propios problemas por los sesgos de los humanos.

Guardrails are human interventions, along with post-model training by humans. These introduce problems with bias introduced by humans.

• Acusaciones de racismo. Las inteligencias artificiales son un fenómeno global, no están confinadas al mundo occidental. Incluso en Silicon Valey (el Valle de la Silicona, como decían en aquella traducción de la películas de James Bond) hay una cierta diversidad. ¿No estaremos exagerando sobre la maldad de estas empresas? Eso no quiere decir, claro, que no ocurra en algunos casos.

AI is a global phenomenon, not confined to the western world. Even in Silicon Valley the presence of Chinese, Asian and Indian programmers is so prevalent that they feature in every sitcom on the subject. In addition, the idea that these coders are unconsciously, or worse, consciously creating racist and sexist algorithms is an exaggeration.

• Acusaciones de sexismo. En este caso, nos dicen, el sesgo está claramente en la parte de las personas (educación, y sus resultados).

There seems to be bias in the educational system among parents, teachers and others to steer girls away from STEM subjects and computer studies. But the idea that all algorithms are gender-biased is naïve. If such bias does arise one can work to eliminate the bias. Eliminating human gender bias is much more difficult.

• Inteligencia artificial y transparencia. Se habla mucho de la transparencia en los algoritmos de inteligencia artificial, pero mucho menos de otros algoritmos y todavía menos en los resultados de otras disciplinas (cita la medicina, y como algunos medicamentos sabemos que funcionan pero no tenemos claro del todo por qué; y aún así los utilizamos, claro).

A common observation in contemporary AI is that its inner workings are opaque, especially machine learning using neural networks. But compare this to another social good – medicine. We know it works but we don’t know how. As Jon Clardy, a professor of biological chemistry and molecular pharmacology at Harvard Medical School says, "the idea that drugs are the result of a clean, logical search for molecules that work is a ‘fairytale'”. Many drugs work but we have no idea why they work. Medicine tends to throw possible solutions at problems, then observe if it works or not.

• Confundir lanzamientos tempranos y pruebas con los productos finales. La clave, nos dice, es que esos algoritmos no tienen consciencia ni conocimiento así que cometerán errores que pueden corregirse en sucesivas iteraciones.

The good news is that repeated failure results in improvement in machine learning, reinforcement learning, adversarial techniques and so on. It is often absolutely necessary to learn from mistakes to make progress. We need to applaud failure, not jump on the bias bandwagon.

Podemos decir que algo funciona mal, ponerle mala fama y evitar utilizarlo, pero eso no evitará que otras personas lo utilicen, corrijan sus sesgos y tomen decisiones sobre ello mientras nosotros lo criticamos y decimos que no sirve.

Hace unas semanas me invitaron desde la Cámara de Comercio de Zaragoza a moderar una sesión sobre el sector tecnológico del Foro: ‘Claves Para Entender El Nuevo Mercado Laboral’, junto con Pilar Fernández de la Cámara y Mertixell Laborda de Océano Atlántico. El encuentro se celebró el dia 10 de septiembre en la recién rehabilitada sede de la Cámara de Comercio de Zaragoza.

Participaban personas muy interesantes, algunas de ellas viejas conocidas (incluso ex-alumnos) y otras con las que no había tenido la suerte de coincidir:

• Víctor Alfaro, Director General de Podoactiva.
• Santiago Sánchez, Socio Fundador de Origen Biotech.
• Ruth Lázaro Torres, Directora de Taisi.
• FernandO Cabeza, CEO de Océano Atlántico.
• Félix Gil, CEO de Integra Tecnología.
• Emilio Gomáriz, General Manager de Global Spedition.
• Enrique Villaverde, Director General y Socio Fundador Megablok.
• Ángel Pardillos, Director of Talent Strategy de Hiberus Tecnología.

Eran empresas muy variadas, desde tecnológicas puras a otras para las que su enfoque es la producción pura. Familiares, empresas con fines sociales, … Dedicándose a logística, alimentación, informática, servicios…

A mi me llamaba la atención cómo algunas empresas no se consideran tecnológicas a pesar de que su negocio depende fuertemente de las herramientas (y no me refiero solo a la gestión) y que en muchos casos la tecnología puede hacer que seamos diferenciales con respecto a nuestra competencia.

Surgió la necesidad de captar estos perfiles, para todo tipo de empresas (pero tal vez para las que no se dedican a la tecnología un poco más), se habló de los perfiles, la formación (que tiene sus propias dificultades) y un poquito de la llegada de la inteligencia artificial y cómo puede afectarnos.

La web de Foro ‘Claves Para Entender El Nuevo Mercado Laboral’ que ha tenido tres encuentros contiene algunos vídeos a modo de resumen. Se puede leer también el [PDF] documento del tercer foro, en el que participamos, y un poco de información (y fotografías) en Los desafíos TIC en la empresa: talento, irrupción tecnológica y nuevas dinámicas

Durante la sesión hice un pequeño juego (no hubo mucho tiempo para preparar la sesión) al hacer la presentación de las presonas y de sus empresas a través de lo que veía en su página web. Queda como ejercicio para el lector sacar sus propias impresiones.

Historia publicada originalmente en En el foro ‘Claves Para Entender El Nuevo Mercado Laboral’

Este sitio se basa, casi exclusivamente, en comentarios sobre diversas notas que voy encontrando por la red. En estos casos siempre, sin excusa, hay un (o más) enlaces a lo que originó la publicación así que me gusta mucho traer Why I Attribute donde Stephen Downes nos da sus razones para hacerlo.

Una de las claves es que cuando hay atribución se puede ver no sólo el comentario de la persona que estamos leyendo, sino también los de las personas referenciadas, si el tema nos interesa lo suficiente.

By the time it got to you, you had not only the original story but also some interpretations or perspectives on that story.

También se muestra un cierto apoyo: no significa que estemos de acuerdo con lo que se pueda comentar en los otros sitios, pero al menos la historia ha interesado a una serie de personas y no solo a la que te lo muestra.

It means each of us felt that this story was important enough to pass along. By the time you got it, the story had been vetted three times.

Al final, se construye una red de relaciones, que puede verse como una comunidad, porque normalmente no habrá un solo seguidor de este contenido, ni del enlazado, ni del…

Few people have only one follower. Most people have several. Some have thousands. Nobody has millions, as on mass social networks - there's an upper limit somewhere where too many followers doesn't really work on a federated social network (which is why we are very unlikely to see advertising-supported federated social networks). These followers constitute a community.

Y como resultado de este ‘entramado’ puede ser más sencillo darle credibilidad a algunas ideas, o simplemente evaluarlas.

Getting the message in this way puts you in a much better position to assess the message, evaluate whether it is true, and decide whether to act on it (or pass it along to your own community).

Luego elabora sobre las redes sociales y cómo cortocircuitan este mecanismo, de la misma forma que lo hacen muchas veces los medios de masas, más preocupados por la cantidad de atención sobre todas las cosas. Sin olvidar del esfuerzo que supone la validación a través de la atribución.

These functions, though, have all but disappeared from news media. Because news media depended on advertising, and therefore mass audiences, it came to value engagement over all. The layers of validation and verification were not only expensive overhead, they got in the way of prioritizing engagement.

De hecho, iba a comentar arriba que en redes sociales no suelo enlazar a las fuentes tanto: por una cuestión práctica (o dos), que tiene que ver con el espacio limitado, y porque parece que nada importa demasiado allí.