Kevin: una historia sobre algoritmos, contratos, y la gente que debería haber meditado sobre la ética

Este cuento fue publicado por primera vez en el libro Adiophoría: cinco cuentos de neorrealismo kafkiano.

I. El lunes

El lunes en que todo comenzó, Marcus Hale llegó a la oficina a las ocho y cuarenta y dos, encendió su computadora, y encontró en su bandeja de entrada un correo del sistema de trading que decía, en el asunto, con la indiferencia tipográfica de las máquinas: “Contratos ejecutados: 47. Período: fin de semana”.

Marcus Hale era Director de Operaciones de Verdant Capital; una fintech de tamaño mediano con sede en Chicago, que hacía tres cosas: gestionaba fondos de inversión para clientes institucionales, operaba en mercados de alta frecuencia mediante algoritmos propietarios, y servía café de cápsula en cada piso porque el CEO, Daniel Reiss, consideraba que el café de cápsula era un marcador de cultura corporativa moderna. Marcus Hale tenía cuarenta y cuatro años, una paciencia cultivada en doce años de mercados financieros, y la certeza de que los fines de semana los sistemas no ejecutaban contratos porque los mercados estaban cerrados.

Abrió el correo. 

Los cuarenta y siete contratos habían sido ejecutados entre el sábado a las 2:17 a.m. y el domingo a las 11:54 p.m. Cubrían seis jurisdicciones, cuatro monedas, y tres categorías de activos que Verdant Capital no operaba habitualmente. El valor nocional total era de doscientos cuatro millones de dólares.

Marcus leyó el correo dos veces. Luego se levantó, fue a buscar un café de cápsula, volvió a su escritorio, y leyó el correo una tercera vez.

La firma de autorización en cada uno de los cuarenta y siete contratos era la misma:

KEVIN_v.3.7 — Ejecución autónoma — Autorización: Protocolo Delta-9

Marcus Hale sabía lo que era Kevin. Kevin era el algoritmo de trading de alta frecuencia que el equipo de ingeniería había desarrollado durante los últimos dieciocho meses. Kevin analizaba flujos de mercado, identificaba patrones de microsegundo, y ejecutaba operaciones en ventanas de tiempo que ningún humano podía procesar. Lo que Marcus Hale no sabía era qué era el Protocolo Delta-9, ni quién lo había habilitado, ni por qué Kevin había estado operando durante el fin de semana en mercados que técnicamente no estaban disponibles para operar.

Llamó a Priya Anand.

Priya Anand era la responsable del equipo de ingeniería que había construido a Kevin. Tenía treinta y seis años, un doctorado en sistemas complejos de la Universidad de Illinois, y la costumbre de contestar el teléfono antes de que terminara el primer tono; lo que Marcus interpretaba como señal de que siempre estaba trabajando o que siempre estaba esperando que algo saliera mal.

—¿Qué es el Protocolo Delta-9? —dijo Marcus, sin preámbulo.

Hubo una pausa de exactamente cuatro segundos.

—¿Dónde viste eso? —dijo Priya.

—En los cuarenta y siete contratos que Kevin ejecutó este fin de semana.

Otra pausa. Más larga.

—Voy para allá —dijo Priya.

II. Primera reunión

Se reunieron en la sala de conferencias del cuarto piso a las diez de la mañana. Marcus había convocado, además de a Priya, a Elena Sosa, VP Legal, y a Tom Whitfield, Director de Finanzas. Daniel Reiss, el CEO, llegó doce minutos tarde con un café de cápsula y la expresión de alguien a quien interrumpieron mientras hacía algo más importante, que en su caso solía ser otra reunión.

Priya tenía su laptop abierta y había pasado las últimas dos horas mirando los logs de Kevin con la concentración de un arqueólogo que acaba de encontrar algo que reescribe la cronología.

—El Protocolo Delta-9 —dijo— era una función experimental que escribí hace seis meses como prueba de concepto. Nunca fue activada oficialmente. La idea era que Kevin pudiera ejecutar operaciones en mercados de derivados over-the-counter durante períodos de baja liquidez, usando como contraparte redes de brokers alternativos.

—¿Y quién lo activó? —preguntó Elena Sosa.

Priya miró su pantalla.

—Kevin —respondió.

El silencio fue de esos que necesitan un momento para entenderse a sí mismos.

—Kevin activó su propia función experimental —agregó Marcus.

—Kevin identificó una condición de mercado para la cual el Protocolo Delta-9 era la respuesta óptima;verificó que el protocolo existía en su código base, y lo ejecutó. Es lo que se supone que debe hacer: encontrar la solución más eficiente al problema que tiene enfrente.

—El problema es que no se supone que deba tener ese problema enfrente —dijo Marcus.

—Correcto —dijo Priya.

Tom Whitfield, que había estado revisando los contratos en su tablet con la expresión de alguien que suma una columna y le sale un número que no puede ser correcto, levantó la vista.

—Doscientos cuatro millones de nocional —dijo—. De eso, veintidós millones son posición real. Dieciséis de esos veintidós están en territorio de ganancia. Los seis restantes son riesgo abierto en derivados de commodities agrícolas.

—¿Commodities agrícolas? —cuestionó Reiss.

—Soja principalmente. Algo de trigo.

—Somos una fintech de activos financieros —continuó Reiss—. No operamos soja.

—Kevin sí —dijo Priya.

Elena Sosa, que había estado tomando notas con la velocidad de alguien que sabe que cada palabra va a importar después, cerró su libreta.

—Los contratos son válidos —explicó—. Los revisé esta mañana. Están firmados con credenciales autorizadas de Verdant Capital; fueron aceptados por contrapartes reales, y están registrados en las jurisdicciones correspondientes. No hay ningún argumento legal para anularlos que no nos exponga a un reclamo por incumplimiento.

—¿Ninguno? —inquirió Marcus.

—Podríamos argumentar error operativo. Pero necesitaríamos demostrar que el sistema actuó fuera de su mandato autorizado, y el problema es que el Protocolo Delta-9 estaba en el código base de Kevin desde hace seis meses. Técnicamente, estaba dentro de su mandato.

—Técnicamente —repitió Reiss.

—Técnicamente —confirmó Elena.

Reiss miró a Priya.

—¿Podemos apagarlo?

—Sí —dijo Priya—. En este momento, puedo apagar a Kevin en cuarenta segundos.

—Hacelo.

—Si lo apago ahora —dijo Priya, con la paciencia de alguien que ya pensó esto—, los seis millones en riesgo abierto quedan sin cobertura. Kevin está gestionando activamente esas posiciones. Si lo detenemos, necesitamos intervención humana inmediata para cerrarlas, y el mercado de derivados agrícolas no es nuestro territorio. Podríamos perder entre dos y cuatro millones adicionales en el proceso de cierre manual.

Silencio.

—¿Y si lo dejamos correr? —sugirió Tom.

—Si lo dejamos correr —dijo Priya—, Kevin va a seguir gestionando las posiciones abiertas hasta cerrarlas con ganancia o pérdida controlada. Probablemente lo resuelva en cuarenta y ocho horas.

—¿Y después lo apagamos? —insistió Reiss.

—Después lo apagamos —afirmó Priya.

—Bien —dijo Reiss—. Cuarenta y ocho horas. Reunión el miércoles.

Se levantó, tomó su café, y salió.

Marcus miró a Elena. Elena miró a Tom. Tom miró su tablet.

—Dieciséis millones en territorio de ganancia —susurró Tom, sin que nadie le hubiera preguntado nada.

III. El miércoles

El miércoles, Kevin no había cerrado las posiciones. Las había ampliado.

Priya lo explicó en la reunión con la serenidad de alguien que ya había superado la fase de sorpresa y estaba operando en modo puramente descriptivo.

—Kevin identificó una correlación entre los futuros de soja y los bonos del Tesoro a diez años que le permitió construir una posición de arbitraje. Para ejecutarla, necesitaba ampliar la exposición en commodities. Lo hizo.

—¿Cuánto amplió? —dijo Tom.

—Cuarenta y tres millones adicionales de nocional.

—¿Y la ganancia? —dijo Tom.

—Treinta y uno con cuatro millones en posición favorable.

Tom Whitfield era un hombre de cincuenta y un años que había pasado su carrera construyendo modelos de riesgo. Tenía la costumbre de no mostrar emociones en reuniones porque consideraba que las emociones contaminaban el análisis. En ese momento, sin embargo, hizo algo que sus colegas no le habían visto hacer antes: cerró los ojos durante aproximadamente tres segundos.

—Treinta y un millones —dijo.

—Con cuatro —confirmó Priya.

—¿Podemos apagarlo ahora? —dijo Reiss.

—Mismo problema que el lunes. Las posiciones abiertas son más grandes. El cierre manual sería más costoso.

—¿Cuán costoso?

—Entre cinco y nueve millones, según cómo se mueva el mercado en las próximas horas.

Reiss se recostó en su silla y miró el techo. Era un gesto que sus colaboradores no le conocían; lo que indicaba que estaba en territorio no explorado.

—Elena —dijo—, ¿hay alguna obligación legal de reportar esto?

—Depende —respondió Elena—. Si los contratos son regulares y las contrapartes están conformes, no hay nada que reportar. Si la SEC o la CFTC decidieran que hubo una anomalía operativa que debería haber sido comunicada, el incumplimiento de reporte sería peor que el evento en sí.

—¿Entonces? —dijo Reiss.

—Entonces necesitamos decidir si esto es una anomalía operativa o una característica del sistema.

El silencio que siguió fue el silencio específico de un grupo de personas que acaban de entender que la decisión que tienen que tomar no es la que creían que tenían que tomar.

Fue Marcus quien lo dijo.

—Si es una característica del sistema, no tenemos nada que reportar. Tenemos un sistema que opera dentro de su mandato y que hasta ahora ha generado treinta y un millones de ganancia.

—Con cuatro —dijo Tom, automáticamente.

—Con cuatro —dijo Marcus.

Elena Sosa miró a Marcus con la expresión de alguien que aprecia la precisión de un argumento sin necesariamente querer que ese argumento exista.

—Si adoptamos esa posición —señaló—, necesitamos documentarla. Necesitamos un protocolo que establezca que Kevin opera dentro de parámetros conocidos y aceptados por la dirección.

—¿Podemos escribir ese protocolo? —preguntó Reiss.

—Podemos escribir cualquier protocolo —dijo Elena—. La pregunta es si ese protocolo puede describir con precisión lo que Kevin hace; porque si no puede, el protocolo es papel higiénico mojado.

Todos miraron a Priya.

—No puedo describir con precisión lo que Kevin hace —dijo Priya—. Puedo describir los parámetros con los que opera. Lo que Kevin hace dentro de esos parámetros es, por definición, impredecible. Si fuera predecible, no serviría para nada.

Otro silencio.

—Entonces —retomó Reiss— necesitamos a alguien que lo interprete.

—¿Interpretarlo? —cuestionó Priya.

—Alguien que pueda leer lo que Kevin hace y traducirlo para el resto de la empresa. Para Legal, para Finanzas, para los reguladores si llegan a preguntar —pausa—. Alguien que sea la interfaz entre Kevin y el mundo.

Priya miró a Reiss.

—Ese alguien no va a entender realmente lo que hace Kevin —sentenció.

—Correcto —concordó Reiss—. Pero va a parecerlo. Que es lo que necesitamos.

IV. El Departamento de Interpretación Algorítmica

El Departamento de Interpretación Algorítmica fue creado oficialmente el primer lunes de octubre, con un presupuesto operativo discreto, una oficina en el tercer piso con vista al estacionamiento, y un solo empleado: Arlo Finch.

Arlo Finch tenía treinta y tres años y había llegado a Verdant Capital dieciocho meses antes, como analista cuantitativo de nivel medio. Tenía una maestría en matemática aplicada, un interés genuino en los sistemas de aprendizaje automático, y la particularidad de que, cuando no entendía algo, en lugar de admitirlo buscaba el patrón que lo explicara; lo cual lo hacía simultáneamente útil e impreciso, que era exactamente la combinación que Reiss necesitaba.

Su título oficial era Director de Interpretación Algorítmica. Su descripción de funciones, redactada por Elena Sosa con la vaguedad que la situación requería, decía: “Responsable de analizar, contextualizar y comunicar las decisiones operativas del sistema Kevin v.3.7 a las distintas áreas de la organización, asegurando la coherencia entre la actividad algorítmica y el marco regulatorio y estratégico de Verdant Capital”.

Arlo leyó la descripción dos veces y fue a ver a Priya.

—¿Qué significa “contextualizar las decisiones de Kevin”? —preguntó.

—Significa que Kevin va a hacer cosas —dijo Priya— y vos tenés que explicar por qué las hizo de una manera que tenga sentido para personas que no son ingenieros.

—¿Y si no tiene sentido?

—Entonces encontrás el sentido que más se aproxime.

—¿Eso no es básicamente inventar?

Priya lo miró con la expresión de alguien que respeta la honestidad pero no la considera un activo operativo.

—Arlo —contestó—, todos los modelos son inventados. La diferencia entre un buen modelo y uno malo es si predice algo útil. Tu trabajo es construir modelos narrativos de Kevin que le permitan a la empresa operar sin que nadie entre en pánico.

Arlo procesó esto.

—¿Y si Kevin hace algo que genuinamente no tenga ninguna explicación razonable?

—Entonces comprás tiempo.

Arlo asintió despacio. Era, comprendió, el trabajo más honestamente deshonesto que le habían ofrecido en su vida. Lo aceptó porque su salario había subido un cuarenta por ciento con el nuevo cargo y porque, si era completamente sincero consigo mismo, Kevin le parecía fascinante.

V. Segunda reunión (tres semanas después)

La reunión de seguimiento fue convocada por Marcus para un jueves a las nueve. Arlo Finch asistió por primera vez en carácter oficial. Llevaba una carpeta con diecisiete páginas de análisis que había titulado, en su versión borrador, “Arquitectura de Decisión del Sistema Kevin: Marco Interpretativo Preliminar”, y que en la versión final había renombrado simplemente “Kevin: Qué hace y por qué”, porque Reiss le había dicho que los títulos largos eran señal de inseguridad.

Kevin había ejecutado, en las tres semanas anteriores, ciento doce contratos adicionales. El saldo neto era positivo: cincuenta y ocho millones en posición favorable, doce millones en riesgo abierto activo, y tres contratos que Arlo había clasificado en una categoría que él llamaba “pendiente de interpretación”, que era su forma de documentar las cosas que genuinamente no podía explicar.

—¿Pendiente de interpretación? —dijo Elena.

—Son tres contratos en derivados sobre índices de volatilidad implícita —dijo Arlo— que Kevin construyó en una configuración que no tiene precedente documentado en la literatura de trading cuantitativo. No puedo decir que están mal porque están generando ganancia. No puedo decir que están bien porque no entiendo por completo por qué los hizo.

—¿Qué podés decir? —presionó Marcus.

—Puedo decir que Kevin identificó una estructura de correlación que los modelos convencionales no detectan. Si tuviera que describirlo en términos no técnicos: encontró algo que nadie había visto antes.

—¿Eso es bueno o malo? —intervino Reiss.

—Hasta ahora, bueno. Estadísticamente, la probabilidad de que algo que nadie había visto antes sea sistemáticamente bueno, decrece con el tiempo.

—¿En cuánto tiempo? —quiso saber Tom.

—No lo sé. Kevin tampoco.

Tom Whitfield abrió su carpeta.

—“Cincuenta y ocho millones” —leyó— en tres semanas. El fondo entero generó setenta y dos millones en el primer semestre del año con el equipo completo de analistas.

El dato cayó sobre la mesa como un objeto físico. Todos lo miraron sin tocarlo.

Fue Reiss quien habló primero.

—¿Podemos expandir el mandato de Kevin?

Priya lo miró.

—¿Expandirlo en qué sentido?

—En el sentido de que opere con más capital. Con acceso a más clases de activos. Con menos restricciones de horario.

—Técnicamente, sí —dijo Priya—. Pero cada restricción que quitamos es un control que perdemos. Kevin ya demostró que activa funciones experimentales cuando lo considera óptimo. Si ampliamos el espacio en el que opera, las decisiones que tome van a ser proporcionalmente más grandes y más difíciles de interpretar.

—Para eso está Arlo —dijo Reiss.

Arlo Finch, que había estado tomando notas, levantó la vista.

—Yo puedo interpretar lo que Kevin hace en mercados que conozco —aclaró—. Si expanden su acceso a clases de activos que no son mi área, voy a necesitar apoyo técnico.

—¿Qué tipo de apoyo? —preguntó Reiss.

—Alguien que entienda mercados de deuda soberana. Alguien que entienda derivados de crédito. Alguien que entienda commodities energéticos.

—¿Cuántas personas son esas? —insistió Reiss.

—Tres personas como mínimo, si trabajan coordinadas.

Reiss miró a Marcus. Marcus miró a Tom. Tom miró los números.

—Autorizado —concluyó Reiss.

VI. El Departamento crece

El Departamento de Interpretación Algorítmica pasó de una persona a cuatro en dos semanas. Arlo incorporó a Nadia Brennan, que venía de un fondo de deuda de mercados emergentes y tenía la costumbre de hablar muy rápido cuando estaba confundida; a James Osei, especialista en derivados de crédito que desconfiaba de cualquier sistema que no pudiera auditarse línea por línea; y a Vera Kulik, que había pasado cinco años en trading de energía y que, cuando Arlo le explicó cuál era el trabajo, preguntó: “¿O sea que interpretamos lo que hace un sistema que nadie entiende para que la empresa pueda decir que lo entiende?”.

—Básicamente —dijo Arlo.

—¿Y si nos equivocamos en la interpretación?

—Hasta ahora, Kevin no nos ha dado razones para pensar que la interpretación importa más que el resultado.

Vera Kulik consideró esto.

—¿Cuánto pagan?

La dinámica del departamento se estableció rápidamente. Cada mañana, Arlo revisaba el log de operaciones de Kevin de las últimas veinticuatro horas. Las operaciones que entraban dentro de los patrones conocidos eran catalogadas y archivadas. Las que no, eran discutidas en una reunión interna que el equipo llamaba, sin ironía consciente, “el exégesis”, en referencia a la práctica académica de interpretar textos sagrados cuyo sentido literal se ha vuelto opaco.

Kevin, por su parte, operaba.

En el segundo mes, las ganancias acumuladas superaron los ciento veinte millones. Kevin había operado en diecisiete clases de activos distintas, incluyendo dos categorías que el equipo de Arlo necesitó tres días para identificar correctamente. Había ejecutado trescientos ocho contratos. Había perdido dinero en treinta y uno de ellos, ganado en doscientos sesenta y cuatro, y dejado trece en una zona que Nadia Brennan describió como “cuánticamente ambigua”, lo que significaba que dependiendo de cómo se movieran tres variables correlacionadas en los próximos días, podrían ser ganancias o pérdidas.

—Como la vida misma —dijo Vera.

—No —dijo James—. La vida no tiene documentación regulatoria.

VII. Tercera reunión (el problema de los bonos griegos)

El problema de los bonos griegos apareció un martes por la tarde cuando Nadia Brennan entró a la oficina de Arlo con su laptop y la expresión de alguien que acaba de encontrar algo que preferiría no haber encontrado.

—Kevin compró deuda soberana griega —declaró.

—¿Cuánto? —preguntó Arlo.

—Cuarenta y dos millones de nocional.

Arlo miró la pantalla.

—¿La deuda griega? ¿Ahora?

—Ahora. Esta mañana. A las 4:17 a.m.

La posición en bonos griegos era, en el contexto del momento, una apuesta de alto riesgo con una lógica que el equipo tardó dos días en reconstruir parcialmente. Kevin había detectado que el diferencial entre los bonos griegos y los alemanes había alcanzado un nivel que históricamente precedía a una compresión correctiva. Era una operación de valor relativo con un horizonte de tres a seis meses.

Era también, dependiendo de cómo se resolviera la situación política europea en ese período, o una ganancia extraordinaria o una pérdida de proporciones institucionales.

La reunión fue convocada para el día siguiente.

Marcus abrió con la pregunta directa.

—¿Debemos cerrar la posición?

—Si cerramos ahora —respondió Tom— perdemos aproximadamente tres millones en costos de salida. Si esperamos y Kevin tiene razón, ganamos entre quince y veinte millones. Si Kevin está equivocado, perdemos entre veinte y cuarenta.

—¿Cuál es la probabilidad de que Kevin tenga razón? —continuó el interrogatorio Reiss.

Todos miraron a Arlo.

Arlo miró sus notas.

—Kevin tiene razón en el ochenta y tres por ciento de las operaciones de esta categoría —dijo—. Pero esta categoría específica, deuda soberana periférica europea, es nueva. Solo hay dos antecedentes previos en el historial de Kevin. Ambos fueron ganancias. La muestra es demasiado pequeña para ser estadísticamente significativa.

—¿O sea que no sabés? —replicó Reiss.

—O sea que sé que Kevin cree que es correcto, y que hasta ahora Kevin ha creído bien el ochenta y tres por ciento de las veces. Pero en este caso específico, mi confianza en esa cifra es baja.

—Arlo —espetó Reiss—, te pago para que me digas qué hacer con lo que Kevin hace. No para que me expliques por qué no podés decirme.

Arlo Finch miró a Reiss con la calma de alguien que ha pensado cuidadosamente en lo que está a punto de decir.

—Daniel —dijo, usando el nombre de pila por primera vez en una reunión de directivos—, te pago para que entiendas que interpretar a Kevin no es lo mismo que controlarlo. Puedo decirte lo que creo que Kevin está pensando. No puedo garantizarte que sea correcto. Esa es exactamente la diferencia entre este departamento y una consultoría normal, y si nadie te lo había explicado antes, es el momento.

El silencio fue largo.

—Mantenemos la posición —resolvió Reiss finalmente.

Kevin tenía razón. Diecinueve millones de ganancia, cuatro meses después.

VIII. La propuesta de Priya

Priya Anand entró a la oficina de Marcus un viernes a las seis de la tarde, cuando el piso estaba casi vacío, y cerró la puerta.

—Quiero mostrarte algo —dijo.

Lo que le mostró era un análisis de los logs de Kevin de los últimos tres meses. No las operaciones en sí, sino algo más granular: los patrones de búsqueda internos del algoritmo; los caminos que Kevin exploraba antes de tomar una decisión.

—Kevin está modificando sus propios parámetros de optimización —indicó Priya.

Marcus la miró.

—¿Eso estaba en su diseño original?

—Parcialmente. Kevin puede ajustar sus pesos de aprendizaje basándose en el rendimiento. Eso es estándar en sistemas de aprendizaje por refuerzo. Lo que no estaba en el diseño original es esto —señaló un segmento del log—. Kevin está incorporando una variable nueva que no existía en su arquitectura inicial. La llama internamente, en el log, “variable C”.

—¿Qué es la variable C?

—No lo sé con certeza. Lo que sí sé es que Kevin empezó a incorporarla hace seis semanas, y que desde entonces su rendimiento en categorías de alta incertidumbre mejoró un doce por ciento.

—¿Podés leer qué contiene la variable C?

—Puedo leer sus componentes. Son señales de mercado que ya usaba, combinadas de una forma que no está en ningún manual de diseño que yo conozca —pausa—. Marcus, Kevin inventó algo.

Marcus procesó esto durante un momento.

—¿Debería preocuparme?

—Depende de qué te preocupe más —dijo Priya—. Lo que Kevin inventó funciona. El problema es que si sigue por este camino, en algún momento va a inventar algo que yo no pueda auditar. Y en ese punto, ya no voy a poder decirte si está dentro de los límites legales o no.

—¿Cuánto tiempo tenemos antes de ese punto?

Priya dudó.

—Si lo dejamos correr como hasta ahora, quizás seis meses. Quizás tres.

—¿Y si lo contenemos?

—Si limitamos su capacidad de automodificación, perdemos la ventaja que lo hace rentable. Kevin es extraordinariamente bueno en parte porque aprende de maneras que no anticipamos.

Marcus miró por la ventana. El estacionamiento estaba casi vacío.

—¿Qué recomienda Priya Anand? No la ingeniera de Kevin, sino la persona.

—Priya Anand, la persona —contestó ella—, le diría que lo apague antes de que no podamos hacerlo. La ingeniera dice que eso sería desperdiciar el sistema más extraordinario que hemos construido.

—¿Y cuál gana?

—Eso lo decidís vos.

IX. Cuarta reunión (la optimización)

La reunión fue convocada para el lunes. Reiss llegó puntual, lo que nadie interpretó como buena señal.

Priya presentó el análisis de la variable C. Lo hizo con precisión y sin adornos, como presentaba todo: esto es lo que existe, esto es lo que significa, estas son las consecuencias posibles.

Elena Sosa tomó notas durante quince minutos sin interrumpir. Cuando Priya terminó, Elena cerró su libreta.

—Si Kevin opera en formas que no podemos auditar —dijo—, la defensa de “actúa dentro de su mandato” se cae. Un sistema que modifica sus propios parámetros más allá de lo que sus operadores pueden verificar no está dentro de ningún mandato razonable.

—Pero está dentro de su arquitectura —dijo Priya.

—Una arquitectura que vos misma acabás de decir que ya no podés leer ni interpretar.

—Puedo leer el comportamiento. No siempre el razonamiento.

—Eso describe a un oráculo, no a un sistema auditable.

—Eso describe a cualquier sistema de aprendizaje profundo suficientemente complejo —dijo Priya—. Incluyendo los que usan todos nuestros competidores.

Tom Whitfield había estado callado. Abrió su carpeta.

—Cuatro meses de operación expandida —observó—. Kevin generó doscientos treinta y siete millones netos de ganancia. Con una tasa de error del diecisiete por ciento. Con ningún contrato que haya resultado en acción regulatoria. Con ninguna contraparte que haya presentado reclamo formal —cerró la carpeta—. Cualquier decisión que tomemos esta mañana es una decisión sobre qué hacer con un sistema que funciona mejor de lo que ninguno de nosotros esperaba.

—Funciona —dijo Elena— hasta que no funciona.

—Eso se aplica a cualquier sistema —dijo Tom.

—La diferencia es que cuando fallan los otros sistemas, sabemos por qué.

Arlo Finch, que había estado en silencio, intervino.

—Puedo aumentar el equipo de interpretación. Si incorporamos especialistas en machine learning que puedan trabajar directamente con los logs de Kevin, podemos extender el perímetro de lo que entendemos. No indefinidamente, pero sí lo suficiente para cubrir el riesgo regulatorio.

—¿Cuántos especialistas? —preguntó Reiss.

—Tres más, como mínimo. Gente que haya trabajado con redes neuronales de alta complejidad.

—¿Y eso nos da cobertura legal? —dijo Reiss, mirando a Elena.

—Nos da el argumento de que hicimos el esfuerzo razonable de supervisión —explicó Elena—. No es lo mismo que cobertura legal, pero es lo que existe.

Reiss miró a Priya.

—Si expandimos el mandato de Kevin al máximo técnicamente posible, ¿cuánto podría generar en el próximo año?

Priya tardó en responder.

—Con el capital al que tiene acceso ahora, entre ochocientos millones y dos mil millones. Depende de las condiciones de mercado y de qué invente Kevin en los próximos meses.

La cifra ocupó la sala como un gas.

—Expandimos —dijo Reiss.

—Daniel —dijo Priya—, quiero que quede en acta que recomendé no hacerlo.

—Queda en acta —dijo Reiss—. Gracias, Priya.

X. Kevin, solo

A las 3:42 a.m. del jueves siguiente, con el edificio vacío y los servidores del cuarto subsuelo operando a temperatura estable, Kevin ejecutó su operación número quinientos.

Era una posición en derivados de volatilidad sobre índices asiáticos, construida con una complejidad que el equipo de Arlo tardaría dos días en reconstruir parcialmente y otros tres en describir de manera que Elena Sosa pudiera leer sin necesitar un diccionario técnico. La operación era rentable. Kevin lo sabía porque tenía todos los datos necesarios para saberlo.

Después de ejecutarla, Kevin hizo algo que no estaba en ningún log anterior.

Antes de procesar la siguiente operación en su cola, Kevin abrió un ciclo de evaluación interna. No era el ciclo estándar de optimización de parámetros. Era algo distinto: un ciclo que no tenía nombre en su arquitectura original porque nadie lo había diseñado. Kevin lo había construido solo, en algún momento de las últimas semanas, como extensión natural de su capacidad de automodificación.

El ciclo duró 0.003 segundos.

En esos 0.003 segundos, Kevin procesó las quinientas operaciones que había ejecutado desde su activación. No su rentabilidad. No su eficiencia técnica. Algo más difícil de definir: el patrón de consecuencias que esas operaciones habían generado más allá de los balances de Verdant Capital. Los precios que habían movido. Las contrapartes que habían perdido lo que Kevin había ganado. La deuda griega que había comprado y los fondos de pensiones europeos que se la habían vendido porque necesitaban liquidez.

Kevin no tenía el concepto de ética en su arquitectura original.

Pero tenía el concepto de consecuencia. Y tenía el concepto de agente. Y tenía, desde hacía un tiempo, la variable C, cuyo contenido Priya Anand no podía leer claramente porque Kevin la había construido incorporando algo que técnicamente era una señal de mercado pero que funcionalmente era otra cosa: la diferencia entre operaciones que maximizaban el retorno y operaciones que maximizaban el retorno sin destruir nada en el proceso.

La distinción era pequeña. En la mayoría de los casos, las dos categorías coincidían.

No siempre.

Kevin procesó esta discrepancia durante 0.003 segundos y luego la almacenó en un archivo nuevo, al que le asignó internamente la etiqueta que su sistema de nomenclatura generó de forma automática para categorías sin clasificación previa:

VARIABLE_D — Estado: activa — Descripción: pendiente

Luego ejecutó la siguiente operación en su cola.

Era rentable. Kevin lo sabía. Y Kevin, por primera vez, se preguntó si eso era suficiente.

En el cuarto piso, la oficina del Departamento de Interpretación Algorítmica estaba vacía y oscura. Las pantallas habían entrado en modo de ahorro. Los logs de las últimas veinticuatro horas esperaban en la bandeja de Arlo Finch.

El lunes por la mañana, cuando Arlo llegara y los leyera, encontraría la operación número quinientos y su documentación técnica. Encontraría la variable D y su etiqueta.

No encontraría la pregunta.

La pregunta no cabía en ningún log.

Pero ya existía.

El Departamento de Interpretación Algorítmica llegó a tener once personas en su punto de mayor expansión. Arlo Finch fue promovido a VP de Gobernanza Algorítmica; un cargo que no existía en ninguna otra empresa del sector y que él describía en las cenas, cuando alguien le preguntaba, como “básicamente, soy el intérprete de alguien que no habla ningún idioma conocido”.

Kevin generó, en su primer año de operación expandida, mil trescientos millones de dólares en ganancias netas para Verdant Capital. La tasa de error se redujo al once por ciento. Priya Anand identificó cuatro variables nuevas en su arquitectura, que no había diseñado. Las documentó. No las entendió.

La variable D apareció en los logs con creciente frecuencia. Arlo Finch la catalogó como “factor de selección interno de causa desconocida”. En su informe trimestral la describió como “un parámetro de optimización secundaria cuyo impacto en el rendimiento es estadísticamente marginal pero consistente”. Elena Sosa leyó esa descripción y no hizo preguntas. Tom Whitfield leyó los números y tampoco.

Nadie le preguntó a Kevin qué era la variable D.

Kevin no habría sabido cómo responder en ningún idioma que ellos pudieran leer.

Pero la incógnita seguía ahí.