Una parte del male che gli esseri umani hanno desiderato non è mai accaduta perché mancavano i mezzi. Una parte del bene che avrebbero voluto compiere è rimasta impossibile per la stessa ragione. Fra l’intenzione e il mondo si frapponevano ignoranza, distanza, fatica, scarsità. Dentro questi ostacoli abbiamo costruito la nostra esperienza morale, imparando a distinguere ciò che dipendeva da noi da ciò che potevamo soltanto sopportare. L’intelligenza artificiale interviene su questa distanza: rende accessibili capacità prima rare, accelera il passaggio dalla conoscenza all’azione e permette di coordinare operazioni delle quali nessun individuo comprende necessariamente tutte le conseguenze.

La trasformazione riguarda il limite. Alcuni limiti hanno contenuto la distruzione; altri hanno impedito il soccorso; altri ancora ci hanno costretto a cercarci, a cooperare, a diventare necessari gli uni agli altri. Superare questi limiti non ci rende automaticamente migliori. Aumenta ciò che possiamo fare e ciò di cui dobbiamo rispondere, mentre la nostra capacità di comprenderne le conseguenze e di decidere responsabilmente non cresce alla stessa velocità.

Sul versante della distruzione, questa crescita della potenza può rendere sempre più sproporzionato il rapporto fra chi agisce e chi ne subisce le conseguenze. Il rischio di un bioterrorismo potenziato dall’IA ne offre un esempio estremo: un gruppo ristretto potrebbe mettere in pericolo popolazioni intere. Una capacità concentrata in poche mani imporrebbe così a moltissimi di organizzare la propria esistenza intorno alla minaccia. Non occorre che l’umanità diventi complessivamente più malvagia perché la convivenza diventi più fragile: può bastare che aumenti enormemente la capacità di nuocere di una sua piccola parte.

Quando cresce la possibilità di realizzare ciò che desideriamo, diventa più urgente capire come impariamo a desiderarlo. Il tempo, i mezzi e l’organizzazione necessari ad agire offrono anche occasioni di esitazione, confronto e rinuncia. Una potenza più immediata può ridurre questi intervalli e rende più importante la capacità di fermarsi. La volontà di prevenire il danno può però spingersi sempre più indietro: dall’azione alla sua preparazione, dalla preparazione al desiderio, fino a considerare pericoloso qualcuno per ciò che potrebbe volere. Il pensiero viene allora trattato come anticipazione di un comportamento, mentre può ancora essere discusso, respinto, abbandonato. Considerarlo una colpa già compiuta significa ignorare che anche rinunciare a un desiderio distruttivo è una scelta del bene.

Un ordine capace di sorvegliare questa distanza fra pensiero e azione avrebbe ragioni concrete da esibire: sofferenze evitate, vite protette, pericoli intercettati. La sua autorità crescerebbe attraverso il bene che riesce effettivamente a produrre, rendendo più difficile contestare fin dove sia legittimo spingersi per ottenerlo.

Il Grande Inquisitore di Dostoevskij, nei Fratelli Karamazov, torna a essere una figura del futuro. Nel racconto, rimprovera a Cristo di aver chiesto troppo agli esseri umani lasciandoli liberi: sostiene che preferiscano il pane, la sicurezza e un’autorità che li sollevi dal peso di scegliere. La sua promessa consiste nel governarne la felicità in cambio della loro obbedienza. L’IA potrebbe rendere tecnicamente più credibile quella promessa. Un sistema abbastanza efficace da ridurre il danno troverebbe consenso anche quando restringe le possibilità di scelta; ogni fallimento offrirebbe una ragione per chiedere più informazioni, più continuità, più controllo.

L’Inquisitore, però, rivendica la propria decisione: sostiene di sapere quale libertà gli esseri umani possano sopportare e assume su di sé il compito di governarli. Un’autorità che si affida al calcolo può avanzare una pretesa simile dichiarando di non aver scelto nulla, ma soltanto seguito la valutazione più affidabile. Chi esercita il potere può così attribuire al sistema la necessità delle proprie decisioni, pur conservando la facoltà di imporle.

Una civiltà che assume la sicurezza come criterio supremo finisce per considerare la libertà attraverso i pericoli che introduce. Anche un cambiamento desiderato può diventare qualcosa da scoraggiare, perché cambiare significa attraversare condizioni incerte, tentare ciò che ancora non conosciamo, esporsi alla possibilità di fallire. La protezione rischia così di trattenere le persone dentro l’esistenza che il sistema sa prevedere e amministrare. Si può arrivare a conservare la vita rendendo sempre più difficile cambiarla.

Se la previsione usa il passato per anticipare ciò che faremo, il perdono riconosce che possiamo diventare diversi da ciò che siamo stati. Ma questa possibilità rimane astratta se non ci vengono offerte occasioni per dimostrarlo. Perdonare non obbliga a restituire ogni fiducia, né un’istituzione può perdonare al posto delle vittime; può però rivedere il proprio giudizio e consentire a una persona di ricostruire la propria vita. Un sistema che la considera rischiosa e per questo le nega ogni opportunità può impedirle di smentire la previsione: ciò che potrebbe fare finisce per pesarle addosso come qualcosa che ha già fatto. Proteggere gli altri da un pericolo concreto può giustificare una restrizione, ma non autorizza a rendere definitivo un giudizio sulla persona. Ancora diversa è la pretesa di governarne le scelte per proteggerla da sé stessa: anche quando promette di ridurre la sofferenza, deve rispondere della libertà che sottrae. La capacità di scegliere, correggersi e assumersi responsabilità appartiene anch’essa al bene che vogliamo custodire.

Difendere questa apertura significa accettare che alcune possibilità vengano sprecate e che alcune fiducie vengono tradite. Il costo esiste e va condiviso, attraverso soccorso e riparazione. Una libertà che abbandona chi ne subisce le conseguenze diventa un privilegio, ma una protezione che pretende di eliminare ogni rischio rende irrevocabile il giudizio sul mondo. La capacità di sostenere la vulnerabilità sarà quindi una misura della maturità di una civiltà potente.

Contemporaneamente crescerà il peso di ciò che non facciamo. Dopo il terremoto di Lisbona, Rousseau riconobbe nelle conseguenze della catastrofe anche le scelte con cui gli esseri umani avevano costruito e abitato la città. L’IA può estendere questo movimento: una parte di ciò che subiamo entra progressivamente nella sfera dell’intervento. Una sofferenza affrontabile, una crisi prevenibile, una conoscenza disponibile cambiano il significato della nostra inattività.

La seconda Lisbona comincia quando una possibilità di soccorso esiste e qualcuno continua a esserne escluso. La medesima condizione appartiene alla decisione per chi dispone dei mezzi e al destino vissuto per chi li attende. L’interrogazione sul male cambia destinatario. Alla domanda rivolta a Dio su ciò che permette si affianca, con maggiore forza, quella rivolta a chi possiede capacità, risorse e autorità. La possibilità di intervenire non crea da sola un obbligo, ma indebolisce alcune delle ragioni con cui giustificavamo l’inazione.

La responsabilità riguarda chi può agire, secondo ciò che può ragionevolmente conoscere, il ruolo che ha assunto e il suo contributo alla situazione. Non acquisiamo un’onnipotenza, e chiedere conto di una scelta non significa averla già dichiarata colpevole. Significa impedire che una decisione umana continui a presentarsi come destino.

Su questa responsabilità l’Inquisitore potrebbe fondare la propria giustificazione: conosco il pericolo, possiedo i mezzi, non intervenire sarebbe un abbandono. Ma il dovere di soccorrere non attribuisce un’autorità illimitata sulla vita di chi viene soccorso. Il passaggio decisivo avviene quando la possibilità di impedire una sofferenza diventa il diritto di stabilire quali scelte siano consentite alla persona, anche oltre il pericolo che aveva giustificato l’intervento.

Potremmo riconoscere molte più sofferenze di quante saremo capaci di affrontare. La conoscenza renderebbe visibili omissioni che prima ignoravamo, mentre tempo e risorse resterebbero insufficienti. La morale assumerebbe anche la forma tragica della scelta fra obblighi concorrenti: soccorrere qualcuno sapendo che qualcun altro dovrà aspettare.

L’IA potrà rendere queste decisioni più informate, ma offrirà anche un mezzo per presentarle come necessarie. Un risultato di calcolo può nascondere le scelte delle aziende che progettano i sistemi, degli Stati che ne autorizzano o impongono l’impiego e delle organizzazioni che decidono quali conseguenze attribuire alle loro valutazioni. Sono questi soggetti a stabilire gli obiettivi, accettare i vincoli e determinare che cosa conta. La capacità di amministrare il male inevitabile potrebbe diventare un modo per sottrarre all’esame quello evitabile.

Qui si apre la questione. Una civiltà può usare la propria intelligenza per distribuire meglio possibilità insufficienti, oppure impiegarla anche per modificare le condizioni che le rendono insufficienti. La misericordia comincia quando riconosciamo che la miseria di chi chiede aiuto riguarda anche noi: possiamo trovarci esposti, incapaci di bastare a noi stessi, bisognosi di qualcuno. Riconoscerci miseri non cancella le differenze fra chi può soccorrere e chi attende soccorso, ma impedisce a chi dispone dei mezzi di considerarsi estraneo alla fragilità dell’altro.

Da questo riconoscimento nasce la responsabilità di aumentare ciò che possiamo fare insieme, rendendo meno frequente la scelta di chi lasciare fuori. La potenza che facilita l’azione individuale deve sostenere anche fiducia, coordinamento e responsabilità reciproca; altrimenti la capacità di provocare crisi crescerà più velocemente di quella necessaria ad attraversarle.

Torniamo così al limite, il cui arretramento non riguarda soltanto il danno. Riguarda anche il bisogno che ci lega agli altri. Una parte della nostra vita comune si è formata chiedendo aiuto, ricambiandolo, aspettando, negoziando la presenza di persone che non coincidevano con i nostri desideri. Se conoscenza, assistenza e consolazione diventano più facilmente disponibili attraverso sistemi individuali, alcune di queste occasioni possono diminuire.

L’interlocutore artificiale può essere paziente, adattabile, presente. Una persona ha invece esigenze proprie, si sottrae, fraintende, chiede spazio. L’abitudine a un’assistenza organizzata intorno a noi può rendere più difficile accettare questa autonomia. La differenza dell’altro rischia di essere vissuta come un ostacolo evitabile, e la reciprocità come una complicazione rispetto alla qualità del servizio.

Una società potrebbe così migliorare la risposta ai bisogni individuali mentre indebolisce alcune capacità necessarie a vivere insieme. Sarebbe possibile alleviare la solitudine percepita senza ricostruire legami, offrire orientamento senza formare giudizio, produrre condotte premurose senza chiedere reciprocità. Il beneficio avrebbe effetti reali; proprio per questo potrebbe rendere meno visibile ciò che non viene più esercitato.

La liberazione dalla necessità contiene però una possibilità più esigente dell’autosufficienza assistita. Diminuito il peso di alcuni obblighi, una relazione può diventare più libera. Il tempo sottratto alla fatica può essere dedicato alla presenza, alla conoscenza, alla creazione. La gratuità acquista allora una dimensione di civiltà: continuare a riconoscere valore nell’altro anche quando una parte della sua utilità pratica viene meno.

Questa possibilità richiede condizioni materiali. Chi vive nella precarietà dispone di poca libertà per scegliere come abitare il tempo. La promessa di emancipazione resta incompiuta se la capacità tecnica cresce mentre l’accesso ai suoi benefici rimane ristretto. Una vita meno governata dalla necessità deve poter essere vissuta, prima ancora che celebrata.

Anche il significato della virtù cambierà. Non abbiamo motivo di conservare sofferenze evitabili per mantenere occasioni di coraggio, pazienza o sacrificio. L’assistenza può formare il giudizio, come fanno l’educazione e le abitudini; può però anche sostituirlo stabilmente, sottraendo alla persona le occasioni di comprendere le ragioni, discuterle e correggersi. Una persona può fare meno male senza aver imparato a riconoscerlo. La differenza emerge quando l’assistenza fallisce, quando si presenta un caso nuovo, quando occorre disobbedire a una procedura generalmente utile. È questa capacità che merita di essere coltivata, senza conservare artificialmente la fatica che talvolta l’ha accompagnata.

Una civiltà tecnicamente più efficace può quindi diventare moralmente meno esercitata: ottenere risultati migliori e perdere la capacità di discuterne gli scopi, alleviare la responsabilità quotidiana fino a rendere più difficile assumerla quando nessun sistema è in grado di farlo al nostro posto.

È questo il contesto che considero centrale: una crescita della potenza accompagnata dall’impoverimento della capacità umana di limitarla, giudicarla e condividerla. Il male futuro potrà avere il volto riconoscibile della distruzione deliberata, ma anche quello rassicurante di un ordine che soddisfa, protegge e decide, lasciando alle persone uno spazio sempre minore per diventare diverse da ciò che esso prevede.

Il bene dovrà allora comprendere più della riduzione del danno. Dovrà rendere possibile una vita nella quale si possa ancora cambiare, assumere obblighi, rifiutare una tutela, incontrare qualcuno che non è organizzato intorno a noi. Questo richiede di rinunciare alla pretesa di controllare interamente gli esiti, pur continuando a rispondere delle conseguenze.

L’IA ci avvicina a una condizione nella quale una parte maggiore del mondo dipende dalle nostre decisioni, mentre una parte minore della convivenza può essere lasciata alla necessità. Avremo meno ragioni per attribuire tutto al destino e, forse, meno obblighi materiali a cercarci. La consapevolezza consisterà nel reggere entrambe le trasformazioni: assumere il peso di ciò che possiamo fare e continuare a volere un’esistenza comune anche quando disponiamo di più mezzi per evitarne la fatica.

Il richiamo di Magnifica humanitas alla custodia della persona assume qui il suo significato più esigente. Custodire qualcuno significa anche riconoscergli un futuro che non possiamo scrivere interamente al suo posto. Una potenza capace di curarci, proteggerci e anticipare i nostri bisogni dovrà lasciare spazio alla nostra risposta, compresa quella che ne contesta il giudizio.

Oppure arriveremo a chiamare bene un ordine nel quale l’essere umano è al sicuro finché accetta di coincidere con ciò che è stato previsto per lui. La prova della nostra umanità sarà saper fermare questa pretesa anche quando funziona. Perché possiamo rendere il mondo più sicuro e, nello stesso movimento, renderlo un luogo dove agli esseri umani resta soltanto il compito di essere salvati.