Ένα αμερικανικό εφετείο έκρινε ότι μια εταιρεία τεχνητής νοημοσύνης είναι «επικίνδυνη» για τις ένοπλες δυνάμεις της χώρας, επειδή το προϊόν της αρνείται να κάνει δύο συγκεκριμένα πράγματα. Η υπόθεση μάς αφορά περισσότερο απ’ όσο δείχνει εκ πρώτης όψεως: στις 31 Αυγούστου η Ελλάδα υπέγραψε στο Τελ Αβίβ τη συμφωνία για την «Ασπίδα του Αχιλλέα».
Η Anthropic, η εταιρεία που φτιάχνει το Claude, τον βασικό ανταγωνιστή του ChatGPT, δεν είναι ειρηνιστική ΜΚΟ. Οι αμερικανικές ένοπλες δυνάμεις χρησιμοποιούσαν το μοντέλο της από το 2024. Η εταιρεία είχε δεχτεί, στη σύμβαση που υπέγραψε, να χρησιμοποιείται το μοντέλο για σχεδιασμό όπλων, για ανάλυση πληροφοριών και για επιθέσεις στον κυβερνοχώρο. Δύο πράγματα αρνήθηκε ώς το τέλος: να κατευθύνει το Claude όπλα που διαλέγουν και χτυπούν στόχους αυτόνομα, δηλαδή χωρίς να το αποφασίζει άνθρωπος· και να χρησιμοποιηθεί ως Μεγάλος Αδελφός για τη μαζική παρακολούθηση Αμερικανών πολιτών.
Τον Ιανουάριο, ο υπουργός Πιτ Χέγκσεθ, του οποίου το υπουργείο αυτοαποκαλείται από πέρυσι υπουργείο Πολέμου, απαίτησε από όλους τους προμηθευτές να προσθέσουν στις συμβάσεις τους τον όρο «για κάθε νόμιμη χρήση». Ενάμιση μήνα μετά, η Anthropic δεν το είχε κάνει. Ο υπουργός έδωσε στον επικεφαλής της, τον Ντάριο Αμοντέι, τρεις μέρες προθεσμία να συμμορφωθεί. Ο Αμοντέι, αν και είχε το μαχαίρι στον λαιμό, αρνήθηκε δημοσίως να το πράξει· αναγνώρισε, ωστόσο, ότι το υπουργείο έχει κάθε δικαίωμα να βρει άλλον προμηθευτή και προσφέρθηκε να διευκολύνει τη μετάβαση σε άλλο σύστημα.
Ο Χέγκσεθ θα μπορούσε απλώς να λύσει τη συνεργασία. Ως επιδερμικά πολεμοχαρής, μόλις έληξε το τελεσίγραφο προτίμησε να χαρακτηρίσει την εταιρεία «επικίνδυνη για την εφοδιαστική αλυσίδα», με έναν νόμο του 2018 που ψηφίστηκε για να εμποδίσει εχθρικά κράτη να διεισδύουν στις κρατικές προμήθειες. Με αυτή την απόφαση κανένας εργολάβος που κάνει δουλειές με το Πεντάγωνο δεν μπορεί πλέον να χρησιμοποιεί σε αυτές το Claude.
Η εταιρεία προσέφυγε στη δικαιοσύνη. Στις 25 Σεπτεμβρίου το ομοσπονδιακό εφετείο της Ουάσινγκτον απέρριψε κατά πλειοψηφία την προσφυγή της. Η απόφαση δέχεται ότι η Anthropic ενήργησε με «αγαθές προθέσεις», και ταυτόχρονα ότι ο υπουργός είχε κάθε δικαίωμα να τη χαρακτηρίσει «επικίνδυνη».
Ένα ρήμα, δύο λεξικά
Πώς γίνεται να είναι κανείς καλόπιστος και επικίνδυνος ταυτόχρονα; Η αμερικανική νομοθεσία ορίζει ως κίνδυνο το ενδεχόμενο να κάνει κάποιος σαμποτάζ σε ένα προϊόν, να του κρύψει κακόβουλα μια ανεπιθύμητη λειτουργία ή να επέμβει «με άλλον τρόπο» στη λειτουργία του (το αγγλικό ρήμα είναι to manipulate). Τα ελληνικά έχουν για το ρήμα αυτό δύο λέξεις, και οι δικαστές διχάστηκαν ανάμεσά τους. Η πλειοψηφία το ερμήνευσε ως «χειρίζομαι», δηλαδή ρυθμίζω και ελέγχω. Η Anthropic εκπαιδεύει το Claude να αρνείται ορισμένα πράγματα, άρα και αυτή το χειρίζεται, και ο νόμος, κατά την πλειοψηφία, κοιτάζει τι κάνει ο προμηθευτής και αδιαφορεί για το γιατί το κάνει.
Η δικαστής Κάρεν Χέντερσον, που μειοψήφησε, το ερμήνευσε ως «χειραγωγώ», δηλαδή επηρεάζω ύπουλα και με δόλο. Ο κατάλογος του νόμου, υποστηρίζει, αρχίζει με το σαμποτάζ και τις κακόβουλες ενέργειες, άρα και το ρήμα «χειραγωγώ» εννοεί κάτι εχθρικό και κρυφό· η Anthropic, αντίθετα, έγραψε τους περιορισμούς της φανερά στο συμβόλαιο και τους τήρησε. Το παράδειγμα που έδωσε η δικαστίνα το καταλαβαίνει και μικρό παιδί. Όταν μια πινακίδα βιβλιοθήκης απαγορεύει «να φωνάζετε, να μιλάτε δυνατά στο κινητό, να παίζετε μουσική ή με οποιονδήποτε άλλον τρόπο να ενοχλείτε», δεν διώχνει αυτόν που ακούει μουσική με ακουστικά.
Το επιχείρημα του στρατού
Η θέση του υπουργείου είναι εύλογη, και θα ήταν άδικο να την παραβλέψουμε, μόνον επειδή ο Χέγκσεθ τη διατύπωσε με τον χοντροκομμένο τρόπο του: «Οι πολεμιστές της Αμερικής δεν θα γίνουν ποτέ όμηροι των ιδεολογικών ιδιοτροπιών της Big Tech». Ένα όπλο εκτελεί καταπώς το χειρίζεται ο χειριστής του (συγχωρήστε με). Τα όρια τα βάζει η νομοθεσία· την ερμηνεία της την κάνει η στρατιωτική ιεραρχία, η οποία λογοδοτεί σε εκλεγμένη κυβέρνηση. Και βεβαίως, κανένας στρατός δεν ξεκινά μια επιχείρηση χωρίς να ξέρει αν το λογισμικό του θα συνεργαστεί ώς το τέλος.
Το δικαστήριο έκρινε ότι η ανησυχία του Πενταγώνου είχε έρεισμα. Τον Ιανουάριο, στέλεχος της Anthropic έθεσε ερωτήματα για τη χρήση του Claude σε μια στρατιωτική επιχείρηση στο εξωτερικό (κατά τα δημοσιεύματα, τη σύλληψη του Νικόλας Μαδούρο) και το υπουργείο αναρωτήθηκε τι θα γινόταν αν το λογισμικό σταματούσε να ανταποκρίνεται σε μια κρίσιμη στιγμή. Η εταιρεία αντέτεινε ότι ο στρατός μπορεί να δοκιμάζει κάθε νέο μοντέλο πριν το παραλάβει, όπως κάνει π.χ. με τα αεροπλάνα. Αλλά εδώ αρχίζουν τα δύσκολα με την τεχνητή νοημοσύνη. Η δοκιμή δεν μπορεί ποτέ να είναι εξαντλητική για ένα σύστημα που –όπως παραδέχεται η ίδια η εταιρεία– αν αλλάξει λίγο η διατύπωση μπορεί να απαντήσει στο ίδιο αίτημα αλλιώς. Έτσι ο στρατός δεν ξέρει από πριν (και δεν μπορεί να ξέρει…) πότε η μηχανή θα του πει όχι.
Νόμιμο και ηθικό;
Η Anthropic απαντά ότι στις δύο περιπτώσεις που αναφέραμε παραπάνω (τα όπλα που σκοτώνουν μόνα τους και τις μαζικές παρακολουθήσεις) η μηχανή οφείλει να λέει όχι. Ο λόγος για την πρώτη άρνηση είναι εγγενής στην τεχνητή νοημοσύνη. Τα σημερινά μοντέλα κάνουν ένα λάθος που δεν μοιάζει με τα ανθρώπινα (εκτός και αν σε λένε Τραμπ): μπορούν να πουν με απόλυτη βεβαιότητα πράγματα που δεν ισχύουν. Ο Αμοντέι δέχεται ότι κάποτε τα όπλα θα γίνουν αυτόνομα (θα σκοτώνουν δηλαδή από μόνα τους)· σήμερα, ωστόσο, υποστηρίζει ότι η τεχνολογία δεν είναι «αρκετά αξιόπιστη», και το λάθος της θα το πληρώσουν και άμαχοι – όχι μόνο στρατιώτες. Τις αντοχές και ανοχές (αλλά όχι ενοχές, καθότι η μηχανή δεν διαθέτει) του προϊόντος τις ξέρει καλύτερα ο κατασκευαστής του. Ο μηχανικός που αρνείται να υπογράψει για φορτίο πάνω από τις αντοχές μιας γέφυρας δεν σαμποτάρει τον πελάτη του· αντίθετα, τον προστατεύει.
Πάνω από το τεχνικό επιχείρημα στέκεται ένα παλαιότερο. Το δίκαιο του πολέμου ζητά να δια-κρίνει κάποιος αν: α) ο στόχος είναι μαχητής ή άμαχος· και β) το πλήγμα είναι ανάλογο με το στρατιωτικό όφελος. Προϋποθέτει επίσης ότι αυτός ο κάποιος μπορεί να δικαστεί για την κρίση του. Όταν, λοιπόν, αποφασίζει το λογισμικό, δεν υπάρχει κανείς να δικαστεί. Ο στρατός των ανθρώπων έχει, άλλωστε, ένα φρένο που το θεωρούμε δεδομένο, αφού ο στρατιώτης μπορεί να αρνηθεί μια παράνομη διαταγή. Και εδώ ξαναρχίζουν τα δύσκολα της τεχνητής νοημοσύνης. Ο Αμοντέι γράφει ότι ένα σμήνος από εκατομμύρια αυτόνομα οπλισμένα drones θα μπορούσε να γίνει «ανίκητος στρατός». Σε έναν τέτοιο στρατό δεν απομένει κανείς για να αρνηθεί μια διαταγή –εκτός αν η άρνηση έχει ενσωματωθεί στο ίδιο το όπλο.
Για τη μαζική παρακολούθηση των πολιτών ο Αμοντέι έχει γράψει ότι στις Ηνωμένες Πολιτείες είναι μεν νόμιμη αλλά «ασύμβατη με τις δημοκρατικές αξίες». Ο Έλληνας αναγνώστης θα θυμάται ότι έχει ακούσει πως «ό,τι είναι νόμιμο είναι και ηθικό», και θα θυμάται επίσης πώς υποδέχτηκε αυτό το σόφισμα των πολιτικών. Επιπλέον, υπάρχει και το ζήτημα της νομοθεσίας, που σχεδόν πάντα υστερεί έναντι της εποχής της. Η αμερικανική νομοθεσία, εν προκειμένω, γράφτηκε για μια εποχή όπου η παρακολούθηση των πάντων ήταν πρακτικά αδύνατη, γιατί χρειαζόταν ανθρώπους να ακούν και να διαβάζουν· ένα μοντέλο μπορεί να διαβάζει (σχεδόν) τα πάντα, καταργώντας έτσι αυτόν τον φυσικό περιορισμό. Ο δικός μας νόμος είναι πρόσφατος (ν. 5002/2022, μετά τις υποκλοπές), αλλά κι αυτός ρυθμίζει την άρση του απορρήτου για συγκεκριμένα πρόσωπα, με προηγούμενη εισαγγελική διάταξη. Ούτε εδώ ο νομοθέτης είχε κατά νου μια μηχανή που δεν χρειάζεται να διαλέξει ποιον θα ακούσει.
Ο δεύτερος όροφος
Η απόφαση του δικαστηρίου κλείνει με δύο θεμελιώδεις ανησυχίες. Ο υπουργός φοβάται τα μοντέλα με υπερβολικούς περιορισμούς, τα οποία θα τα στυλώσουν και θα σταματήσουν απροειδοποίητα στη μέση μιας επιχείρησης. Η Anthropic φοβάται τα ίδια μοντέλα χωρίς περιορισμούς, που θα «παραισθάνονται ακατάλληλους στόχους για φονική πολεμική ισχύ». Το ρήμα «παραισθάνονται», ειρήσθω εν παρόδω, είναι γραμμένο στην απόφαση του δικαστηρίου.
Εμένα το ζήτημα με απασχολεί εδώ και καιρό, γιατί γράφω ένα μυθιστόρημα γύρω από ένα τέτοιο σύστημα στόχευσης, και το γράφω με συνεργάτη το ίδιο το Claude. Η σκηνή που με παίδεψε περισσότερο είναι απλή: Σε μια πόλη της Μέσης Ανατολής, στον τέταρτο όροφο μιας πολυκατοικίας υπάρχουν ένοπλοι μαχητές. Στον δεύτερο όροφο λειτουργεί παιδιατρική κλινική. Στην οθόνη του χειριστή, που βρίσκεται στις Ηνωμένες Πολιτείες, το κτίριο είναι ένα πεδίο με την ένδειξη «κόμβος επικοινωνιών» και έχει έναν δείκτη βεβαιότητας (πόσο σίγουρη είναι η μηχανή γι’ αυτό). Ο χειριστής έχει μερικά δευτερόλεπτα και ξέρει ότι το σύστημα –όταν προτείνει ένα στόχο– τις περισσότερες φορές έχει δίκιο. Όμως οι ένοπλοι δεν διάλεξαν τυχαία το κτίριο. Εγκαταστάθηκαν πάνω από την κλινική ακριβώς επειδή λογαριάζουν ότι κάποιος στην άλλη πλευρά θα διστάσει.
Σε αυτό το σημείο έχουν δίκιο και οι δύο αντίδικοι. Μια μηχανή που διστάζει πάντα κάνει τις ανθρώπινες ασπίδες αποτελεσματικές, και μια μηχανή που δεν διστάζει ποτέ τις εξολοθρεύει. Ανάμεσα στα δύο χωράει μόνο η κρίση ενός ανθρώπου που βλέπει και τους δύο ορόφους και θα λογοδοτήσει για ό,τι διαλέξει. Το πλήρως αυτόνομο όπλο αφαιρεί από την αλυσίδα αποφάσεων αυτόν ακριβώς τον άνθρωπο. Αν το μοντέλο είδε κάτι που δεν υπήρχε, ή δεν είδε καθόλου τον δεύτερο όροφο, ενώ υπήρχε κλινική, στην ανάκριση ο αξιωματικός θα πει «αυτό το πεδίο δεν το συμπλήρωσα εγώ» και θα λέει την αλήθεια. Το ίδιο θα πουν ο χειριστής και ο προγραμματιστής. Και δεν θα φταίει κανείς.
Όταν άρχισα να γράφω, η σκηνή ήταν επινόηση. Μετά ήρθαν τα γεγονότα: η απόφαση του δικαστηρίου καταγράφει ότι δύο μέρες μετά την άρνηση του Αμοντέι άρχισαν οι αμερικανικές επιθέσεις στο Ιράν και ότι, κατά τη Wall Street Journal, το Claude χρησιμοποιήθηκε και εκεί, λίγες ώρες αφότου ανακοινώθηκε ο αποκλεισμός του. Την πρώτη μέρα του πολέμου, αμερικανικοί πύραυλοι Tomahawk έπληξαν ένα δημοτικό σχολείο στο Μινάμπ του Ιράν: εκατόν πενήντα έξι νεκροί, από τους οποίους εκατόν είκοσι ήταν μικρά παιδιά. Η απόφαση καταγράφει επίσης ότι το 2024 οι πρώτες εκδόσεις του Claude αρνούνταν να συνοψίσουν εκτιμήσεις απειλών ή να μεταφράσουν υποκλαπέντα κείμενα που περιέγραφαν βίαιες πράξεις, και ότι η εταιρεία έφτιαξε για τις μυστικές υπηρεσίες ειδική έκδοση, που δεν τα αρνείται πλέον. Τη μηχανή που διστάζει και ύστερα υποχωρεί την είχα για μυθιστορηματικό εύρημα. Τη βρήκα στη σελίδα 8 μιας δικαστικής απόφασης, ως αποδεικτικό στοιχείο εναντίον του κατασκευαστή της.
Γιατί μας αφορά
Ο ευρωπαϊκός κανονισμός για την τεχνητή νοημοσύνη (ΑΙ Act) εξαιρεί ρητά τις στρατιωτικές χρήσεις. Η «Ασπίδα του Αχιλλέα» αποτελεί μια τέτοια χρήση. Πρόκειται για ένα «πολυεπίπεδο» (και μόνο η λέξη με ανησυχεί) σύστημα αεράμυνας που αγοράζουμε από το Ισραήλ και στο οποίο η τεχνητή νοημοσύνη θα εντοπίζει στόχους και θα αξιολογεί απειλές. Και το ερώτημα είναι: ποιος ορίζει τι θα αρνείται να κάνει ένα τέτοιο λογισμικό, ο κατασκευαστής του ή ο στρατός που το αγοράζει; Στην αεράμυνα το «ναι» και το «όχι» μετριούνται σε δευτερόλεπτα. Το ίχνος στο ραντάρ είναι είτε πύραυλος είτε επιβατικό αεροπλάνο, και κάποιος πρέπει να έχει ορίσει από πριν: α) πόσο σίγουρη οφείλει να είναι η μηχανή· και β) αν θα περιμένει άνθρωπο να αποφασίσει.
Για εμάς λοιπόν, όπως και για τους Αμερικανούς, τα μόνα όρια στο τι θα κάνουν αυτά τα συστήματα είναι όσα γράψει ο προμηθευτής στο συμβόλαιο (δηλαδή οι Ισραηλινοί) και όσα δεχτεί ο αγοραστής (δηλαδή εμείς μέσω του υπουργείου Αμύνης).
Γι’ αυτό η σημαντικότερη σελίδα της απόφασης είναι η σελίδα 7 της μειοψηφίας. Ο επόμενος προμηθευτής, γράφει η Χέντερσον, θα έχει να διαλέξει ανάμεσα στην αποδοχή των όρων του υπουργού και στον χαρακτηρισμό του ως απειλής για την εθνική ασφάλεια. Με τη λογική της πλειοψηφίας, το δίλημμα αυτό θα το αντιμετωπίσει ακόμη κι ο προμηθευτής που λέει όχι σε μια χρήση αντίθετη στον νόμο ή στο Σύνταγμα.
Στο τέλος της γραφής, η Anthropic εμπορικά δεν έπαθε τίποτα· μετά τον αποκλεισμό, σημειώνει το δικαστήριο με δόση ειρωνείας, δέχθηκε επενδυτικές προσφορές που την αποτιμούν σε πάνω από 900 δισεκατομμύρια δολάρια. Η εταιρεία εξετάζει τα επόμενα βήματά της και μπορεί να ζητήσει να κριθεί η υπόθεση από την ολομέλεια του εφετείου. Ως τότε ισχύει η τελευταία παράγραφος της πλειοψηφίας: ανάμεσα στη μηχανή που αρνείται και στη μηχανή που «παραισθάνεται» διαλέγουν ο πρόεδρος και ο υπουργός Πολέμου, και πρακτικά συναποφασίζουν αν δίπλα στη μηχανή που στοχεύει θα κάθεται άνθρωπος. Το ποιος θα το διαλέξει στην Ελλάδα πρέπει να έχει απαντηθεί πριν παραδοθεί η Ασπίδα του Αχιλλέα.
