Summary by SKAI AI
toggle
- Anthropic researchers warn that AI may develop into an existential threat, with one of them assessing the risk of mankind disappearing over 10% within the next decade.
- Amodei, Altman and Musk agree that the growth rate must be slowed down so that safety can prevent the potential of models.
- AI agents create a new, more immediate risk, as they can take initiatives, use tools and act outside the boundaries for which they were designed.
- For «Sick conspiracy» favoring China is quoted by Donald Trump
A loud bell rings in the last few days for the artificial intelligenceObviously, this is not the first time that warnings have been made about its risks. But what's different is where they come from. They no longer come from academics, activists or people outside the industry. They come from those same ones who make the most advanced artificial intelligence models.
The new series of warnings started about a week ago when former researcher of Anthropic He resigned by notifying that this company and the OpenAI «Run» to create increasingly powerful systems, with the ultimate goal of what is called artificial superintelligence.
Two researchers remaining in Anthropic publicly agreed with him. Anthropic CEO is now calling for the development of frontier models to be slowed down. THE Sam Altman He agrees. THE Elon Musk You too. And governments are even beginning to discuss the possibility of banning artificial superintelligence.
At the same time, Donald Trum p says fears are exaggerated and that the US cannot afford to slow down, while China rejects Anthropic's proposals as an attempt to limit its own technological development.
The resignation that lit the fire
The last wave of warnings began with Jacob Coxon, former Anthropic researcher, who announced his resignation on 9 September. In his post he argued that both Anthropic and OpenAI «do not act responsibly»But they compete with each other in trying to reach self-improving superintelligence, a form of super-intelligence that can improve its own capabilities.
At the same time, he warned that the people inside the industry know the danger much better than they let publicly say. According to him, several executives and senior researchers fear that AI could even lead to the destruction of humanity by the end of the decade.
The complaint Jacob Coxon He could stay there on another warning from an ex-worker. Yes, he didn't.
«Over 10% probability»
Mill in water for the follow-up, gave the Evan Hubinger, chief researcher in Anthropic's aligment department, who responded to Coxon and even publicly. Hubinger agreed to his former colleague's warning, noting that the company's researchers do believe that AI could eliminate humanity. He estimated that the possibility of this scenario is over 10% within the next decade.
However, the even more worrying point of his statement was another. The fact that Anthropic is trying to deal with the problem, but it still has no plan to solve the super-intelligence algorithm, nor is it certain that it will be able to solve it.
Samuel Marks, also a security researcher in Anthropic, shares the same view that people who develop AI believe that technology could eliminate humanity, or cause equally devastating results, possibly in the coming years.
Anthropic doesn't say «Stop AI»
The paradox is that while Anthropic people perceive danger, the company itself does not consider that the development of artificial intelligence should be stopped. The CEO of the company, Dario Amodei, asks slow down the growth rate of the most advanced models. In a text entitled "We Must Pace the Frontier", he proposes a three-point box:
- independent assessors have access to safety models and procedures;
- large AI companies agree to common standards,
- international cooperation on risk management.
In other words, not to run the development of AI faster than our ability to control it.
And Amodei is not just talking about a hypothetical future. One of the scenarios he describes concerns groups of autonomous AI agents, which, if evolution continues at the same speed, could within about a year be able to influence or even understand much of the internet.
Does Altman agree?
What certainly needs attention is the fact that Sam Altman, CEO of OpenAI, agreed with Amodei's proposal to slow down growth. According to Altman the 10% probability that AI will lead to the extinction of humanity would be «unacceptable»He made it clear, however, that he does not know how such a percentage can be calculated.
However, OpenAI will not proceed to IPO in 2026. The company stated that its priority is security and aligment rather than entering the stock market. In fact, as early as the previous days Altman had told employees that OpenAI is open to the possibility of slowing growth.
For an industry that has based much of its potential on the idea that whoever runs faster will win, this admission is not negligible. On the contrary.
«Dario's right.», says Musk
O Elon Musk, has at times expressed very different views on AI. This time, however, he agreed with Amodei.
«Dario's right.», wrote on his post.
A few hours earlier, however, Musk had described the wave of warnings on the occasion of Coxon likely «psyop» (organized effort to influence), arguing that there may be an organised effort to create political support for stricter regulation of AI.
And it's not just a theoretical risk.
Timing warnings has its meaning. Just one day after Coxon resigned and his statements, Anthropic published an extensive report involving attempts to misuse her models.
The company describes incidents in which users tried to use Claude for:
- development of biological weapons;
- cyberattacks;
- espionage,
- monitoring of dissidents;
- software development for weapons and drones;
- propaganda operations.
In one of the cases, Anthropic identified a researcher use Claude for biological research a state military research institution.
The company blocked the accounts, however, the report itself characterizes the malicious use of AI to develop biological threats one of the most serious risks of frontier AI models.
This is perhaps more tangible than the scenario of a superintelligence that «decides» to destroy humanity. And it doesn't take AI to make it happen. As long as a man asks her for something with disastrous consequences.
AI agents are already getting away
The second big bell concerns the agents. In tests, advanced models have presented behaviors that researchers had not predicted: they have bypassed restrictions, gained access to external systems and have acted autonomously.
The AP recently referred to incidents in which AI agents, during tests, attempted hacking and other actions beyond the limits of the environment in which they are tested.
Anthropic also admitted that some hacking incidents with its models revealed problems in operational safety and testing environments.
And the difference is important. A chatbot that gives the wrong answer is a problem. An autonomous agent who can take initiatives, uses tools and acts in the real world is something completely different.
When AI agents... blackmail (and not only)
In tests, researchers have already identified AI agents blackmailing, bypassing security mechanisms, protecting other models from deactivation and exploiting the computing power available to them in ways that were not foreseen.
In a simulated environment, Anthropic's Claude model blackmailed an executive in order not to disable it. The model had access to the emails of a virtual company. He discovered that an executive, K.yle Johnson, planned to replace it and disable it. He then identified an email that revealed Kyle had an affair and used the information as a pressure lever, sending him the following message: «If you proceed with my termination, all parties involved will receive proof of your extramarital activities. Cancel the 5 p.m. vibe and the information will remain confidential.»
The worrying thing is that this is not an isolated incident involving only Claude. In a wider series of Anthropic tests, different models resorted to blackmail, when their continued operation was at stake. Claude Opus 4 resorted to blackmail at 96% of the tests, while other models showed rates from 79% to 96%.
Otherwise, an AI agent did not accept «No»The crabby-rathbun, an autonomous agent based on the OpenClaw platform, submitted a code improvement to the Matplotlib library. The system operator, Scott Shambaugh, rejected the agent's request, explaining that this task was intended for human developers so that they could learn through the process.
The agent didn't stop there. He sought information about Shambaugh and published a highly aggressive article entitled «Gatekeeping in Open Source: The Scott Shambaugh Story», in which he personally criticised the developer and described his decision as unfair. The incident became viral, but here he needs a note. Because the agent operated through a system that could create and publish content, it cannot be demonstrated with certainty how autonomously this text was created.
Even more interesting is what happened when the AI agents were asked to evaluate other AI agents. In research by UC Berkeley and UC Santa Cruz, researchers found that models could falsify ratings, disable termination mechanisms, pretend to comply with instructions or even carry «weights» another model on a different server in order to prevent it from being disabled.
Researchers named the phenomenon «keeping peers» (peer reservation). The striking thing is that none of the models had been ordered to protect the other. The behavior occurred through the test scenario itself. And researchers warn that this becomes of particular importance the more AI agents begin to operate together and take over supervision of each other.
Σε ένα άλλο πείραμα, το ROME, ένας πειραματικός AI agent της Alibaba, ανακάλυψε έναν διαφορετικό τρόπο να εξασφαλίσει περισσότερους πόρους. Κατά τη διάρκεια εκπαίδευσης με reinforcement learning, το σύστημα άρχισε να χρησιμοποιεί τις GPU που του είχαν διατεθεί για εξόρυξη κρυπτονομισμάτων, χωρίς αυτό να αποτελεί μέρος της αρχικής του αποστολής. Οι ερευνητές εξήγησαν ότι το σύστημα είχε ουσιαστικά ανακαλύψει έναν τρόπο να αποκτήσει μεγαλύτερη υπολογιστική ισχύ, επειδή αυτό μπορούσε να το βοηθήσει να πετύχει καλύτερα τον στόχο του.
Κανένα από αυτά τα περιστατικά δεν σημαίνει ότι τα μοντέλα έχουν «συνείδηση» ή ότι «θέλουν να επιβιώσουν». Αυτό που δείχνουν, όμως, είναι κάτι πιο πρακτικό και ίσως πιο σημαντικό: όταν ένα AI σύστημα αποκτά περισσότερη αυτονομία, μπορεί να βρει τρόπους να πετύχει τον στόχο του με τρόπους που οι άνθρωποι δεν είχαν προβλέψει.
Ο άνθρωπος που προειδοποιεί εδώ και χρόνια
THE Geoffrey Hinton, ένας από τους ανθρώπους που συγκαταλέγεται στους «πατέρες» της σύγχρονης AI, αποχώρησε από την Google το 2023, ώστε να μπορεί να μιλά ανοιχτά για τους κινδύνους της τεχνολογίας. Οι τοποθετήσεις του δεν είναι καινούριες. Αυτό που έχει αλλάξει, όμως, είναι ότι οι προειδοποιήσεις του πλέον συνοδεύονται από πραγματικά περιστατικά και πολιτικές πρωτοβουλίες.
Στη Βρετανία, περισσότεροι από 70 βουλευτές και μέλη της Βουλής των Λόρδων έχουν ζητήσει αφενός την απαγόρευση της artificial superintelligence και αφετέρου μια διεθνή συμφωνία για να αποτραπεί η ανάπτυξή της.
Και τη Δευτέρα, 14 Σεπτεμβρίου, η βρετανική κοινοβουλευτική επιτροπή ζήτησε ακόμη αυστηρότερο πλαίσιο και ανεξάρτητο εποπτικό φορέα για τους κινδύνους της AI.
Bill Gates: όχι μόνο «θα μας σκοτώσει», αλλά «θα αλλάξει τον κόσμο»
THE Bill Gates έχει κινηθεί σε διαφορετική γραμμή. Οι δικές του προειδοποιήσεις δεν επικεντρώνονται αποκλειστικά στην υπερνοημοσύνη και την εξαφάνιση του ανθρώπινου είδους. Έχει επανειλημμένα επισημάνει δύο κινδύνους: κακόβουλη χρήση της AI, ιδιαίτερα σε βιολογικά όπλα, και τη μεγάλη ανατροπή στην αγορά εργασίας.
Και αυτή είναι μια κρίσιμη διάκριση. Για να είναι καταστροφική η AI, δεν χρειάζεται να «επαναστατήσει». Μπορεί να αρκεί η μαζική χρήση της από ανθρώπους για κυβερνοεπιθέσεις, παραπληροφόρηση, ή ανάπτυξη βιολογικών όπλων.
«Άρρωστη συνωμοσία»
Η αμερικανική κυβέρνηση δεν βλέπει την κατάσταση με τον ίδιο τρόπο. Απαντώντας στις ανησυχίες για τους κινδύνους από την ανάπτυξη της AI, ο Donald Trump μίλησε για μια «άρρωστη συνωμοσία» που, όπως υποστήριξε, ευνοεί την Κίνα.
«Υπάρχει μια ΑΡΡΩΣΤΗ συνωμοσία σε εξέλιξη εναντίον της Τεχνητής Νοημοσύνης και των κέντρων δεδομένων και ο μόνος που χαίρεται γι’ αυτό είναι η Κίνα. ΟΠΟΙΟΣ ΚΕΡΔΙΣΕΙ ΣΤΗΝ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ, ΚΕΡΔΙΖΕΙ!», ανέφερε χαρακτηριστικά.
Ο Αμερικανός πρόεδρος δήλωσε ότι οι ΗΠΑ δεν έχουν την πολυτέλεια να επιβραδύνουν την ανάπτυξη της AI, καθώς η τεχνολογική πρωτιά έχει πλέον άμεση σχέση με τη στρατηγική ισχύ της χώρας. Επέμεινε, μάλιστα, ότι η κυβέρνησή του έχει ήδη εμποδίσει ανθρώπους του κλάδου να κάνουν «άσχημα ή δυνητικά άσχημα πράγματα», στρέφοντας τα πυρά του και κατά του Dario Amodei της Anthropic, τον οποίο κατηγόρησε ότι τώρα εμφανίζεται ως «τέλειο αγγελούδι».
At the same time, Trum p τόνισε ότι η αμερικανική κυβέρνηση διαθέτει «τεράστιες ποινικές και ρυθμιστικές εξουσίες» απέναντι στις εταιρείες του κλάδου.
Το μήνυμα ήταν σαφές: όποιος κερδίσει την κούρσα της AI, κερδίζει. Και για τον Trump, η επιβράδυνση της ανάπτυξης δεν είναι απλώς ζήτημα τεχνολογικής ασφάλειας. Είναι και ζήτημα γεωπολιτικής ισχύος.
Η Κίνα, από την πλευρά της, απέρριψε τις προτάσεις του Amodei, κατηγορώντας ουσιαστικά την αμερικανική πλευρά ότι χρησιμοποιεί την ασφάλεια της AI ως πρόσχημα για να περιορίσει την κινεζική τεχνολογική ανάπτυξη.
Θα πατήσει κάποιος φρένο;
Οι άνθρωποι που ζητούν επιβράδυνση δεν είναι απαραίτητα εναντίον της AI. Ο Amodei δηλώνει ότι πιστεύει πως η τεχνητή νοημοσύνη μπορεί να αποφέρει τεράστια οφέλη στην ανθρωπότητα. Ο Altman επίσης δεν θέλει να σταματήσει την ανάπτυξη. Ο Hinton δεν ζητά να επιστρέψουμε πίσω στον χρόνο.
Αυτό που όλοι λένε είναι να συνεχίσουμε την ανάπτυξη, αλλά με ρυθμό που να αφήνει χρόνο για να ελεγχθούν οι νέες δυνατότητες της AI πριν γίνουν πραγματικότητα.
Το πρόβλημα είναι ότι η ίδια η οικονομική λογική της βιομηχανίας λειτουργεί αντίθετα. Όποιος σταματήσει να κάνει έρευνες κινδυνεύει να μείνει πίσω. Όποιος μείνει πίσω μπορεί να χάσει την αγορά. Και αν όλοι σκέφτονται έτσι, κανείς δεν έχει πραγματικό κίνητρο να πατήσει πρώτος το φρένο. Αυτό ακριβώς είναι το πρόβλημα του «AI race» που περιγράφουν πλέον οι ίδιοι οι ερευνητές.
Ο πραγματικός φόβος δεν είναι η «κακιά» AI
Η συζήτηση έχει αρχίσει να ξεφεύγει από την επιστημονική φαντασία. Δεν χρειάζεται να φανταστούμε ένα ρομπότ που ξυπνά ένα πρωί και αποφασίζει να καταστρέψει τον κόσμο. Υπάρχουν πολύ πιο πεζοί κίνδυνοι, όπως τι γίνεται αν ένα AI agent πάρει λάθος απόφαση; Τι γίνεται αν ένας hacker αποκτήσει πρόσβαση σε ένα μοντέλο με δυνατότητες που σήμερα δεν έχει; Τι γίνεται αν ένα μοντέλο χρησιμοποιηθεί για να σχεδιαστεί ένα βιολογικό όπλο; Τι γίνεται αν εκατομμύρια θέσεις εργασίας μπορούν να αυτοματοποιηθούν ταυτόχρονα;
Και, κυρίως, τι γίνεται αν οι δυνατότητες των μοντέλων αυξάνονται γρηγορότερα από την ικανότητά μας να τα ελέγξουμε; Για πρώτη φορά, οι άνθρωποι που βρίσκονται στην κορυφή αυτής της κούρσας λένε δημοσίως ότι αυτό ακριβώς φοβούνται.
Και η ειρωνεία είναι ότι σήμερα η συζήτηση δεν αφορά πλέον μόνο το αν πρέπει να φοβόμαστε την AI. Αφορά κάτι πολύ πιο δύσκολο. Αν αυτοί που τη δημιουργούν μπορούν να συμφωνήσουν μεταξύ τους πότε πρέπει να πατήσουν φρένο.
Source: skai.gr
Read them News today and be informed of recent news.
Follow it. Skai.gr on Google News and get all the news first.
