In this article a formalized framework to analyze hidden costs of actions. Shadow costs potentially outweigh the benefits of AI development, thus making it a net negative. Governance on a nationwide level is insufficient and can be modeled by the tragedy of the commons. Hence to reduce the negative effects some AI developments should be slowed down and increasing effect-limiting work accelerated.

There is an ongoing discussion on the regulation of AI and new weapon systems worldwide. In 2021, Russia, India, and the USA blocked talks for an international treaty outlawing lethal autonomous weapon systems (LAWS), as reported by Reuters. Given that these countries are already producers of those weapon systems it is not that surprising. [1] The EU also plans an exception for military uses in the new AIA regulation that regulates the use of AI.[2] China, however, calls for prudent development and policy dialogue on military applications of AI (2021). Within the US some are pushing against regulation, like the US Security Commission on AI in fear of loosing a military-technical advantage.


Where is this advantage coming from? To increase accuracy and response time, and reduce the number of casualties, more and more weapon systems are being remotely controlled, and the operation is extended by cybernetic control algorithms. Advanced cybernetic control enables the new weapon category called "loitering munition" that could be placed between unmanned aerial vehicles (UAVs) and cruise missiles.

Fully automated weapon systems enable the systematic destruction of human lives on an unprecedented scale. It allows the industrialization of obliteration in form of products coming out of a factory. Hence, some NGOs[3] are pushing for an international treaty to draw a red line that is not to be crossed: the automatic decision to pull the trigger. The idea for an international treaty is to add a protocol to the United Nations Convention on Certain Conventional Weapons.

Would the regulation eliminate the danger of this new technology?

Does it make a big difference when the decision support system presents all information, target-locked, and the operator only needs to confirm the kill with a press of a button manually? The human in the loop forms an additional requirement not desired by the military. This single interaction makes drones require a constant radio connection. This makes stealth systems more vulnerable to detection and makes them a target for anti-radiation missiles. For guided missiles, the additional radio equipment means also additional costs during production and operation. Evaluating the signal by a human takes time, which can be used by the opponent’s system to evade. In the arms race of attack and defense, this potentially legal induced requirement draws a line.

One example where more autonomy is helping in war is "fire-and-forget" missiles that have been target-locked minutes ago using an infrared signal. This is currently a successful and common tactic in war, as seen again in the Russian-Ukrainian war. To avoid detection by Radar, the missiles use sea-skimming, a technique where the missile flies just above the water. Being undetectable is key to making the attack successful. Hence, having autonomous missiles can enable this attack, while a missile depending on line-of-sight must get too close and is in danger of being intercepted, or the launcher is shot before the missile is launched.

Even with regulation, finding ways around the laws is too easy to have a real effect, and technological systems will push hard against that legal line. Violations are far easier to cover because it is difficult to prove in the hardware that a missile or turret was using computer vision and other algorithms and not remotely controlled. Therefore, the final effect of a treaty is questionable in this case.

The Difference in Growth Rates: an Argument for Differential Technological Development

The growth in humanity’s wisdom is outperformed by the growth in power. Humanity’s wisdom is contained by the institutions and the knowledge passed along generations. In particular, I argue that each generation can only develop a limited amount of new views, hence the rate of progress in civilisation development has an upper bound. Older humans stick to the views they developed in their younger years[4] when their neural pathways were forming at a higher rate. Furthermore, all new information we obtain is set in relation to our knowledge base. Certain impactful experiences like leaving the place of your uprising for the first time are made only once in younger years and the experience itself is influenced by the conditions at that time. stockphoto

In 1945, after the experiences the world made in both world wars, the United Nations Organisation (UNO) was founded which should reduce the risks of wars. It is a place to foster coordination but it has no power to control all nations as each nation has autonomy. We still have not found a way to deal with problems like self-inflicted existential risks e.g. a global thermonuclear war or climate change. This means that humanity currently wields more power than our maturity. Toby Ord compares humanity with the education of a child.[5] A child is bound by rules to ensure a safe uprising. We must lay down rules to govern ourselves as laid out before in the example of LAWS. As we have seen, the self-governance imposed by nations quickly ends up again in the tragedy of the commons. Everyone else has a nice, wealthy life, while your altruistic country who needs to cut short on wealth by introducing a Pigouvian tax to compensate others from the negative externalities your country caused. International constructs help overcome the limitations of the national idea but have not fully overcome it. The alternative to improving self-governance is reducing the risks we self-impose.

From side effects to net benefit calculation

Once, I had the opportunity to converse with someone pursuing a PhD in the fascinating field of computer vision. Their primary objective was to distinguish and isolate individuals within a video stream. Intrigued by the potential implications of this technology, I couldn't help but inquire about their thoughts on the possible misuse of their work in surveillance. To my unease, the person admitted they had never really considered it. Unfortunately, this kind of indifference is far too prevalent among students and engineers alike. The most notorious example lies in the development of nuclear technology, which inadvertently gave birth to a perilous nuclear arms race. Oftentimes, technology is devised to address a specific problem; however, its applications are seldom limited to that sole purpose. As a result, the unintended consequences and side effects are frequently overlooked.

A graph explaning effects

Let’t take a moment to explore an ontology of effects. What is an effect? An effect is the ontological category that describes the relationship between two phenomena: It describes the significance of a transformation of some phenomenon from one state to another. An effect thus consists of joined set of the three objects initial state, significance and resulting state. A state change induced by an action can become the significance of another effect, which show over time. The intentionally or primary point of interest leads to a possible distinction of a side-effect. All effects can be connected in a causal chain. By categorizing them into distinct objects we can label them as first-order, second-order effects, and so on. These nodes then form a Bayesian network, making it easier to understand their relationships and dependencies.


The goal is to obtain some ethics so our first-order effect is an action we want to pick.

In economic terms, the calculation of the net benefit or expected utility must also include the shadow costs. The shadow costs are the non-obvious or non-intentional costs associated with the action. The costs are the value we assign to each effect. In our model, there are many connections between each node. Since we do not have total information we can do a reasonable simplification.[6] The net benefit of advancing technology x can be written as the sum of the product of the probability that a problem b is solved by the technology and the utility of the solved problem plus the respective sum of the weighted shadow cost SC[7]: Bildschirm%C2%ADfoto%202022-11-21%20um%2020.44.54

Deriving DTD

The shadow costs aggregate side effects which include the increase of existential risks. When choosing probabilities ex ante you would most likely end up with much lower probability scores on shadow costs Bildschirm%C2%ADfoto%202022-11-27%20um%2013.16.47 but the utility of the SC in case of increasing existential risk are enormous Bildschirm%C2%ADfoto%202022-11-27%20um%2013.07.38. Depending on the outcome of the equation it should matter whether this technology should be worked on or not.

That means for some technologies we should currently just not work on them. The principle of differential technological development, a concept attributed to Nick Bostrom, suggests working on technology which reduces risks. E.g. this could be drone defence technology instead of working on drones.

Time-dependant equation

Graph showing decrease

The world is continuously evolving, even when we don't actively contribute to technological advancements. As time progresses, the environment changes due to the influence of numerous factors. The context is changing over time because it is a shared environment of many actors. We can increase the fidelity and accuracy of the Bayesian network model by adding a lot of other nodes to account for this effect. The simplification in the form of the Bayesian network model suffers from this simplification: It lacks modeling time dependent utilities. The utility of all effects, intentional or side effects, would monotonically decrease over time converging to zero.[8]

We have not figured out how to solve the climate crisis. Civilization facing the climate crisis signifies that humanity is currently in the phase of the industrial society reliant on fossil fuels as the prevailing form. The amount of energy civilization consumed has grown continuously over time. Not long ago the main energy source has become fossil fuels and started the chapter of industrialization in our history. Only overcoming the dependency on fossil fuels and to become an energetically sustainable high-energy civilization would reduce the risks associated with the climate crisis. This means the faster we move out of this state the better for the risks of the climate crisis. Any action taken now has a bigger impact than doing it later.

Toby Ord classifies risks into two categories as state or transition risks. Where transition risks are risks that arise during a transition period to a new technology and state risks are existential risks that exist while remaining in a certain state. Contrary to Ord I do not think it makes much sense to differentiate since all state risks but the final state (singularity or collapse) are transitions risks by definition: There will be a certain state in the future where the risk will be eliminated or reduced. Up until then, the other existential risks remain. As long as this state is not achieved we are in transition.

Applying the net benefit analysis to AI

This presented principle of a net benefit analysis of technology is not limited to UAVs or AI and can be performed for all technology. However, I want to take a look at the area I feel more confident to rate potential shadow costs.

Will improving AI be a net benefit for humanity or not and can we now answer the question of which technologies to work on? By using the simplified model we can assign the variables of the probability and the effect. The intended first-order effects get a positive value but then we must subtract the side effects. AI is a dual-use technology. It can be used to solve various problems humanity faces, while also offering destructive faculties like more destructive weapon systems. I covered already the potential for personalised AI assistance as a positive example. One risk of every AI capability improvement is increasing the probability of getting unaligned general AI. In an article by 80k hours, different views on this work have been collected. Some of them share the conclusion outlined here. The critical path in a dependency graph is the shortest path from A to B, where every change would affect the total length of the path. Any work on something on the critical path to catastrophe is contributing. I am undecided if working on AI which does not increase capabilities should be also rated negatively because it might be on the critical path. Thousands of companies working on AI systems create the demand in a market to do capabilities research done by others, which might be the limiting factor.

When considering the sentiment that side effects are contributing potentially bigger harm than the first-order effects, we must conclude that most high-tech technological development might be a moral net negative. The sheer greatness of the potential of human civilisations and the imbalance in technological progress over cultural advancements cancels all positive effects. This is also true when considering big effects like creating man-made existential risks or the intended effects of transitioning out of an existential state.

You might not be convinced by the assessment of the maximum effects overshadowing the calculation. Depending on this you might still gain something from a more fine-grained analysis. A full net benefit analysis will follow in another post.

The risks outweigh rushing technological development as these technologies could be developed when needed. For the foreseeable future, these are not blocking humanity’s progress but they would advance the solution to existing problems. Right now it is more important to make sure that we don’t make mistakes which destroy humanity’s potential.

One should not fall into the trap of just looking at first-order effects in the short term. The time dependency is increasing the urgency. However, this is also true for differential technology development, which can be utilised for our gains.


  1. Given that Israel is quite advanced in the area of high tech military weapon systems it is surprising that Isreal was not joining the blockade.
  3. A list of organisations can be found on, further organisations are Amnesty International and Human Rights Watch
  4. evidence for static views in each generation:
  5. Tobi Ord: The Precipice, p. 201
  6. The complete calculation is done via discounting on future returns via the Bellman optimality equation. Algorithms in the domain of artificial intelligence use this calculation to train intelligent agents to chose the best action by reinforcement learning.
  7. This equation is simplified to guide our understanding of the problem. The development of one technology influences the utility of other existing technologies. E.g. the discovery of plane flight changed the impact of improvements in high speed trains. Some technologies might help tackling one existential risk like climate change, but at the same time increase the risks of other existential risks like non-aligned artificial general intelligence.
  8. There is one case where actions do not follow the path of monotonically decreasing utility. When developing a standard to a new technology and it is done too early the standard is not sufficient in capturing the problem it is trying to solve. Later, a new one will then emerge, which will coexist. To unify the two standard a third one is later introduced, which causes more fragmentation etc. C.f.

MoloVol is a software tool for a particular problem of theoretical chemists or biologist [1], that was released a year ago with a recent accompanying publication in the Journal of Applied Crystallography. It was developed by my friend Jasmin Maglic, whom I supported during the development. We just release the web version of that tool. One might ask since when I am working on chemistry software since my background nor my work is in the area of chemistry?

My work for many years on my game engine and game Caveland had a profound impact on me. It gave me incredible software engineering skills, but also showed me the amount of energy which can go into something, which does not last. I am hesitant to work on big projects now. I still have a deep desire to build things. This might be a personal thing but I think it is a trait that many men share. Many men also share the need to watch construction workers from the side and to the worker's suffering also comment on it and know everything better. I saw my friend build MoloVol and felt the same urge to comment and know everything better.

MoloVol was envisioned as an easily accessible cross-platform desktop-based application. I love desktop applications but I also have built my fair share of web tools and know the benefits of them (which is mainly no installation required). I saw the potential in MoloVol to become even easier to use, but just because I have some idea it is not going to become reality. Hence I went and created a proof of concept.

When I was in school I used the early internet in the 2000s for research to some homework. Sometimes you would find some tools that could help you do some calculations. They were simple HTML forms on websites with the aesthetics where a colourful pattern was repeated on the background, and the page was built using frames. This tool is my homage to this time and feeds on my nostalgia. I have worked in the area of web development before but it was always commercial, games and hobbies tools or university assignments. This tool should be used by real scientists. Hence we added some nice style sheets and added UX improvements. In that sense, we did a modernised version. We hope that the tools help scientists to do their work. (Update Mai 2023: MoloVol has already been accepted by the community and cited in some papers.)

Bildschirmfoto%202022-08-15%20um%2019.48.55 The first challenge was making the GUI application work with the command line. Compiling was difficult because the GUI library wxWidgets was expected as a dependency and I had issues installing it. WxWidgets is responsible for handling the arguments so it could not be left out of compiling the application without it. Luckily docker solved the issue of reproducible builds. I managed to create a dockerfile that compiles the dependencies and then the application (more adventures with dockerfiles in my last article). With the docker file, you can compile it on every machine. Using a fake frame buffer the application can run in headless mode, meaning that there is no rendering to a screen. A docker image for wxwidget can be found here.

Now that I could compile the application and run it in headless CGI mode, the next step would be to create a REST endpoint. By wrapping Python flask around a call to the subprocess you can simply provide HTTP support without touching C++ code and embedding a Webserver. For serving you can use Nginx which talks to the development flask web server [2]. When the client sends in a request with the HTTP accept header that it accepts HTML I serve a simple HTML form and voila, the web tool is running in your browser. This deployment is cheap and can run on a virtual host compared to other options e.g. running it on a Kubernetes cluster.

Update May 2023: In the meantime I have included the flask application in the docker container for easier deployment.

[1]: calculating surfaces, volumes and cavities of molecules

[2]: For better scalability, security etc. a wsgi or asgi server like Daphne should be used instead of the flask development wsgi server. There are docker images that provides all this, where you just set the flask application path.

I was recently asked what I use my NAS for. Let me explain why it might become an essential piece for your home IT infrastructure. I recently bought a QNAP NAS (TP-231P3) to solve the issue of having multiple computers but no central place to save the data. The time machine backups run silently in the background without the need to plug in disks. Libraries like movies, picutres, music and book are centrally accessible. You also have a central source for extensions of your smart home. To put it in a nutshell, a NAS can be one central building block of your personal AI assistance . A typical and cheap solution for all this needs is to buy a raspberry pi. By default it uses the sd-card for storage which is not durable and has slow read and write performance. You can use an external drive but all in all it is much more confortable to use an existing system. I also thought that the option to have 2.5 Gbit/s ethernet would be future proof and I was about to lay down cables in my new flat anyways. First I thought that changing the cat 5e ethernet cables (max 1 Gbit/s) to cat 6 is enough. Turns out: 2.5 GB/s needs more power and also dedicated hardware which is quite expensive (cheapest options ca. 109 €, cf. 1 GB/s for 19 €). The unexpected thing is that wifi is potentially faster than Ethernet allowing 1.3GB/s with 802.11ac ("wifi 5"). Unless you really need the speed or plug your computer directly to the NAS save the money.

This mid-level model allows to run containers. Neat. So I can quickly deploy any software which has been put by others or me in an image. Docker is often advertised as a software which solves the problem of the developer saying 'works on my machine' but on another persons machine it does not work. Unfortunately this holds only for machines using the same instruction set. Docker is not a virtualization tool. Code runs directly on the kernel (on mac it needs a VM to emulate linux).

Unfortunately this comes with a catch. While arm processors a heavily used in mobile hones they are now used in server, desktop computers and other computers like NAS. The NAS is using an arm32 processor so images built on an intel computer won't run.

Here is a guide how to run your own containers.

1. Install "container station" on your NAS.


I tried loading the built image directly using the import tool. However it failed and there were not helpful error messages.

2. Running a hello world

I tried running the hello world image by importing it. I had previously loaded it on my machine and exported it using docker save hello-world -o helloworld.tar The import completes but when you then create a container from it, it fails with "exec format error". The same issue happened when you download it via the image browser. There is a platform specific image called "arm32v7/hello-world". However it does not appear when you search for that. By using docker compose with anystring: image: "arm32v7/hello-world"

and giving it a title without dashes you can run it. Bildschirmfoto%202021-11-22%20um%2013.34.22

3. Build your own image for ARM32

In my example I use the linux distribution ubuntu as the base image using the arm32 build.

As soon as you run the dockerfile if fails when executing RUN steps. Which was solved with sudo apt-get install qemu-user-static

This will make it run on an reactOs virtualization. Because of the virtualization compiling is super slow and it is only using one CPU core.

You can then use buildx, dockers experimental build tool to build for a different or even multiple platforms in one image. The software I built is based on ubuntu as the base image. The official ubuntu base image is not a multi-platform image, so I specified a different base image for arm32v7 in a second dockerfile. So now I have different dockerfiles (here Dockerfile_arm) which makes the command to build and deploy to dockerhub result in this: sudo docker buildx build --platform linux/arm32v7 -f Dockerfile_arm -t bsvogler/molovol:latest --push .

For my image I needed the wxwidget installed. AFAIK there are no wxwidget binaries for linux, so you have to compile them yourself in the image. Literally 2.1 hours later.... It needs the rust compiler to use python poetry. In the end I succeeded in running this a custom service on the qnap.

tl;dr: If the image supports arm32, and most popular images should support it, it is rather easy to deploy services at home. If not, it is still possible but you need some more time for building your own images.

In vorherigen Arbeiten skizzierte ich die Möglichkeit einer führenden Künstlichen Intelligenz (KI)-Assistenz und die nötigen technischen Voraussetzungen für eine persönliche Assistenz. Nun wollen wir diese Betrachtungen der KI um die Implikation für die Ideen der Aufklärung erweitern.

Mündigkeit nach Kant

Selbstverschuldet sei der Mensch unmündig, wenn er nicht den Entschluss und den Mut fasse, sich seines Verstandes zu bedienen, so Kant im Jahr 1784. Der Ausgang aus diesem Zustand sei die Aufklärung, führt der Philosoph in seinem, für ihn im leichten Stil geschrieben Aufsatz „Beantwortung der Frage: Was ist Aufklärung?“ aus.

Mündigkeit, also die Verwendung des Verstandes zur Selbstgesetzgebung, ist für Kant Freiheit. Allerdings erkennt er auch an, dass Menschen ihre Unmündigkeit und damit Unfreiheit lieb gewinnen können. Kant erklärt ausgehend von der Mündigkeit (als absoluten moralischen Wert a priori) diese zur Maxime. Es ist aber die Freiheit, auf deren Weg die Mündigkeit liegt. Mündigkeit ist kein absoluter Wert a priori, sondern ein Zustand, der bei Erreichen einen Freiheitsgewinn verspricht. Die Frage der Mündigkeit zielt auf die Gesetzgebungskompetenz. Die Aufklärung bringt mit der Mündigkeit daher auch die Voraussetzung für die Demokratie, denn herrschen kann nur der, wer mündig ist. Mündigkeit zu erreichen, ist allerdings nicht garantiert. Komfort und mangelndes Selbstbewusstsein können Ursachen sein, allerdings kann es auch rationale Gründe geben. Durch einen selektiven Verzicht der Mündigkeit kann der Verstand an diesen Stellen erweitert und damit individuelle Freiheit gewonnen werden.

Mündigkeit im neuen Kontext

Der Mut, sich auf die eigene Vernunft zu beziehen, beinhaltet den Zuspruch zu einer von uns für richtig befundenen Wahrheit, also eine Erkenntnistheorie. Am Anfang steht das Problem, dass die Welt „an sich“ nicht erfahrbar ist. Über unsere Sinne werden Informationen zu Vorstellungen, die wir dann durch Zuordnung beurteilen und denen wir einen Wert zuweisen. Durch diese Wertung erhalten die aus den Wahrnehmungen generierte Erkenntnisse Wahrheitswerte. Die Wissensbasis beinhaltet Dinge, die wir für wahr erachten. Wenn von Vernunft gesprochen wird, wird hier, insbesondere bei Kant, meist das Werkzeug der Inferenz gemeint, um neue Erkenntnisse, also Wahrheitswerte, auf dieser Grundlage der Wissensbasis zu generieren. Wahrheitswerte entstehen, wenn die Genese eines Prozesses beschrieben werden kann oder aus der Logik. Die Sicherheit über die Korrektheit unseres Wissens ist also, sofern von einer Korrektheit der Inferenz ausgegangen wird, entscheidend für den Wahrheitswert der generierten Erkenntnis. Das die empfundene Wahrheit nicht immer ein Abbild der Wirklichkeit ist, zeigen logische Trugschlüsse wie ad hominem, oder Cherry-picking. Genese Die Frage der Geltung, also ob das eigene Urteil besser (zu einer kleinen Betrachtung von Urteilen kommen wir später erneut) sei, ist für Kant nicht sehr relevant, da als Maxime sich diese Frage nicht stellt. Im Prozess der Regelfindung trennt Kant aber nach einer öffentlichen und privaten Funktion. Der private Bürger müsse gehorchen, während der öffentliche Gelehrte widersprechen darf. Hier spiele der Adressat der Kritik die Rolle: Wird öffentlich zur Welt gesprochen oder befindet man sich in einer Rolle, wo gehorsam Voraussetzung ist? Diese Unterteilung hat heute den veränderten Kontext, da mittels Social Media jeder öffentlich in die Funktion eines Gelehrten springen kann. Im Alltag ist die Frage der Mündigkeit die Frage, ob eine Ansicht oder Handlungsempfehlung übernommen wird, oder ob man sich auf seine Vernunft beruft. Kant bezog sich auf die empfehlenden Klassen der Gebildeten und Mächtigen.

Seit Kants Lebzeiten hat sich die allgemein verfügbare Wissensbasis verändert. Mit dem neuen Zugang zum Weltwissen führt der aufklärerische Gedanke zur Überschätzung der Vernunft. Etablierte Institutionen und Gelehrte verlieren an Wertschätzung. [1] Die freiheitsliebenden Leugner vom menschengemachten Klimawandel oder SARS-CoV-2 müssten nach Kant der aufgeklärte Mensch par excellence sein. Tatsächlich beruft sich manch ein Klimawandelleugner auf Kant. Die Entwicklung der Massenmedien und künstlicher Intelligenzen führten zu einem verändertem Kontext, in dessen Rahmen die Rolle der Mündigkeit erneut gestellt werden muss.

Effekte des Informationszeitalters

Im Informationszeitalter wuchs die Menge an verfügbaren Informationen so stark an, dass der Verstand diese nicht mehr verarbeiten kann und überfordert ist. Unter einer Spieltheoretischen Betrachtung ergibt sich aus einem Mehr an Informationen ein Vorteil gegenüber anderen Akteuren. Es siegen die Methoden, welche größere Informationsmengen verarbeiten können. Daher wird der Überforderung mit Hilfsmitteln begegnet. Aber auch aus der Aufklärung heraus entsprungen, beinhaltet der bürgerliche Bildungskanon die Lehre von den Methoden, wie wir Kognition externalisieren können, indem wir Schrift in Büchern und Heften sowie Taschenrechner, Skizzen und Diagramme nutzen. Wachsende Informationsmengen führen unausweichlich zur Entwicklung komplexerer und mächtigerer Werkzeuge, welche superieren, also Komplexitäten zusammenfassen und reduzieren können. So können wir rasch zu einer Vielzahl von Themen einen Überblick erhalten. Diese umfassende Informationslage ist oft nicht ausreichend erklärt und kann in der Interpretation auch überfordern wirken, da die benötigten Modelle eine gewisse Komplexität benötigen. Zusätzlich ist es möglich, zu Unmengen an Information zu Dingen außerhalb des des eigenen Einflussbereichs zu gelangen. Dies begünstigt das Erstarken des Populismus, da der Populismus einfache Modelle auf komplexe Themen anbietet. Die Psychologie zeigt uns immer wieder, wie anfällig wir für kognitive Trugschlüsse sind. Unser Erkenntnisgewinn ist voreingenommen von unserer Position in Herrschaftsverhältnissen (Standpunkt-Theorie), welche wir nach unserem Nutzen rechtfertigen oder kritisieren. Durch den Kontrast der vernunftgenerierten Beurteilungen mit aggregierten Daten kann das Urteil einer Prüfung unterzogen werden und Trugschlüsse aufgedeckt werden.

Das Individuum kann sich durch neue Technologien im transhumanen Sinne weiterentwickeln, allerdings bei parallel auftretenden gesamtgesellschaftlichen problematischen Nebeneffekten. Wenn der Mensch an seine Grenzen kommt und Maschinen hier übernehmen, können wir diesem Prozess aktiv zustimmen und unsere Mündigkeit bewusst abgeben? Was erwächst daraus?

Der Mensch legitimiert seine Sonderstellung im Universum durch seine kognitiven Fähigkeiten aus einem narzisstischem Bedürfnis heraus. Menschen sträuben sich deshalb gegen den Vorschlag, diese Fähigkeit anderen Lebewesen oder Maschinen zuzusprechen. Zusätzliche Unterstützung dieser Idee erfolgt durch die abrahamitischen Religionen, welche den Sonderstatus aus dem Buch Genesis, bzw. im Koran aus den Suren zur Schöpfung ableiten. Dies legitimiert Gräueltaten gegenüber nicht-menschlichen Lebewesen durch die qualitative Unterscheidung, obwohl dies dem herrschaftsauftrag in diesen Religionen widerspricht. Der Narzissmus befindet sich im anthropologischen Konflikt in der Umsetzung der Mündigkeitsaufgabe.

Warum Maschinen immer führen, aber immer einen Führer brauchen

Aus einer Intention heraus erschafft der Mensch Artefakte, wozu die Maschinen zählen. Maschinen können durch Informationsverarbeitung entscheiden und handeln. Da Maschinen qua Definition automatisch arbeitende Systeme sind, sind sie mit einem mehrheitlich unqualifizierten delegierendem Verhalten, ohne Existenzgrund, und daher innerhalb ihrer definierten Umwelt immer inhärent mündige Systeme. Kontextabhängig übernehmen sie so Arbeiten der führenden Klasse. Der Kontext ist und wird eine Frage der menschlichen Delegierung bleiben.

Die menschliche Urteilskraft benutzt Empathie – also das Lesen von internen Zuständen – und den Perspektivenwechsel. [2] Diesen können wir aufgrund gesammelter Erfahrungen durchführen. Dies ist uns durch die Ähnlichkeit der menschlichen Erfahrung und der Körperlichkeit ermöglicht. So teilen alle Menschen die Erfahrung der Geburt, Bindung zu einer Mutter, Aufwachsen mit Kindheit und Adoleszenz und alle Säugetiere teilen die Erfahrung der Körperlichkeit.

Alles Erkennen ist zugleich ein Werten. Die Wertung erfolgt auf der Wissensbasis, die im Falle des Perspektivenwechsels den menschlichen fern ist, aber zugleich auch auf der Überwindung der Limitierungen durch überlegende priors geschieht. Wie kann sichergestellt werden, dass die maschinellen Werte und die menschlichen übereinstimmen (human compatible AI)? Es benötigt also immer Menschen, die den Einsatz der KI-Systeme überprüfen. Erschwerend kommt hinzu, dass die Frage der richtigen Wertphilosophie auch für Menschen nicht abgeschlossen ist. Zusätzlich muss bedacht werden, dass, sofern nicht eingegriffen wird, ein KI-System nach positivistischen Prinzipien arbeitet und den Status quo repliziert. Dies unterscheidet sich nicht sehr von Demokratien, die mehrheitlich konservative Politik bevorzugen. Auch deshalb benötigt es Menschen in den Rückkopplungsschleifen.

Hinderlich kann dies jedoch sein, wenn die KI Systeme Entscheidungen treffen, die nicht nachvollzogen werden kann. Eine Entscheidung mag man nicht nachvollziehen können, sie ist aber die bessere – Ähnlich einem Kind, was lieber statt zur Schule zu gehen, den ganzen Tag fernsehen und Süßigkeiten essen will. Die Nichtbefolgung könnte dann wohlmöglich unethisch sein.

Der Nutzen der Mündigkeitsaufgabe

Der Nutzen der Mündigkeitsaufgabe ist auch ein pragmatischer, instrumenteller, wenn wir darauf vertrauen können, dass KI Systeme rationaler entscheiden, da mehr Evidenz superiert werden kann oder die Wissensbasis umfassender ist und damit die bayes’schen Wahrscheinlichkeitsverteilungen (priors) via transferierendem Lernen genauer sind. Dinge können sichtbar gemacht werden, die vorher unsichtbar waren. Neue Sensorik ermöglicht die Erfassung größerer medizinisch relevanter Datenmengen, was von Befürwortern unter dem Stichwort „quantified self“ beworben wird. Diagnosen sind durch KI-Systeme genauer, als ein einzelner Arzt sie erstellen kann. Behandlungsrichtlinien der Weltgesundheitsorganisation WHO erfassen häufig nur einen Parameter wie das Alter. Werden KI Systeme genutzt, können Diagnosen präziser erfasst werden, was einer Handlungsempfehlung gleich kommt, und direkter optimale Therapien erstellt werden. Die Nutzen durch die Mündigkeitsaufgabe erstreckt sich nicht nur auf medizinische Anwendungen. Mit dem Erreichen einer juristischen Altersgrenze ist die Bildung eines Erwachsen nicht abgeschlossen. Aus der Idee der Pädagogik entspringt die Erziehung des Menschen hin zur Sittlichkeit. Dies ist ein Prozess ohne Abschluss. Künstliche Intelligenz für die Massen bietet ein Werkzeug zur Ermächtigung und kann beflügeln.

Diese Idee, Technologie zur Überwindung der limitierten biologischen Natur zu nutzen, greift die die Kernidee des technologischen Transhumanismus auf.

Gesetzgebungsprozess im Informationszeitalter

Den Kontext der KI-Systeme und ihre Arbeitsweise benötigen eine gesellschaftliche Legitimation. Wir können Kant aufgreifen: Die öffentliche Debatte und Kritik soll an den KI-Systeme geschehen, privat sollte den Empfehlungen gefolgt werden. Um diese Öffentlichkeit für eine Debatte herzustellen, müssen die Algorithmen offen gelegt werden. Diese Anforderung gibt es zurzeit nicht. Die Schwierigkeit ist hier, Anreize zu Investitionen in die Entwicklung der Systeme bestehen zu lassen. Hierfür müssen neue Gesetze erlassen werden.

Statt das Individuum oder eine herrschende Klasse in die Verantwortung zu nehmen, über das eigene Leben zu verfügen, kann die Verantwortung auch auf das Kollektiv verteilt werden wie in der Sozialdemokratie oder anderen sozialistischen Entwürfen. Als Gegenentwurf zur Klassengesellschaft entwickelte man die sozialistische Theorie der Führung durch die Massen der Proletarier. Auch die Idee der autonomen Verwaltung versucht die Rolle der herrschenden Klasse aufzulösen. Die Mündigkeitsaufgabe wird durch den Massenentscheid bzw. des Basisentscheids legitimiert.

Neue Medien führen zu einem neuen Aggregationsprozess der Meinungen im demokratischen Diskurs. In der Moderne zeigte sich der starke Zuwachs der Bedeutung der massenpsychologische Effekte und der einhergehenden Reduktion der Rolle individueller Unterschiede im politischen Prozess. Mittels statistischer Methoden lassen sich solche Masseneffekte messbar machen und mittels kurzen kybernetischen Feedbackschleifen lassen sich automatisiert Umgebungen formen, die die menschliche Psyche ausnutzen. Propaganda lässt sich so mittels KI individualisieren. Auf die Vernunft der Massen im kybernetischen Kontext zu vertrauen, ist also falsch, da sie bereits den Effekten der KI-Systeme unterliegen.

KI Systeme im Kapitalismus

Auch zum Zweck der Machtsicherung werden in allen Ländern Möglichkeiten zur Überwachung der Bevölkerung gesucht (z.B. die US Crypto Wars). Intelligente kybernetische Systeme können hier als Regler der Meinung in der Bevölkerung in einem kybernetischen Stabilisierungsmechanismus dienen.

Im Kapitalismus ist Wissen eine Ware, die durch geistige Eigentumsrechte geschützt wird. Dieses Wissen umfasst die Architektur, Parameter und exklusiven Trainingsdaten der KI-Systeme. Die Systeme laufen aus Gründen der Anforderungen an die Hardware oft auf Firmenservern, aber auch um die gelernten Parameter vor Vervielfältigung zu schützen. Die Verwaltung der KI-Systeme durch private Unternehmen birgt Risiken aber auch Chancen. Hochwertige Aggregationen von Daten lassen sich oft nur durch einen erheblichen Aufwand erlangen. Frei verfügbare Daten reichen in vielen Fällen nicht aus oder können nicht von Individuen erlangt werden. Nur durch die kommerzielle Umsetzung ist dies möglich. Allerdings gelangen private Unternehmen so an intransparente Macht, ohne demokratische Legitimierung.

Die Frage nach der Kontrolle der KI-Systeme ist also vergleichbar zur klassischen Machtfrage im Kapitalismus. Der Sonderstatus der KI-Systeme als führende Entitäten fordert konzentriert den Bedarf zu eine demokratische Legitimation heraus. Neben einer teilweisen Offenlegung des Systems könnte eine Regulierung z.B. durch eine Zertifizierung der KI durch demokratisch legitimierte Menschen das Problem lösen.

Zusammengefasst lässt sich feststellen, dass die Machtfrage noch nicht abschließend geklärt ist und die Integration von KI-Systemen ein offener Prozess bleibt. Mit der zunehmenden Bedeutung dieser Systeme ist die Dringlichkeit in den nächsten Jahren gegeben.


Der Autor ist Backend & Machine Learning Engineer bei einem Medizinunternehmen (iATROS).


  1. Jean-Francois Lyotard untersucht den Vertrauensverlust im Informationszeitalter in seinem Werk „Das postmoderne Wissen"
  2. Zwei Fertigkeiten in verschiedenen Hirnarealen

After I implemented a dopamin based learning reinforcement learning (RL) algorithm with nest I saw some problems to use the software with machine learning (ML) algorithms. In my thesis I used the simulator software NEST. It is one of the most advanced neural simulatros and offers a lot of neuron models and has a welcoming community. Machine learning algorithms need rapid update cycles. Nest is designed to run big simulations for a long time and allows scaling to use supercomputers. I also used computing resoruces of the Leibniz Rechenzentrum, however I ran multiple jobs in parallel.

The tools people use are essential. Any good library or standard encodes design work eficciently and saves many hours. The sucess story of computing is the history of thounds of iterations improving designs. I believe that software should not expect users to be experts on it to use it. The mailing list often saw people with similar question to the problem I encountered in using it with rapid cycles. Many of the researches coming form neuroscience are not experienced developers. I believe that in the future more people will look into the intersection of ML and neuroscience. I felt compelled to act based on my knowledge. NEST is open source so I joined the fortnightly meetings and discussed my idea. I wrote a proposal, discussed it again. Then I submitted a pull request. Unfortuantely it is not a solution covering all use-cases and was at this point closed. I understand the decision from the perspective of neuroscientist but yet this is unfortuante for machine learning.

At this point I think it is reasonable to halt my advances in this area. The hurdle is too high to make NEST fit for machine learning do it on the side.

To research the application of building homegrown neuromorphic computers I started to put the SNN-RL framework into a custom C++ back-end with multiprocessing. Thus, skipping the inefficiencies of nest for this use case and enabling real-time processing. Once it has been show to work on von-Neumann computers I will showcase it on a real pole-balancing apparatus bringing the algorithm to the real world. The appparatus is almost constructed. This algorithm will be later extended to run on FPGAs allowing per-neuron multiprocessing/full neuromorphic computing. May approach will not be revolutionary but it proof that reinforcement learning with SNN can solve real world problem on custom hardware.

The new library will be open source and found here. The URL might break, as I may change the name. My wish is to work on this research in my free time. Altough my day-job includes machine learning this is yet too experimental to be applicable in industry. One potential use-case is real-time control for embedded devices. Since I now have my first experience with working prolonged 40h+ weeks I need me free time to keep my balance. On a weekend I am happy to do some other things for a while than thinking again about code and staring into screens. Updates on this topic will follow.