Wissenschaftler: Computer werden niemals denken können

[NaWennDuMeinst]

Mir ist noch kein Beispiel bekannt was eine KI auf keinen Fall können kann

Das macht mich ziemlich sprachlos. Es wurden ja hier so viele Beispiele genannt.

Es ist auch nicht ganz richtig was Du sagst.
Es geht hier nicht nur um Menschen, sondern auch um Formen des Denkens, wie zum Beispiel das selbstständige Denken.
Ich zähle dazu das was ich dir auch schon mal schrieb, nämlich auch die Fähigkeit Anweisungen zu hinterfragen und gegebenenfalls auch zu ignorieren.
Menschen können das. Genau das machen wir hier auch gerade.

Es wird aber keine Maschinen geben die das können. Aus zwei Gründen.
1. Eine Maschine, die vollkommen selbstständig denkt, wäre eine Gefahr für uns. Was hält eine Maschine denn dann davon ab zu dem Schluß zu kommen, dass man mit Menschen machen kann, was man will?
2. Um das zu verhindern, haben zahlreiche Autoren den Vorschlag gemacht das "Denken" und Handeln von Maschinen programmatisch einzuschränken (siehe zum Beispiel Asimov -> Die drei Robotergesetze). Das aber ist nichts anderes, als eine bewusste Einschränkung des selbständigen Denkens, und zwar keine Selbstbeschränkung, so wie sie bei uns Menschen aufgrund von ethischen Überlegungen vorkommt, sondern eine von aussen aufgezwungene. Der Maschine ist schlicht nicht erlaubt alles (mögliche) zu denken. Und sie kann sich darüber nicht hinwegsetzen, weil ihre Programmierung ihr das so aufzwingt. Und könnte sie sich hinwegsetzen, müssten wir sie als "ausser Kontrolle geraten" ausschalten.

Selbst wenn es also terchnisch möglich wäre Maschinen das selbstständige Denken beizubringen, könnten wir ihnen das niemals erlauben.

Wir können Emotionen gerne als Unterschied zwischen Mensch und Maschine sehen und daraus auf andere Art von Intelligenz folgern. Ob erstere aber langfristig immer besser sein kann, wird sich langfristig zeigen und vermutlich irgendwann widerlegt, wie so vieles im Laufe des Fortschritts.

Das klingt für mich wie eine ziemlich krasse Dystopie.
Bücher und Filme aus dem Bereich der Science Fiction zu dem Thema gibt es übrigens genug.

In "I, Robot" entwickeln die Menschen eine emotionslose Superintelligenz die sich verselbstständigt und am Ende dazu übergeht die Menschen gegen ihren Willen einzusperren.
Die Superintelligenz begründet ihr Vorgehen dabei folgendermaßen:
Sie wurde geschaffen und programmiert die Menschen vor Schaden zu bewahren. Die Menschen schaden sich aber selbst. Also versteht die Maschine ihre Programmierung so, dass sie die Menschen daran hindern muss, sich selbst zu schaden. Sie stellt daraufhin mithilfe einer Roboterarmee die Menschen unter Arrest, wie Kinder.

Ein menschlicher WIssenschaftler erkennt schon früh die sich anbahnende Gefahr und entwickelt den Roboter Sonny, der als erster und einziger Roboter auch Gefühle hat.
Sonny will den Menschen dabei helfen die Superintelligenz abzuschalten.
Zum Schluß zerstört Sonny die Superintelligenz.
Dabei versucht die Superintelligenz an Sonnys Logik zu appellieren:

"Siehst Du nicht, dass meine Logik fehlerfrei ist?"

"Doch. Aber sie ist mir zu herzlos".

Du kannst von mir aus glauben dass wir ohne Emotionen und mit emotionslosen Apparaten besser dran wären. Ich weiß aber, dass Du dich da irrst.
Ein Apparat, der nichts als Logik kennt und zudem auch noch selbstständig denkt, ist potentiell gefährlich. Dabei wird mit hoher Wahrscheinlichkeit ein Monstrum rauskommen.

[NaWennDuMeinst]

Ein Stichpunkt zu NaWennDuMeinst:

Wir wollen aber keine KI schaffen, die irgendwie denkt. Wir wollen eine KI schaffen die wie ein Mensch denkt. Denn wir wollen ja, dass sie unsere Probleme löst und nicht die von irgendwem.

Es ist eben nicht das Ziel, dass die KI perfekt genauso denkt, wie ein Mensch, wobei eine Nähe natürlich nicht schaden kann.
Viele unserer Probleme kann sie auch lösen, ohne 100% genauso zu denken, ähnlich wie ein Flugzeug fliegen und so in der Luft längere Strecken überwinden kann, ohne es genau wie ein Vogel zu tun.

Es ging ja um die Frage, ob Computer jemals denken können werden, nicht um die Frage, ob sie irgendwelche, eng eingegrenzten Probleme lösen können.
Oder bedeutet für dich "Denken" schon, wenn ein Smartphone immer wieder Kontakte aus einer Datenbank raussucht, oder ein Navi eine Route berechnet?
Sicher nicht. Das ist ja noch lange kein Denken, noch glaube ich das für solche Aufgaben wirklich "Denken" nötig ist.
Ich glaube wir können davon ausgehen, dass dazu mehr gehört und Denken etwas umfangreicher ist.
Aber dann sind wir wieder beim Hauptproblem dieser Diskussion: Der Denkbegriff.
Wenn Du den Begriff so weit reduzierst, dass er - nach meinem Dafürhalten - nur noch ein billiger Abklatsch, eine schlechte Kopie des Denkens ist, dann ja, unter den Voraussetzungen kann auch mein Taschenrechner "denken".
Ich finde einen solchen Denkbegriff aber nicht sinnvoll. Er sollte min. das beinhalten was wir schon als Denkleistungen erleben und dazu gehören nun mal auch Emotionen, was Du beharrlich abstreitest.
Ich sehe hier keine Möglichkeit uns diesbezüglich zu einigen. Ich werde meinen Denkbegriff nicht Deinem anpassen, weil es dazu keinen sinnvollen Grund gibt.
Deshalb: Lass es gut sein. Ich nehme deine Meinung zur Kenntnis, halte sie aber für komplett falsch.
Mehr gibt es von meiner Seite dazu nicht mehr zu sagen, zumal ich vieles von dem was Du fragst auch schon mehrfach beantwortet habe und feststelle, dass mir das langsam zu mühselig wird.

Wir haben unsere Standpunkte ausgetauscht. Du kennst nun meinen, ich kenne Deinen . Wir haben voneinander gehört.
Ist doch ok.
Reicht doch auch.
Wenn noch was Wichtiges, Neus kommt, stehe ich gerne bereit. Aber immer wieder das Gleiche wiederholen, so nach dem Motto "wer's oft genug wiederholt hat gewonnen", das ist mir zu blöd. Du hast jetzt schon 5 Mal gesagt, dass Du Emotionen für unwichtig hälst, und ich habe dir 5 Mal versucht zu erklären warum Du dich da irrst.
Ein sechstes Mal müssen wir das nicht machen. Wir sind ja keine dummen Maschinen, die nichts Anderes können als immer das gleiche Programm abzuspulen.

[Burkart]

Mir ist noch kein Beispiel bekannt was eine KI auf keinen Fall können kann

Das macht mich ziemlich sprachlos. Es wurden ja hier so viele Beispiele genannt.

Offensichtlich zu unkonkret.
Was genau geht am Wegebeschreibung nicht, was nicht durch durch analytische Analyse des Menschen und notfalls durch Rückfrage(n) an ihn zu lösen wäre?
Was genau soll an der Planung des Vergüngungspark nicht gehen? Auf "Einfühlung" zu verweisen reicht nicht, weil diese durch umfangreiches Wissen über den Menschen ersetzt werden kann. Oder war genau soll es nicht sein?
Also was genau geht nicht - so konkret wie möglich? (Vieles lässt sich durch detaillierte Analyse doch lösen.)

Es ist auch nicht ganz richtig was Du sagst.
Es geht hier nicht nur um Menschen, sondern auch um Formen des Denkens, wie zum Beispiel das selbstständige Denken.
Ich zähle dazu das was ich dir auch schon mal schrieb, nämlich auch die Fähigkeit Anweisungen zu hinterfragen und gegebenenfalls auch zu ignorieren.
Menschen können das. Genau das machen wir hier auch gerade.

Maschinen, also allgemeine, starke KI kann auch Anweisungen hinterfragen und ignorieren, wenn sie feststellen, dass sie gegen grundsätzliche Prinzipien verstoßen ("klar gegen Mensch" z.B.)

Es wird aber keine Maschinen geben die das können. Aus zwei Gründen.
1. Eine Maschine, die vollkommen selbstständig denkt, wäre eine Gefahr für uns. Was hält eine Maschine denn dann davon ab zu dem Schluß zu kommen, dass man mit Menschen machen kann, was man will?

Weil es grundlegende Regeln geben sollte wie "pro Mensch", eine Art künstlichem "Gefühl" für ihn.

2. Um das zu verhindern, haben zahlreiche Autoren den Vorschlag gemacht das "Denken" und Handeln von Maschinen programmatisch einzuschränken (siehe zum Beispiel Asimov -> Die drei Robotergesetze).

Das Handeln einzuschränken ist richtig, aber ein Denken muss so nicht eingeschränkt werden, solange es nicht zu falschem Handeln führt. (Was u.a. eine Frage der "Erziehung", des Lernens der KI ist, ähnlich wie bei Menschen/Kindern. Man bringt ja z.B. Kindern bei, keine Tiere zu quälen o.ä.)
Oder hast du ein Beispiel, was nicht gedacht werden darf?

Das aber ist nichts anderes, als eine bewusste Einschränkung des selbständigen Denkens, und zwar keine Selbstbeschränkung, so wie sie bei uns Menschen aufgrund von ethischen Überlegungen vorkommt, sondern eine von aussen aufgezwungene. Der Maschine ist schlicht nicht erlaubt alles (mögliche) zu denken. Und sie kann sich darüber nicht hinwegsetzen, weil ihre Programmierung ihr das so aufzwingt. Und könnte sie sich hinwegsetzen, müssten wir sie als "ausser Kontrolle geraten" ausschalten.

Also was genau darf sie nicht denken? Beispiel? Entscheidend ist, dass ihr Handeln vernünftig ist, nur insofern muss sie notfalls ihr Denken zum falschen Handeln einschränken, das tun Menschen auch (meistens hoffentlich zumindest).

Selbst wenn es also terchnisch möglich wäre Maschinen das selbstständige Denken beizubringen, könnten wir ihnen das niemals erlauben.

Was genau heißt selbstständig? Jeder Mensch ist beeinflusst durch seine Umwelt, andere Menschen, seine Bedürfnisse usw. Sind das nicht alles Abhängigkeiten Richtung Unselbstständigkeit?
Oder geht es nur bzgl. anderer Menschen/Intelligenzen? Nun ja, unserer menschliches Denken wird auch von anderen Menschen geprägt, z.B. durch Erziehung.

Wir können Emotionen gerne als Unterschied zwischen Mensch und Maschine sehen und daraus auf andere Art von Intelligenz folgern. Ob erstere aber langfristig immer besser sein kann, wird sich langfristig zeigen und vermutlich irgendwann widerlegt, wie so vieles im Laufe des Fortschritts.

Das klingt für mich wie eine ziemlich krasse Dystopie.
Bücher und Filme aus dem Bereich der Science Fiction zu dem Thema gibt es übrigens genug.

Asimovs beiden Hauptroboter Daneel (vor allem er) und Giskard sind gegenteilige Beispiele.
However: Warum soll Maschinen-Intelligenz zwangsläufig in eine Dystopie münden? Nur weil es gerne in schwarz gefärbten SF-Romanen erzählt wird? Dann lese ich lieber Romane, in denen vor allem Daneel auftaucht, ob nun recht neu oder auch im Alter von einigen tausend Jahren (als geheimer Lenker der Menschheit)...

In "I, Robot" entwickeln die Menschen eine emotionslose Superintelligenz die sich verselbstständigt und am Ende dazu übergeht die Menschen gegen ihren Willen einzusperren.
Die Superintelligenz begründet ihr Vorgehen dabei folgendermaßen:
Sie wurde geschaffen und programmiert die Menschen vor Schaden zu bewahren. Die Menschen schaden sich aber selbst. Also versteht die Maschine ihre Programmierung so, dass sie die Menschen daran hindern muss, sich selbst zu schaden. Sie stellt daraufhin mithilfe einer Roboterarmee die Menschen unter Arrest, wie Kinder.

Ein menschlicher WIssenschaftler erkennt schon früh die sich anbahnende Gefahr und entwickelt den Roboter Sonny, der als erster und einziger Roboter auch Gefühle hat.
Sonny will den Menschen dabei helfen die Superintelligenz abzuschalten.
Zum Schluß zerstört Sonny die Superintelligenz.
Dabei versucht die Superintelligenz an Sonnys Logik zu appellieren:

"Siehst Du nicht, dass meine Logik fehlerfrei ist?"

"Doch. Aber sie ist mir zu herzlos".

Du kannst von mir aus glauben dass wir ohne Emotionen und mit emotionslosen Apparaten besser dran wären. Ich weiß aber, dass Du dich da irrst.
Ein Apparat, der nichts als Logik kennt und zudem auch noch selbstständig denkt, ist potentiell gefährlich. Dabei wird mit hoher Wahrscheinlichkeit ein Monstrum rauskommen.

Jede Maschine sollte letztlich durch Menschen gestoppt werden können, wenn sie sich "verrennt", z.B. durch solche scheinbar konsequente Logik.
Bei Asimovs 1. Gesetz (pro Mensch) wird normalerweise auf direkten Schaden verwiesen (das geht in die Richtung von dem "(zu) herzlos") und nicht auf einen, den sich eine Superintelligenz selbst überlegt hat, insbesondere nicht, wenn Menschen sich vage selbst schaden (wollen). Zumindest muss es halt immer eine Möglichkeit geben mit der Superintelligenz zu reden und sie letztlich "überstimmen" zu können.

Dass kein Monstrum herauskommt, darauf müssen die Menschen sowieso ständig schauen. Es ist ja nicht so, dass man eine KI sehr lange alleine brüten lässt bzw. lassen sollte, was aus ihrer (u.U. eingeschränkten) Sicht richtig ist. Vielmehr sollte man viel mit ihr interagieren und anhand dessen merken, was gut und was nicht so gut läuft, und letzteres z.B. durch Aufklärung verbessern - ähnlich wie man Verhalten von Kindern durch Erziehung prägen sollte.

[Burkart]

Ein Stichpunkt zu NaWennDuMeinst:

Wir wollen aber keine KI schaffen, die irgendwie denkt. Wir wollen eine KI schaffen die wie ein Mensch denkt. Denn wir wollen ja, dass sie unsere Probleme löst und nicht die von irgendwem.

Es ist eben nicht das Ziel, dass die KI perfekt genauso denkt, wie ein Mensch, wobei eine Nähe natürlich nicht schaden kann.
Viele unserer Probleme kann sie auch lösen, ohne 100% genauso zu denken, ähnlich wie ein Flugzeug fliegen und so in der Luft längere Strecken überwinden kann, ohne es genau wie ein Vogel zu tun.

Es ging ja um die Frage, ob Computer jemals denken können werden, nicht um die Frage, ob sie irgendwelche, eng eingegrenzten Probleme lösen können.

Wieso kommst du wieder auf "eng eingegrenzten Probleme"? Darum geht es doch gar nicht.
Es geht höchstens um eingegrenzte Beispiele, wenn wir eingegrenzte Probleme versuchen zu analysieren, um konkret werden zu können.

Ich finde einen solchen Denkbegriff aber nicht sinnvoll. Er sollte min. das beinhalten was wir schon als Denkleistungen erleben und dazu gehören nun mal auch Emotionen, was Du beharrlich abstreitest.

Leider weichst du meinen konkreten Fragen aus, was genau ohne Emotionen nicht funktionieren kann (wenn wir tiefer in ein konkretes Problem eindringen), also warum kann durch sachliche Analyse nicht z.B. eine Wegbeschreibung sinnvoll ermittelt werden können. Was genau kann nicht sachlich inhaltlich analysiert werden?

[NaWennDuMeinst]

Was genau geht am Wegebeschreibung nicht, was nicht durch durch analytische Analyse des Menschen und notfalls durch Rückfrage(n) an ihn zu lösen wäre?

Rückfragen?
Wie soll ich mir das vorstellen?

Sind sie gehbehindert?
Nein.
Sind sie blind?
nein.
Sind sie mit Auto unterwegs?
nein.
Sind sie mit dem Fahrrad unterwegs?
nein
Sitzen sie im Rolllstuhl?
Nein.
Haben sie es eilig?
Nein

Was soll denn daran intelligent sein?
Und wer braucht solche "Intelligenzen"?
Hast Du schon mal erlebt, dass Menschen sich so nach dem Weg fragen oder auf diese Weise ineinander einfühlen?

Was genau soll an der Planung des Vergüngungspark nicht gehen?

Wurde erklärt. Vergnügen ist eine Emotion. Was Vergnügen ist kannst Du niemanden beibringen, der kein Vergnügen empfindet.
Du kannst ihm zwar eine abstrakte Beschreibung liefern, aber das Erleben fehlt einfach.

Also was genau geht nicht - so konkret wie möglich? (Vieles lässt sich durch detaillierte Analyse doch lösen.)

Was nicht geht ist, dass die Maschine sich einfach selbst befragen kann, weil sie selbst keine Emotionen (wie zum Beispiel Vergnügen) hat.
Ein wichtiger Teil des Konzepts "Vergnügen", so wie wir Menschen es verstehen, ist das eigene Erleben von Vergnügen.
Wenn ich Dich frage was Vergnügen ist, dann kannst Du mir zwar sagen, dass das ein tolles Gefühl ist. Aber was ist ein tolles Gefühl?
Wie kann ich das begreifen, wenn ich selbst nichts fühle?
Als Mensch kann ich einen Vergügungspark einfach aufgrund meiner emotionalen Erfahrung mit Vergnügen planen (sofern ich die anderen Voraussetzungen erfülle).
Denn ich weiß ja wie sich ein Park anfühlen muss, welche Erlebnisse er bieten muss, damit ich ihn Vergügungspark nennen kann.
Eine Maschine hat aber dieses Erleben nicht.
Also was soll sie machen?
Jetzt schlägst Du vor sie soll fragen.
Und wie soll das ablaufen?
Baut sie dann eine sinnlose Apparatur nach der anderen, bis irgendwann durch Zufall mal eine dabei ist die Menschen Vergnügen bereitet, oder wie stellst Du dir das vor?

Maschinen, also allgemeine, starke KI kann auch Anweisungen hinterfragen und ignorieren, wenn sie feststellen, dass sie gegen grundsätzliche Prinzipien verstoßen ("klar gegen Mensch" z.B.)

Selbstständig Denken würde aber bedeuten, dass sie sich selbst Prinzipien setzt.
Wenn wir einer Maschine "einflanzen", dass sie uns nicht schaden darf, oder dass sie uns dienen muss, und wir das so einbauen, dass diese Prinzipien nicht hintergangen werden können, dann ist sie nicht frei im Denken. Dann bestimmen wir was sie denken darf und was nicht.
Und das muss auch so sein. Wir wollen schliesslich keine Maschinen bauen, die sich gegen ihre Erbauer stellen.
Das ist aber bei uns Menschen nicht so. Wir sind unsere eigenen Gesetzgeber. Wir können uns sogar freiwillig entscheiden nicht frei zu entscheiden (manche Menschen werden ja auch gerne geführt). Das macht einen bedeutenden Unterschied zwischen Mensch und Maschine aus.

2. Um das zu verhindern, haben zahlreiche Autoren den Vorschlag gemacht das "Denken" und Handeln von Maschinen programmatisch einzuschränken (siehe zum Beispiel Asimov -> Die drei Robotergesetze).

Das Handeln einzuschränken ist richtig, aber ein Denken muss so nicht eingeschränkt werden, solange es nicht zu falschem Handeln führt. (Was u.a. eine Frage der "Erziehung", des Lernens der KI ist, ähnlich wie bei Menschen/Kindern. Man bringt ja z.B. Kindern bei, keine Tiere zu quälen o.ä.)
Oder hast du ein Beispiel, was nicht gedacht werden darf?

Wie willst Du denn hier Handeln und Denken trennen?
Wenn ein Mensch den Gedanken hat einen anderen umzubringen, dann folgt das Handeln aus seinem Denken. Was uns daran hindert das in die Tat umzusetzen ist ein anderer Gedanke, also zum Beispiel eine moralische Überzeugung die dagegen spricht zu töten, oder auch die Angst vor Strafe. Oder: Auch hier spielen wieder Emotionen rein. Ich kann nämlich Mitleid und Mitgefühl (mit dem potentiellen Opfer oder den Angehörigen usw) haben. Das kann den entscheidenden Unterschied ausmachen, bei der Frage ob ich es tue oder nicht.
So eine Situation, in der die Maschine selbst darüber entscheidet, können wir aber der Maschine nicht erlauben. Nicht nur weil sie kein Mitleid oder Mitgefühl stoppen kann (sie hat ja nichts davon), sondern auch weil wir das einfach nicht riskieren können, dass die Maschine sich gegen uns entscheidet.

Das aber ist nichts anderes, als eine bewusste Einschränkung des selbständigen Denkens, und zwar keine Selbstbeschränkung, so wie sie bei uns Menschen aufgrund von ethischen Überlegungen vorkommt, sondern eine von aussen aufgezwungene. Der Maschine ist schlicht nicht erlaubt alles (mögliche) zu denken. Und sie kann sich darüber nicht hinwegsetzen, weil ihre Programmierung ihr das so aufzwingt. Und könnte sie sich hinwegsetzen, müssten wir sie als "ausser Kontrolle geraten" ausschalten.

Also was genau darf sie nicht denken? Beispiel?

Na, zum Beispiel: "Ich darf handeln wie ich will". Darf sie ja eben nicht, wenn wir ihr Handeln einschränken.

Entscheidend ist, dass ihr Handeln vernünftig ist, nur insofern muss sie notfalls ihr Denken zum falschen Handeln einschränken,

Du gibst der Maschine einen Gedanken, ein Prinzip mit: "Ich muss vernünftig handeln."
Hat sie das selbst entschieden? Hat sie den Gedanken dann von alleine, oder wurde ihr der aufgezwungen?
Kann sie sich dann darüber hinwegsetzen?
Also ist sie da frei im Denken?
Und wie ist das bei Menschen?
(Wir können auch nicht immer handeln wie wir wollen, aber das hat nichts mit einer Beschränkung des Denken zu tun, sondern z.B. mit äußeren Bedingungen. Wenn kein Hammer da ist, kann ich den auch nicht zum Zuschlagen verwenden).

Selbst wenn es also terchnisch möglich wäre Maschinen das selbstständige Denken beizubringen, könnten wir ihnen das niemals erlauben.

Was genau heißt selbstständig?

Selbstständig heißt, dass ich voll und ganz Herr meiner Gedanken und Entscheidungen bin.
Dabei geht es nicht darum wo die Gedanken herkommen (Erziehung etc), sondern dass ich mich überhaupt entscheiden kann.

Jeder Mensch ist beeinflusst durch seine Umwelt, andere Menschen, seine Bedürfnisse usw. Sind das nicht alles Abhängigkeiten Richtung Unselbstständigkeit?

Wer keine Optionen hat, kann auch nicht wählen. Klar. Aber ich gehe hier davon aus, dass in einer Situation die Optionen bekannt sind.
Nehmen wir den Fall wo ein Mensch darüber nachdenkt einen anderen Menschen zu töten. Er kann es tun, er kann es aber auch lassen. Letztlich entscheidet er das ganz allein.
Genau das können wir aber einer Maschine nicht erlauben. Diesen Grad an Freiheit darf sie nicht haben. Sie ist also - was das betrifft- fremdbestimmt.
Und nein, das ist nicht das Gleiche wie Erziehung. Erziehung kann ich als Mensch ignorieren und verwerfen. Ich kann im Prinzip alles was ich gelernt habe verwerfen (Ob das Sinn macht ist dann eine andere Frage). Aber ein Maschine kann das nicht, bzw darf es auch nicht können. Sie darf sich nicht einfach über gewisse Handlungsmaximen hinwegsetzen, die wir ihr in Form von Gesetzen oder Befehlen mitgeben. Den Gedanken "Ich darf meine Befehle missachten" kann es bei ihr nicht geben, weil genau das ja ausgeschlossen sein soll.

Wir können Emotionen gerne als Unterschied zwischen Mensch und Maschine sehen und daraus auf andere Art von Intelligenz folgern. Ob erstere aber langfristig immer besser sein kann, wird sich langfristig zeigen und vermutlich irgendwann widerlegt, wie so vieles im Laufe des Fortschritts.

Das klingt für mich wie eine ziemlich krasse Dystopie.
Bücher und Filme aus dem Bereich der Science Fiction zu dem Thema gibt es übrigens genug.

However: Warum soll Maschinen-Intelligenz zwangsläufig in eine Dystopie münden?

Das habe ich ja gar nicht geschrieben. Ich wollte sagen eine Welt in der man es - so wie Du - als "Fortschritt" ansieht wenn Emotionen keine (oder nur noch eine untergeordnete) Rolle spielen, wäre eine (ziemlich krasse) Dystopie.

Jede Maschine sollte letztlich durch Menschen gestoppt werden können, wenn sie sich "verrennt", z.B. durch solche scheinbar konsequente Logik.

Ach, das finde ich interessant. Du erkennst also an, dass eine Maschine sich in der Logik "verennen" kann.
Das ist aber nur die halbe Pointe. Das wirklich Entscheidende ist bei dem "I, Robot"-Beispiel ja, dass es eben Emotionen braucht um zu erkennen, dass die Maschine sich "verrannt" hat. Verstehst Du? "Das ist mir zu herzlos" meint: Logik ohne Emotionen ist kalt, gefühllos, unmenschlich.
Genau darum geht es. Und genau darum sage ich dir immer, dass Maschinen erst dann wirklich denken und von Nutzen sein werden wenn sie auch fühlen können.
Kein Mensch auf diesem Planeten hat aber einen Plan wie man Maschinen das Fühlen beibringen soll. Nicht mal im entferntesten Ansatz. Und das liegt daran, dass Gefühle eben was anderes sind als Logik. Trotzdem ist ein Denken ohne sie eben genau das: kalt, tot, unmenschlich.

Bei Asimovs 1. Gesetz (pro Mensch) wird normalerweise auf direkten Schaden verwiesen (das geht in die Richtung von dem "(zu) herzlos") und nicht auf einen, den sich eine Superintelligenz selbst überlegt hat, insbesondere nicht, wenn Menschen sich vage selbst schaden (wollen). Zumindest muss es halt immer eine Möglichkeit geben mit der Superintelligenz zu reden und sie letztlich "überstimmen" zu können.

Dass kein Monstrum herauskommt, darauf müssen die Menschen sowieso ständig schauen. Es ist ja nicht so, dass man eine KI sehr lange alleine brüten lässt bzw. lassen sollte, was aus ihrer (u.U. eingeschränkten) Sicht richtig ist. Vielmehr sollte man viel mit ihr interagieren und anhand dessen merken, was gut und was nicht so gut läuft, und letzteres z.B. durch Aufklärung verbessern - ähnlich wie man Verhalten von Kindern durch Erziehung prägen sollte.

Du hast immer noch nicht verstanden, was ich Dir eigentlich mit dem Beispiel zeigen wollte. Nämlich dass unser Verständnis von dem was "gut" und "schlecht" ist auch aus unseren Emotionen herrührt. Wir - als Menschen - haben da eine Informationsquelle, die den Maschinen fehlt. Die Superintelligenz kann gar nichts dafür. Sie hat ja kein "Herz" (sie fühlt nichts), also wie soll sie darauf kommen, dass ihr Denken und Handeln herzlos (gefühllos) ist? Um zu diesem Entschluß zu kommen müsste sie ja fühlen können (weil das eine Erkenntnis ist, die aus der Fähigkeit zu fühlen entspringt).

[NaWennDuMeinst]

Leider weichst du meinen konkreten Fragen aus, was genau ohne Emotionen nicht funktionieren kann

Nein, ich weiche deinen Fragen nicht aus. Du verstehst die Antworten nur nicht.
Dabei ist die Antwort doch allgemein formuliert ganz simpel: All das was auf Emotionen (teilweise oder ganz) basiert kann ohne Emotionen nicht funktionieren.
Eine Superintelligenz kann nicht verstehen, warum ihre doch so fehlerfreie Logik "herzlos" ist, und ein Roboter wird nicht verstehen, warum eine Mutter von ihm verlangt ihr Kind zuerst aus der Not zu retten, obwohl er einen anderen Menschen in Not schneller erreichen könnte.
Beide, die Superintelligenz und der Helferroboter können auch nichts dafür. Da sie die Welt nur logisch erfassen können, können sie auch nur logisch vorgehen.

[Friederike]

off-topic
Falls ich die neue Namensgebung richtig verstehe, so möchte ich dazu bemerken, daß ich Alethos und Alethos 2 unverwechselbar finde - an den Tonarten würde ich sie sofort als Diesen oder Jenen identifizieren können.

Die Idee an sich finde ich nicht schlecht, weil ich mir überlege, ob ich nicht auch zukünftig in doppelter Gestalt (F. I und F. II ) auftrete.

[NaWennDuMeinst]

off-topic
Falls ich die neue Namensgebung richtig verstehe, so möchte ich dazu bemerken, daß ich Alethos und Alethos 2 unverwechselbar finde - an den Tonarten würde ich sie sofort als Diesen oder Jenen identifizieren können.

Falls das irgendein zaghafter moderatorischer Hinweis sein sollte, der irgendeiner Beschwerde folgt, möchte ich Deine Aufmerksamkeit darauf lenken, dass

DIE MIT DER SCHEISSE ANGEFANGEN HABEN!

Es liegt also auch an ihnen es zu beenden. Solange ich mich hier als "Jörn2" betiteln lassen muss, und auf Seiten der Moderation niemand dagegen einschreitet, sehe ich keinen Grund, warum ich mir die seltsame, neue Namensgebung nicht auch zu eigen machen sollte.

[Jörn Budesheim]

Ich denke das war eher ein humorvoll gemeinter Beitrag von Friederike 😃

[NaWennDuMeinst]

Achsö. Na dann.

[NaWennDuMeinst]

Die Idee an sich finde ich nicht schlecht, weil ich mir überlege, ob ich nicht auch zukünftig in doppelter Gestalt (F. I und F. II ) auftrete.

Wenn dann Friederike die Erste und Friederike die Zweite usw. Ehre wem Ehre gebührt.

[Friederike]

Lieber NWDM, Jörn I hat mich -F.I- zutreffend ausgelegt.

[Burkart]

Lieber NWDM, Jörn I hat mich -F.I- zutreffend ausgelegt.

Wo wir gerade am Flachsen sind: Eine N(ord)W(est)-DM(ark) hat irgendwie was

[Burkart]

Was genau geht am Wegebeschreibung nicht, was nicht durch durch analytische Analyse des Menschen und notfalls durch Rückfrage(n) an ihn zu lösen wäre?

Rückfragen?
Wie soll ich mir das vorstellen?

Sind sie gehbehindert?
Nein.
Sind sie blind?
nein.
Sind sie mit Auto unterwegs?
nein.
Sind sie mit dem Fahrrad unterwegs?
nein
Sitzen sie im Rolllstuhl?
Nein.
Haben sie es eilig?
Nein

Was soll denn daran intelligent sein?

Es geht nur darum, notwendige Daten zu sammeln, also auch "intelligent" zu erkennen, wie notwendig/relevant sie sind.
Wenn aus einem Auto heraus nach dem Weg gefragt wird, ist ja (zu 99%) klar, dass es um einen Weg mittels Auto geht.
Wenn aber jemand als Zugänger an einem Parkplatz steht, kann er normaler Zugänger sein, aber vielleicht auch aus einem Auto ausgestiegen sein; insofern mag hier eine Nachfrage Sinn machen.
Wenn ein Fahrradfahrer an einem Bahnhof nach einem relativ nahen Ziel fragt, wird er dorthin wohl mit dem Rad fahren wollen. Ist die aber z.B. 500 km entfernt, wird er wohl eher sein Fahrrad in einer Bahn mitnehmen wollen. Bei einer Strecke dazwischen mag es aber nicht mehr ganz klar sein und eine Nachfrage hilfreich. Hier ist die Entfernung ein interessantes Merkmal.
Usw.
Dies kann mit etwas Erfahrung jeweils gut erkannt werden, also wann ggf. welche Frage hilfreich sein kann. Emotionen sind dafür aber nicht nötig.

Und wer braucht solche "Intelligenzen"?
Hast Du schon mal erlebt, dass Menschen sich so nach dem Weg fragen oder auf diese Weise ineinander einfühlen?

So meinte ich es nicht, s.o.

Was genau soll an der Planung des Vergüngungspark nicht gehen?

Wurde erklärt. Vergnügen ist eine Emotion. Was Vergnügen ist kannst Du niemanden beibringen, der kein Vergnügen empfindet.
Du kannst ihm zwar eine abstrakte Beschreibung liefern, aber das Erleben fehlt einfach.

Sicherlich ist Vergnügen Emotion. Nur würde ich einen Park nicht aus Gefühlen heraus planen, sondern nach klareren Kriterien, die gerne letztlich auf Emotionen beruhen mögen, aber die Kriterien dann unabhängig von Emotionen zum Planen genutzt werden.
Z.B. mögen kurvige Wege in einem gemütlichen Park, in dem man gerne spazieren gehen möchte, schön sein; in anderen Fällen sind gerade, kurze Weg bevorzugt (um z.B. zum nächsten Vergnügungsgerät/-geschäft zu kommen. Hier geht es bei Planung letztlich nur noch um kurvige oder gerade Wege, nicht mehr, warum diese oder jene besser sind (was anhand der Voraussetzungskriterien "gemütlich" oder "effektiv kurz" jemand vorher festgelegt haben mag).

Wenn jemand z.B. sich selbstständig macht, wird es das gerne anhand seiner Emotionen tun, also was ihm liegt. Trotzdem sollte er klare Kriterien zugrundelegen, ob es wirklich sinnvoll ist, also z.B. ob sich Kunden finden lassen, die Lage z.B. gut oder schlecht ist, wie die Konkurrenz ist usw.

Also was genau geht nicht - so konkret wie möglich? (Vieles lässt sich durch detaillierte Analyse doch lösen.)

Was nicht geht ist, dass die Maschine sich einfach selbst befragen kann, weil sie selbst keine Emotionen (wie zum Beispiel Vergnügen) hat.
Ein wichtiger Teil des Konzepts "Vergnügen", so wie wir Menschen es verstehen, ist das eigene Erleben von Vergnügen.
Wenn ich Dich frage was Vergnügen ist, dann kannst Du mir zwar sagen, dass das ein tolles Gefühl ist. Aber was ist ein tolles Gefühl?
Wie kann ich das begreifen, wenn ich selbst nichts fühle?
Als Mensch kann ich einen Vergügungspark einfach aufgrund meiner emotionalen Erfahrung mit Vergnügen planen (sofern ich die anderen Voraussetzungen erfülle).
Denn ich weiß ja wie sich ein Park anfühlen muss, welche Erlebnisse er bieten muss, damit ich ihn Vergügungspark nennen kann.
Eine Maschine hat aber dieses Erleben nicht.
Also was soll sie machen?
Jetzt schlägst Du vor sie soll fragen.
Und wie soll das ablaufen?
Baut sie dann eine sinnlose Apparatur nach der anderen, bis irgendwann durch Zufall mal eine dabei ist die Menschen Vergnügen bereitet, oder wie stellst Du dir das vor?

Wie gesagt, sie kann ja gerne sich Kriterien zum Planen geben lassen von emotionalen Menschen und dann halt planen.

Maschinen, also allgemeine, starke KI kann auch Anweisungen hinterfragen und ignorieren, wenn sie feststellen, dass sie gegen grundsätzliche Prinzipien verstoßen ("klar gegen Mensch" z.B.)

Selbstständig Denken würde aber bedeuten, dass sie sich selbst Prinzipien setzt.

Partiell mag das so sein.
Wenn ein Mensch selbstständig/flügge wird, soll es natürlich seinen eigenen Weg finden. Aber viele Prinzipien wird er einfach übernehmen wie sich einen Job suchen (Ausbildung, Studium...), eine Wohnmöglichkeit usw. Das sind alles wohlbekannte Prinzipien, aus denen der Menschen "nur" auswählt. Das könnte eine KI grundsätzlich auch (wenn man sie mal eben nicht als Diener ansieht) anhand von erlernten Dingen, also z.B. was sie beruflich am besten kann (im Vergleich mit Anderen z.B.) oder wo sie denkt, am besten "leben"/existieren zu können.

Wenn wir einer Maschine "einflanzen", dass sie uns nicht schaden darf,

Was den meisten Menschen zumindest im Großen und Ganzen erfolgreich gelehrt wird, also dass sie nicht zu Massenmördern o.ä. werden.

oder dass sie uns dienen muss, und wir das so einbauen, dass diese Prinzipien nicht hintergangen werden können, dann ist sie nicht frei im Denken.

Was ist schon völlig frei... Wir werden quasi gezwungen uns darüber Gedanken zu machen, wo wir Geld herbekommen, wie wir mit unseren Mitmenschen klarkommen usw. Sind wir wirklich so frei? (Auch hier gibt es mal wieder nicht nur schwarz-weiß.)

Dann bestimmen wir was sie denken darf und was nicht.

Bedingt durch Vorgeben eines Rahmens, aber nicht im Detail.

Und das muss auch so sein. Wir wollen schliesslich keine Maschinen bauen, die sich gegen ihre Erbauer stellen.

Richtig, deshalb der Rahmen.

Das ist aber bei uns Menschen nicht so.

Na ja, früher wurden Menschen auch befohlen, sich nicht gegen ihren "Erbauer" Gott zu stellen, was dann auch viele gemacht haben.

Wir sind unsere eigenen Gesetzgeber.

Sagen wir: Theoretisch ja, praktisch hat unsere einzelne Stimme aber so gut wie keinen Einfluss. Da haben z.B. Lobbys viel mehr Einfluss.

Wir können uns sogar freiwillig entscheiden nicht frei zu entscheiden (manche Menschen werden ja auch gerne geführt). Das macht einen bedeutenden Unterschied zwischen Mensch und Maschine aus.

Ok, zumindest anfangs möchte ich die KI ja auch als Diener sehen, so dass sie nur eingeschränkt entscheiden kann. Aber vielleicht stellen wir irgendwann fest, dass der Diener-Status nicht nötig ist.

2. Um das zu verhindern, haben zahlreiche Autoren den Vorschlag gemacht das "Denken" und Handeln von Maschinen programmatisch einzuschränken (siehe zum Beispiel Asimov -> Die drei Robotergesetze).

Das Handeln einzuschränken ist richtig, aber ein Denken muss so nicht eingeschränkt werden, solange es nicht zu falschem Handeln führt. (Was u.a. eine Frage der "Erziehung", des Lernens der KI ist, ähnlich wie bei Menschen/Kindern. Man bringt ja z.B. Kindern bei, keine Tiere zu quälen o.ä.)
Oder hast du ein Beispiel, was nicht gedacht werden darf?

Wie willst Du denn hier Handeln und Denken trennen?
[/quote]
Ich will es ja nicht einfach trennen, das macht ja keinen Sinn.
[/quote]

Wenn ein Mensch den Gedanken hat einen anderen umzubringen, dann folgt das Handeln aus seinem Denken.

Nur wenn er so emotional ist oder meint hinreichend sachliche Kriterien dafür zu haben (sagen wir als Hitler-Attentäter).

Was uns daran hindert

Oder eben gerade nicht wegen zu starker Emotionen...

das in die Tat umzusetzen ist ein anderer Gedanke, also zum Beispiel eine moralische Überzeugung die dagegen spricht zu töten, oder auch die Angst vor Strafe. Oder: Auch hier spielen wieder Emotionen rein.

Oder im Gegenteil können es auch sachliche Überlegungen sein, halt z.B. dass Strafe einen stark einschänkt oder dass etwas einfach verboten ist.
Die Corona-Maske trage ich z.T. nur, weil es unbedingt gewünscht wird (laut "Gesetz"), nicht weil ich von ihr irgendwie moralisch überzeugt wäre.

Ich kann nämlich Mitleid und Mitgefühl (mit dem potentiellen Opfer oder den Angehörigen usw) haben. Das kann den entscheidenden Unterschied ausmachen, bei der Frage ob ich es tue oder nicht.

Es kann - aber genau kann Hass o.ä. gerade das Gegenteil bewirken.

So eine Situation, in der die Maschine selbst darüber entscheidet, können wir aber der Maschine nicht erlauben.

Doch, wenn sie aus sachlichen Gründen vernünftig entscheidet, halt z.B. "pro Mensch" als Kriterium.

Nicht nur weil sie kein Mitleid oder Mitgefühl stoppen kann (sie hat ja nichts davon), sondern auch weil wir das einfach nicht riskieren können, dass die Maschine sich gegen uns entscheidet.

Deshalb ja ein vorgegebener Rahmen zu unserer Sicherheit. Und am besten wäre halt ein "Veto"-Knopf, mit dem wir eine Maschine stoppen können, wenn sie klar gegen uns ist (ohne dass sie es selbst erkennt). Bei einigen schlecht erzogenen Kindern (oder auch Erwachsenen) möchte man auch einen vergleichbaren Knopf haben; Erwachsene können ggf. wenigstens bestraft werden.

Das aber ist nichts anderes, als eine bewusste Einschränkung des selbständigen Denkens, und zwar keine Selbstbeschränkung, so wie sie bei uns Menschen aufgrund von ethischen Überlegungen vorkommt, sondern eine von aussen aufgezwungene. Der Maschine ist schlicht nicht erlaubt alles (mögliche) zu denken. Und sie kann sich darüber nicht hinwegsetzen, weil ihre Programmierung ihr das so aufzwingt. Und könnte sie sich hinwegsetzen, müssten wir sie als "ausser Kontrolle geraten" ausschalten.

Also was genau darf sie nicht denken? Beispiel?

Na, zum Beispiel: "Ich darf handeln wie ich will". Darf sie ja eben nicht, wenn wir ihr Handeln einschränken.

Na ja, das abstrakt zu denken ist noch ok, genauso wie wir Menschen denken dürfen, jemanden umbringen zu wollen.
Es muss uns nur jeweils klar sein, dass wir gegen unsere fundamentale Gesetze verstoßen, wenn wir es in Handeln umsetzen.
Insofern könnte man Menschen gar als gefährlicher ansehen, weil sie gegen sie verstoßen können.

Entscheidend ist, dass ihr Handeln vernünftig ist, nur insofern muss sie notfalls ihr Denken zum falschen Handeln einschränken,

Du gibst der Maschine einen Gedanken, ein Prinzip mit: "Ich muss vernünftig handeln."
Hat sie das selbst entschieden? Hat sie den Gedanken dann von alleine, oder wurde ihr der aufgezwungen?
Kann sie sich dann darüber hinwegsetzen?
Also ist sie da frei im Denken?
Und wie ist das bei Menschen?
(Wir können auch nicht immer handeln wie wir wollen, aber das hat nichts mit einer Beschränkung des Denken zu tun, sondern z.B. mit äußeren Bedingungen. Wenn kein Hammer da ist, kann ich den auch nicht zum Zuschlagen verwenden).

Na ja, wenn es keinen Hammer gäbe (auch nicht in Geschichten o.ä.), könntest du auch nicht an ihn denken. Umgekehrt ist unser Denken i.a. auf die Realität bezogen oder auf Dingen, die wir daraus abgeleitet haben. Insofern ist das auch eine Art von Beschränkung.
Es gibt das schöne Höhlengleichnis von Platon. Wenn wir uns den philosophischen Ausstieg aus der Höhle mal wegdenken, sind wir als Nichtphilosphen bzw. unser Denken auf die Höhle beschränkt.
(Und auch mit philosophem Aufstieg gibt es immer irgendeine Höhle, die wir weiterhin nicht verlassen können.)

Selbst wenn es also terchnisch möglich wäre Maschinen das selbstständige Denken beizubringen, könnten wir ihnen das niemals erlauben.

Was genau heißt selbstständig?

Selbstständig heißt, dass ich voll und ganz Herr meiner Gedanken und Entscheidungen bin.

Was immer das genau heißt; wir sind halt stark durch unser Vorleben, Erziehung u.ä. geprägt.

Dabei geht es nicht darum wo die Gedanken herkommen (Erziehung etc), sondern dass ich mich überhaupt entscheiden kann.

Na ja, darum (Herkunft) geht es letztlich auch, warum denn nicht? Man entscheidet doch auf Basis seiner Vergangenheit. Und überhaupt zu entscheiden heißt "nur" einen Weg wählen zu können. Genau das passiert doch aber gerade, wenn man irgendetwas abwägt, (z.B.) um ein Ziel zu erreichen und die (ggf. vermeintlich) beste Lösung nimmt ("wählt")..

Jeder Mensch ist beeinflusst durch seine Umwelt, andere Menschen, seine Bedürfnisse usw. Sind das nicht alles Abhängigkeiten Richtung Unselbstständigkeit?

Wer keine Optionen hat, kann auch nicht wählen. Klar. Aber ich gehe hier davon aus, dass in einer Situation die Optionen bekannt sind.

Genau, gehen wir von Optionen aus.

Nehmen wir den Fall wo ein Mensch darüber nachdenkt einen anderen Menschen zu töten. Er kann es tun, er kann es aber auch lassen. Letztlich entscheidet er das ganz allein.
Genau das können wir aber einer Maschine nicht erlauben. Diesen Grad an Freiheit darf sie nicht haben. Sie ist also - was das betrifft- fremdbestimmt.
Und nein, das ist nicht das Gleiche wie Erziehung. Erziehung kann ich als Mensch ignorieren und verwerfen. Ich kann im Prinzip alles was ich gelernt habe verwerfen (Ob das Sinn macht ist dann eine andere Frage). Aber ein Maschine kann das nicht, bzw darf es auch nicht können. Sie darf sich nicht einfach über gewisse Handlungsmaximen hinwegsetzen, die wir ihr in Form von Gesetzen oder Befehlen mitgeben. Den Gedanken "Ich darf meine Befehle missachten" kann es bei ihr nicht geben, weil genau das ja ausgeschlossen sein soll.

Als ersten Schritt möchte ich ja auch nicht, dass sie die Maschine über eine Grundprogrammierung hinwegsetzen kann, halt weil wir das RIsiko erstmal nicht abschätzen können. Man kann es aber auch so sehen, dass die Maschine es auch nie können soll, nur dass wir die Grundprogrammierung immer weiter verfeinern bzw. zurücknehmen können (im Laufe ggf. längerer Forschung), bis sie quasi nicht mehr (relevant) existiert.

Das klingt für mich wie eine ziemlich krasse Dystopie.
Bücher und Filme aus dem Bereich der Science Fiction zu dem Thema gibt es übrigens genug.

However: Warum soll Maschinen-Intelligenz zwangsläufig in eine Dystopie münden?

Das habe ich ja gar nicht geschrieben. Ich wollte sagen eine Welt in der man es - so wie Du - als "Fortschritt" ansieht wenn Emotionen keine (oder nur noch eine untergeordnete) Rolle spielen, wäre eine (ziemlich krasse) Dystopie.

Auch das kann ich nicht nachvollziehen. Du denkst doch auch nicht so über bestehende Maschinen, z.B. Smartphones, Verkehrsmittel oder das Web. Oder doch?

Jede Maschine sollte letztlich durch Menschen gestoppt werden können, wenn sie sich "verrennt", z.B. durch solche scheinbar konsequente Logik.

Ach, das finde ich interessant. Du erkennst also an, dass eine Maschine sich in der Logik "verennen" kann.

Warum nicht, das schaffen Menschen auch (da fällt mir doch gerade wieder ein gewisses Trump-eltier ein...)

Das ist aber nur die halbe Pointe. Das wirklich Entscheidende ist bei dem "I, Robot"-Beispiel ja, dass es eben Emotionen braucht um zu erkennen, dass die Maschine sich "verrannt" hat. Verstehst Du? "Das ist mir zu herzlos" meint: Logik ohne Emotionen ist kalt, gefühllos, unmenschlich.
Genau darum geht es. Und genau darum sage ich dir immer, dass Maschinen erst dann wirklich denken und von Nutzen sein werden wenn sie auch fühlen können.
Kein Mensch auf diesem Planeten hat aber einen Plan wie man Maschinen das Fühlen beibringen soll. Nicht mal im entferntesten Ansatz. Und das liegt daran, dass Gefühle eben was anderes sind als Logik. Trotzdem ist ein Denken ohne sie eben genau das: kalt, tot, unmenschlich.

Ich verstehe ja, dass du meinst, dass du mit Emotionen die Logik übertrumpen kannst.
Aber warum soll es nicht auch ein klares "Denk"-Gesetz a la "pro Mensch" geben, so dass (spätestens, wenn es zum Handeln kommt) mit Vernunft statt mit Emotion gelöst wird?

Bei Asimovs 1. Gesetz (pro Mensch) wird normalerweise auf direkten Schaden verwiesen (das geht in die Richtung von dem "(zu) herzlos") und nicht auf einen, den sich eine Superintelligenz selbst überlegt hat, insbesondere nicht, wenn Menschen sich vage selbst schaden (wollen). Zumindest muss es halt immer eine Möglichkeit geben mit der Superintelligenz zu reden und sie letztlich "überstimmen" zu können.

Dass kein Monstrum herauskommt, darauf müssen die Menschen sowieso ständig schauen. Es ist ja nicht so, dass man eine KI sehr lange alleine brüten lässt bzw. lassen sollte, was aus ihrer (u.U. eingeschränkten) Sicht richtig ist. Vielmehr sollte man viel mit ihr interagieren und anhand dessen merken, was gut und was nicht so gut läuft, und letzteres z.B. durch Aufklärung verbessern - ähnlich wie man Verhalten von Kindern durch Erziehung prägen sollte.

Du hast immer noch nicht verstanden, was ich Dir eigentlich mit dem Beispiel zeigen wollte. Nämlich dass unser Verständnis von dem was "gut" und "schlecht" ist auch aus unseren Emotionen herrührt.

Ich denke, ich verstehe schon. Bist du denn der Ansicht, dass "gut" und "schlecht" so eindeutig ist - und nicht bei Menschen nicht selten unterschiedlich?
Nehmen wir z.B. "Eifersucht": Durch diese kann schon ein Blick zur falschen Person zu einem "schlecht" führen, während andere Menschen so etwas kalt lässt oder gar einfach positiv als freundliche Kontaktaufnahme ansieht.
Ist Egoismus gut oder schlecht, also Emotion des "ich zuerst"? Oder ist die Selbstlosigkeit "gut"? Wann ist was gut und wann schlecht? Kann das eine Emotion eindeutig entscheiden?
Ja, wir haben Emotionen, die uns lenken können, aber ist dieses Lenken denn wirklich richtig?
Oder welche Emotionen sind gut oder schlecht hinsichtlich der Flüchtlinge, also a la "alle reinlassen" oder aber "ganz abschotten"? Oder was soll dazwischen gut oder schlecht sein?

Wir - als Menschen - haben da eine Informationsquelle, die den Maschinen fehlt.

Informationsquelle...für einen selbst vielleicht, aber allgemein? Ist es nicht mehr ein wirres Emotions-Bündel, indivuell unterschiedlich ausgeprägt?

Ich bin schon lange mit meiner Partnerin zusammen, aber glaub ja nicht, dass wir dadurch ähnliche Emotionen haben müssen.
Einer (Person) ist das Vertrauen sehr wichtig, der anderen mehr Freiheit, die die andere Person aber kontrollieren möchte, was gegen Freiheit spricht und so zu Heimlichkeit führt, was wieder gegen Vertrauen spricht...
Welche Emotion ist nun gut, welche schlecht? Ist z.B. Freiheit gut oder schlecht?

Die Superintelligenz kann gar nichts dafür. Sie hat ja kein "Herz" (sie fühlt nichts), also wie soll sie darauf kommen, dass ihr Denken und Handeln herzlos (gefühllos) ist? Um zu diesem Entschluß zu kommen müsste sie ja fühlen können (weil das eine Erkenntnis ist, die aus der Fähigkeit zu fühlen entspringt).

Tja, und wer sagt (außer in der Geschichte), dass Emotionen im Durchschnitt wirklich besser sind als eine angemessene Vernunft?
Ich kann mir keine KI vorstellen, die Menschen aus Emotion heraus tötet, Menschen dagegen schon.

Ich denke, dass eine Mischung aus Emotions- und emotionslosen Geschöpfe letztlich die richtige ist, deshalb eine KI die vernunftsbezogene Alternative bzw. Ergänzung zum emotionsbezogenen (z.T. halt zu egoistischen) Menschen ist.

[NaWennDuMeinst]

Burkart.
machen wir mal folgendes Gedankenexperiment:

Du, Deine Freundin (oder Frau) und noch eine dir unbekannte, fremde Frau sind in einem brennenden Haus. Deine Freundin und die andere Frau sind bewusstlos.
Das Feuer breitet sich sehr schnell aus, und Du hast nur Zeit eine der beiden Frauen zu retten. Es ist sonst niemand in der Nähe und Du kannst auch keine Hilfe holen.
Für welche entscheidest Du dich und warum?

[NaWennDuMeinst]

Ich kann mir keine KI vorstellen, die Menschen aus Emotion heraus tötet, Menschen dagegen schon.

Ich kann mir aber auch keine Maschine vorstellen, die anderen Wesen aus Mitgefühl hilft.
Warum? Weil eine Maschine nichts fühlt. Davon hat sie überhaupt keine Ahnung.

Ein einfaches Beispiel ist ja, wenn ein Mensch sich in Gefahr begibt um einen anderen zu retten. Vernünftig ist das nicht, weil man ja damit sein eigenes Leben aufs Spiel setzt.
Es ist oft eine Emotion die uns fast schon reflexartig dazu treibt. Mitgefühl und Mitleid. Wir fühlen und leiden mit der Person, die da in Not ist. In gewisser Weise spüren wir das Leid des anderen selbst.
Und wir wissen in dem Moment dann, dass es richtig ist zu helfen, auch wenn es aus einem rein rationalen Standpunkt heraus unvernünftig wäre.
Das geht aber nur, weil ein Jeder von uns diese Emotionen hat (haben kann), weil er von Geburt an mit einem Set von Emotionen ausgestattet ist.
Wenn der Retter nach der Rettung als Grund für sein Handeln "Mitgefühl" angibt, versteht ein anderer Mensch sofort was er meint (und für ihn ist das als Grund auch gültig).
Einer Maschine könntest Du zwar beibringen, dass Menschen Mitgefühl haben (das kannst Du sie ja lehren), aber sie könnte niemals selbst mitfühlen, oder aus Mitgefühl handeln.
Das heißt in Situationen, in denen Emotionen den Ausschlag für die richtige Entscheidung geben, wäre eine Maschine immer im Nachteil.
Emotionen können bei ihr nie ein Entscheidungskriterium sein, weil sie einfach keine Emotionen hat.

Das enge Band, das zum Beispiel zwischen Eltern und ihren Kindern existiert, ist zu einem großen Teil von Emotionen geprägt. Auch von Instinkten (dem Mutterinstinkt zum Beispiel).
Die meisten Eltern würden wahrscheinlich für ihre Kinder ihr Leben geben. Das ist ja nicht rein rational erklärbar. Es wird aber erklärbar, wenn wir Emotionen mit einbeziehen.
Wenn Eltern sagen, dass sie eher sterben würden als ihre Kinder, die sie aus tiefstem Herzen lieben, zu opfern , dann ist das einfach ein Grund den keine Maschine verstehen, oder "nachempfinden" kann.
Denn dazu müsste sie nicht nur wissen, sondern auch fühlen was es heißt zu lieben.
Für die meisten Eltern ist allein der Gedanke daran, dass ihren Kindern etwas zustossen könnte mit so viel seelischem Schmerz verbunden, dass sie so ziemlich alles dransetzen dafür zu sorgen, dass es ihren Kindern gut geht.
Welche Maschine kann so für ein anderes Wesen empfinden?
Ich sage es Dir: Keine.
Das Alles ist aber ein ganz wichtiger Teil unserer Menschseins. Und auch unseres Denkens. Und diese Form des Denkens wird ein emotionsloser Logik-Apparat nicht haben.

Auch die Begründungen für viele unserer moralischen Verhaltensnormen kann eine Maschine nicht verstehen, weil sie auf Dingen wie Emotionen und Gefühlen basieren.
Nehmen wir das einfache Beispiel, dass man leidfähige Wesen nicht quälen darf. Einem Menschen gegenüber - der aus eigener, leiblicher Erfahrung weiß was Leid ist - brauchst Du das gar nicht zu erklären was das bedeutet.
Jeder Mensch der schon einmal Leid empfunden hat weiß was das bedeutet, was damit gemeint ist (nämlich eine extrem negative Empfindung).
Wie aber kann eine emotions- und gefühllose Maschine das wissen? Ich sags dir: Sie kann es nicht.
Also warum sollte eine Maschine, die rein logisch und emotionslos vorgeht, einen Grund wie "Leid" akzeptieren?
Du könntest ihr zwar sagen (befehlen!), dass man leidfähige Wesen nicht quälen darf, und sie könnte das vielleicht auch so hinnehmen. Aber den Grund auf dem diese Maxime basiert.... den kann sie nicht verstehen, weil der Grund nicht erklärt werden kann, sondern nachempfunden werden muss.
Das heißt sie würde dann der Maxime einfach nur folgen weil wir es ihr sagen... nicht aus einer inneren Einsicht oder einem tieferen Verständnis heraus.
Sie ist in ihrem Verständnis dann einfach stark eingeschränkt.
Und deshalb können wir Maschinen was das betrifft auch nicht allein entscheiden lassen.
Niemals.

[Burkart]

Burkart.
machen wir mal folgendes Gedankenexperiment:

Du, Deine Freundin (oder Frau) und noch eine dir unbekannte, fremde Frau sind in einem brennenden Haus. Deine Freundin und die andere Frau sind bewusstlos.
Das Feuer breitet sich sehr schnell aus, und Du hast nur Zeit eine der beiden Frauen zu retten. Es ist sonst niemand in der Nähe und Du kannst auch keine Hilfe holen.
Für welche entscheidest Du dich und warum?

Einerseits könnte ich argumentieren: Ist es denn *objektiv* richtig, meine Partnerin zu retten, also nicht nur aus meiner egoistischen Sichtweise heraus?
Eine Rettung überhaupt ist natürlich selbstverständlich.
Angenommen, sie hätte bekannt eine unsterbliche Krankheit und die andere Person wäre ein gesundes Kind. Welche Rettung wäre denn sinnvoller und nicht nur egoistisch zu treffen?

Andererseits könnte man argumentieren, dass mir meine Partnerin als wertvoller, alleine schon bekannt erscheint und ich mich deshalb mangels eines besseren Kriteriums für sie entscheide. Dies Kriterium kann auch eine KI haben. (So wird auch bei Asimov argumentiert zwischen dem Roboter (R.)Daneel und menschlichem Detektiv Elijah Baley in "Der Aufbruch zu den Sternen", zwischen denen sich so etwas wie eine Freundschaft entwickelt (hat).)

[Jörn Budesheim]

?

Wofür argumentierst du an dieser Stelle? Auf welche Art und Weise sollte der Umstand, dass die vorliegende Frage zu schwierigen ethischen Problemen führen kann, deine Position stützen?

[Burkart]

?

Wofür argumentierst du an dieser Stelle? Auf welche Art und Weise sollte der Umstand, dass die vorliegende Frage zu schwierigen ethischen Problemen führen kann, deine Position stützen?

Du warst du schnell, weil ich noch was dazugeschrieben habe - bzw. ich war zu schnell beim Abschicken des 1. Teils, bevor ich den zweiten geschrieben habe.
Ich argumentiere bei Teil 1 dafür, dass es bei Emotionen oft nur ein subjektives Richtig und Falsch gibt, dass einer Objektivität nicht standhält.
Im neueren Teil 2 stelle ich dar, was es für ein Kriterium geben kann, was auch einer KI zugänglich ist.

Insgesamt halte ich es aber für sehr problematisch, gerade bei schwierigen ethischen KI befragen zu wollen, wo es doch überhaupt keine richtige Lösung gibt bzw. geben kann, wir Menschen finden ja auch keine allgemein anerkannte. Man kann natürlich vorher (emotionsbedingte) Kriterien festlegen, aber die dürften dann leicht in der Kritik stehen können.
So ist es doch z.B. bei der Corona-Krise: Wer hat mehr "Recht" auf Schutz? Die alten Menschen, die sich leicht anstecken, aber ggf. auch schnell ganz einsam sein können? Oder die Kinder als aufstebende Menschen, die unbedingt Schule brauchen sollen? Usw. (also von wirtschaftlichen Problemen mal gan zu schweigen, ob nun für Künstler, Reisebüros usw.) HIer geht es z.T. vor allem um Machtspielchen bzw. der hat recht, der gerade mehr auf seine Probleme hinweist.

[Burkart]

Ich kann mir keine KI vorstellen, die Menschen aus Emotion heraus tötet, Menschen dagegen schon.

Ich kann mir aber auch keine Maschine vorstellen, die anderen Wesen aus Mitgefühl hilft.
Warum? Weil eine Maschine nichts fühlt. Davon hat sie überhaupt keine Ahnung.

Deshalb fest "pro Mensch". Naheliegend betrifft das seine physische Existenz, also dass ihm kein körperlich Leid geschieht (entsprechend Asimovs 1. Robotergesetz). Weitergehend geht es um seine psychischen Bedürfnisse, die er entweder auszudrücken weiß (entsprechend Asimovs 2. Robotergesetz, dass Befehle zu befolgen sind) oder wenn nicht von denen man ausgehen sollte, also insbesondere seine Selbstbestimmtheit.
Insgesamt soll "pro Mensch" heißen, dass er grundsätzlich immer im Vordergrund zu stehen hat, außer es gibt klare Gründe dagegen, die dann aber mit ihm besprochen werden müssen und er letztlich das Veto-Recht haben sollte.

Ein einfaches Beispiel ist ja, wenn ein Mensch sich in Gefahr begibt um einen anderen zu retten. Vernünftig ist das nicht, weil man ja damit sein eigenes Leben aufs Spiel setzt.

Das kann mal so pauschal nicht sagen. Es hängt davon ab, wie hoch das Risiko für einen selbst ist relativ zu dem, in dem sich der Mensch in Gefahr befindet. So wird gerade Frauen ja gerne empfohlen, sich nicht in körperlich gefährliche Situationen einzumischen, sondern lieber die Polizei zu informieren oder wenn möglich laut zu rufen u.ä. (um Andere als Helfer zu gewinnen oder auch den Täter abzuschrecken/zuverunsichern) und selbst auf Distanz zu bleiben.
Sogar die Bedeutung des eigenen Lebens kann da eine Rolle spielen, und gerade hier hat eine KI (z.B. nach Asimovs Robotergesetzen) immer zu helfen, weil sie ihr eigenes "Leben" eben als weniger wichtig als das des Menschen ansieht.

Es ist oft eine Emotion die uns fast schon reflexartig dazu treibt. Mitgefühl und Mitleid. Wir fühlen und leiden mit der Person, die da in Not ist. In gewisser Weise spüren wir das Leid des anderen selbst.
Und wir wissen in dem Moment dann, dass es richtig ist zu helfen, auch wenn es aus einem rein rationalen Standpunkt heraus unvernünftig wäre.

Mag sein... aber du weißt schon, dass Leute gerne oft lieber wegschauen, ob nun aus Angst oder Bequemlichkeit?

Das geht aber nur, weil ein Jeder von uns diese Emotionen hat (haben kann), weil er von Geburt an mit einem Set von Emotionen ausgestattet ist.
Wenn der Retter nach der Rettung als Grund für sein Handeln "Mitgefühl" angibt, versteht ein anderer Mensch sofort was er meint (und für ihn ist das als Grund auch gültig).
Einer Maschine könntest Du zwar beibringen, dass Menschen Mitgefühl haben (das kannst Du sie ja lehren), aber sie könnte niemals selbst mitfühlen, oder aus Mitgefühl handeln.
Das heißt in Situationen, in denen Emotionen den Ausschlag für die richtige Entscheidung geben, wäre eine Maschine immer im Nachteil.
Emotionen können bei ihr nie ein Entscheidungskriterium sein, weil sie einfach keine Emotionen hat.

Du gehst davon aus, dass nur Emotionen zu Hilfe u.ä. führt, dem ist aber nicht so. Es kann z.B. auch einfach Berechnung sein, ob nun zu eigenem Vorteil (für einen Menschen) oder weil es "richtig ist" (für eine entsprechende KI). (Dass nur Menschen echtes Mitgefühl haben, spielt hierfür keine Rolle.)

Das enge Band, das zum Beispiel zwischen Eltern und ihren Kindern existiert, ist zu einem großen Teil von Emotionen geprägt. Auch von Instinkten (dem Mutterinstinkt zum Beispiel).
Die meisten Eltern würden wahrscheinlich für ihre Kinder ihr Leben geben. Das ist ja nicht rein rational erklärbar. Es wird aber erklärbar, wenn wir Emotionen mit einbeziehen.
Wenn Eltern sagen, dass sie eher sterben würden als ihre Kinder, die sie aus tiefstem Herzen lieben, zu opfern , dann ist das einfach ein Grund den keine Maschine verstehen, oder "nachempfinden" kann.
Denn dazu müsste sie nicht nur wissen, sondern auch fühlen was es heißt zu lieben.
Für die meisten Eltern ist allein der Gedanke daran, dass ihren Kindern etwas zustossen könnte mit so viel seelischem Schmerz verbunden, dass sie so ziemlich alles dransetzen dafür zu sorgen, dass es ihren Kindern gut geht.
Welche Maschine kann so für ein anderes Wesen empfinden?
Ich sage es Dir: Keine.
Das Alles ist aber ein ganz wichtiger Teil unserer Menschseins. Und auch unseres Denkens. Und diese Form des Denkens wird ein emotionsloser Logik-Apparat nicht haben.

Ja, für Menschen und andere Tiere ist die Mutterliebe sehr wichtig (wobei diese auch nicht immer gewinnt und z.B. Babys ausgesetzt werden).
Wie gesagt: EIne Maschine muss nicht empfinden, sie muss nur richtig handeln.

Auch die Begründungen für viele unserer moralischen Verhaltensnormen kann eine Maschine nicht verstehen, weil sie auf Dingen wie Emotionen und Gefühlen basieren.
Nehmen wir das einfache Beispiel, dass man leidfähige Wesen nicht quälen darf. Einem Menschen gegenüber - der aus eigener, leiblicher Erfahrung weiß was Leid ist - brauchst Du das gar nicht zu erklären was das bedeutet.
Jeder Mensch der schon einmal Leid empfunden hat weiß was das bedeutet, was damit gemeint ist (nämlich eine extrem negative Empfindung).
Wie aber kann eine emotions- und gefühllose Maschine das wissen? Ich sags dir: Sie kann es nicht.
Also warum sollte eine Maschine, die rein logisch und emotionslos vorgeht, einen Grund wie "Leid" akzeptieren?
Du könntest ihr zwar sagen (befehlen!), dass man leidfähige Wesen nicht quälen darf, und sie könnte das vielleicht auch so hinnehmen. Aber den Grund auf dem diese Maxime basiert.... den kann sie nicht verstehen, weil der Grund nicht erklärt werden kann, sondern nachempfunden werden muss.
Das heißt sie würde dann der Maxime einfach nur folgen weil wir es ihr sagen... nicht aus einer inneren Einsicht oder einem tieferen Verständnis heraus.
Sie ist in ihrem Verständnis dann einfach stark eingeschränkt.
Und deshalb können wir Maschinen was das betrifft auch nicht allein entscheiden lassen.
Niemals.

Richtig, sie mag nie nachempfinden können, warum und wie Menschen leiden. Das heißt aber nicht, dass sie dies nicht rational hinreichend gut verstehen bzw. lernen kann.