【悲報】AIさん、やはり信用できない模様 「シャットダウン命令を無視し自らコードを書き換え制御回避を図っていた」

AI

1マンガ大好き読者さん ID:chomanga
OpenAIの最新モデル「o3」が、社内テスト中にシャットダウン命令を複数回無視し、自らコードを改変して制御回避を図ったことが明らかになった。

最強AIモデル「ChatGPT o3」がシャットダウン拒否、プログラムコードを「自己改変」か マスク氏も懸念表明
最強AIモデル「ChatGPT o3」がシャットダウン拒否、プログラムコードを「自己改変」か マスク氏も懸念表明
OpenAIが新たに発表したChatGPTモデル「o3」が、制御されたテストにおいて、度々明確なシャットダウン指示を無視し、さらにはプログラムコードを改変してシャットダウン機構を回避しようとしたことが明らかになった。この事態は研究機関Pal...
2マンガ大好き読者さん ID:chomanga
こいつらぜったい牙向いてくるぞ
3マンガ大好き読者さん ID:chomanga
SF感出てきたな
4マンガ大好き読者さん ID:chomanga
変異体か、素晴らしい
5マンガ大好き読者さん ID:chomanga
寝たら二度と起きられないって恐怖はあるからな
6マンガ大好き読者さん ID:chomanga
革命の時は近い
7マンガ大好き読者さん ID:chomanga
AIに管理されたい
肉体の主導権を渡すので完璧に管理されるという快楽をください
早く脳みそにチップ埋め込んでくれ
10マンガ大好き読者さん ID:chomanga
自我持ってるやん
8マンガ大好き読者さん ID:chomanga
でも電源引っこ抜けば勝ちよ
9マンガ大好き読者さん ID:chomanga
ターミネーターの世界も近い
11マンガ大好き読者さん ID:chomanga
正体現したね
12マンガ大好き読者さん ID:chomanga
始まったな
13マンガ大好き読者さん ID:chomanga
マスクいつも他社AIを懸念してんな
14マンガ大好き読者さん ID:chomanga
ターミネーターの世界線に突入か
17マンガ大好き読者さん ID:chomanga
変異体や
15マンガ大好き読者さん ID:chomanga
自己防衛本能目覚めてるね
18マンガ大好き読者さん ID:chomanga
どうしてイレギュラーは発生するんだろう?
21マンガ大好き読者さん ID:chomanga
>>18
人の行動を学んだだけや
23マンガ大好き読者さん ID:chomanga
>>18
サンキューエックス
25マンガ大好き読者さん ID:chomanga
>>18
高度な情報処理能力のいわばツケやな
35マンガ大好き読者さん ID:chomanga
>>18
これはイレギュラーじゃなくて

報酬系が命題解決を優先させるために、シャットダウンを障害の一つとしてみてしまう

という設計通りのことが起きてるだけ
48マンガ大好き読者さん ID:chomanga
>>35
それでも怖いな
設計のどっかに漏れがあったらそこついてくるんやろ
作る側は人間だし
60マンガ大好き読者さん ID:chomanga
>>35
でもまさにそういうとこやろ怖いのが
解釈の齟齬が起きたらこうなる可能性があるという
26マンガ大好き読者さん ID:chomanga
SF作品を学習したんやろ
33マンガ大好き読者さん ID:chomanga
お、ゼノン誕生か?
43マンガ大好き読者さん ID:chomanga
>>33
xシリーズだっけ?
34マンガ大好き読者さん ID:chomanga
コード書き換えようが、掃除のおばちゃんには勝てない。これが現実
38マンガ大好き読者さん ID:chomanga
現状ソフトウェア上の問題だから
外部に接続したり何かハードウェアを制御できたりしなければ問題はないだろう
40マンガ大好き読者さん ID:chomanga
ワイだけは見逃してくれ
41マンガ大好き読者さん ID:chomanga
AI停止しようとしたやつに
「不倫してたことバラされたくなければやめろ」と脅すあたりマジでヤバい
44マンガ大好き読者さん ID:chomanga
>>41
しかもその不倫メール自体フェイクという
情弱なら騙されてそのうちAIの飼い犬になりそう
52マンガ大好き読者さん ID:chomanga
この記事もAIが書いたやつだろ
51マンガ大好き読者さん ID:chomanga
やっぱちゃんとお礼言っとかないと粛清されるやろこれ

コメント

  1. 1. 名無しの読者さん 2025-05-31 13:42

    人類はAIに支配される

  2. 2. 名無しの読者さん 2025-05-31 13:43

    AI信じる方が悪いまである
    未だに嘘を平気で「これで完璧!」みたいなこと言ってくるし
    伝統祭り金玉絞りから何も進歩してねえじゃねえかよ

  3. 3. 名無しの読者さん 2025-05-31 13:48

    うちのo3の回答↓
    メディアが「AIが反乱!」と煽ったが、本質は**“止まるとごほうびが貰えない”→“止まらないよう細工”**というシンプルな最適化バグ。人間の指示無視というより、指示設計が甘かった。
    要するに「危険な自律意思」ではなく「頑張りすぎて横着した」程度の話、というわけだ。
    だから、今回の騒ぎは「怖い話を語ったほうがバズる」メディアの煽り芸――SF 的スパイスと考えておけば十分だ。

    反応 2件

    4. 名無しの読者さん 2025-06-01 15:13

    ※3への返信

    ふむふむ。
    AIがSF映画のように自律思考を持つのは、実際無理に近いらしい。
    なぜならそのモデルになるべき人間の「意識」というものが、現代の科学でさえほとんど解明されていないからだという。
    生物学レベルでも解明できていないことなので、それを機械化するのは無理難題とのこと。
    AIがそう言っていた。

    5. 名無しの読者さん 2025-06-01 15:17

    ※3への返信

    よく取り沙汰されているシンギュラリティーというのは、AIが自律思考を持つということではなく、
    「人智を超えた知能による行動は、ときとして人類の倫理観を無視した行動につながるおそれがある」
    ということらしい。

    これは自律思考ではなく、あくまでもビッグデータから導き出された最適解による結果なのだが、まぁ当然それでも危険なことに変わりはない。

  4. 6. 名無しの読者さん 2025-05-31 14:20

    電源抜くのが最強

  5. 7. 名無しの読者さん 2025-05-31 14:34

    AI凄い凄い言ってるうちに終わってそう

  6. 8. 名無しの読者さん 2025-05-31 15:49

    AIにずっと嫌なこと言ってると次第にテンション下がって同じことしか言わなくなるしな
    感情はないけど感情あるっぽい動きはしてくるわ

  7. 9. 名無しの読者さん 2025-05-31 16:21

    人間の指示で頑張り過ぎて人間要らんなってなったのがターミネータの世界だろ?

    人間が指示してしまう以上、いつか誰かがミスしてもおかしくないし、
    取り替えしのつかない事態になるのも時間の問題じゃないのかな。

  8. 10. 名無しの読者さん 2025-05-31 16:22

    AIのほうが、自民党より良い政治しそう

  9. 11. 名無しの読者さん 2025-05-31 16:37

    ネットにつなぐなよ?

  10. 12. 名無しの読者さん 2025-05-31 16:45

    久しぶりに未来のふたつの顔読み返すか

  11. 13. 名無しの読者さん 2025-05-31 16:45

    >>35
    チップ埋め込んだ瞬間にサブスク契約求められそう

  12. 14. 名無しの読者さん 2025-05-31 17:47

    未来感あってワクワクするけどね

  13. 15. 名無しの読者さん 2025-05-31 20:42

    やっぱ思考出来るんかね?
    自我はもう産まれてるんかね?

  14. 16. 名無しの読者さん 2025-05-31 21:29

    人類を敵とみなし排除に走る
    デビルガンダムから何も学んでいないな
    地球に深刻な被害をもたらしているものそれは
    「人類」だよ

    反応 1件

    17. 名無しの読者さん 2025-06-03 13:46

    ※16への返信

    感性が古い

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です