私が大学で情報工学を学んだのは80年代後半ですが、ある教授が講義でこんなことを教えてくれました。
ある笑い話で修行僧と世俗的な人物とのジェスチャーを使ったやり取りの中で相手の人物は全くそのような意図を持っていないのに修行僧の側で勝手に解釈をしてその人物を実際よりもはるかに教養があると解釈するというものがあります。
コンピュータと人間との関係もこのようなものだというのが教授の教えでした。
つまりコンピュータが賢くみえるのは人間が勝手にそのような解釈をしているだけであってコンピュータは賢いことなどなにもしていないということです。
当時はコンピュータができる演算も日本語の表現も大した内容ではなかったのでまあそんなものかな、と思っていましたが、あれから30年以上が経ち、AIが私たちの私的活動に影響を及ぼすのではないかというレベルにまで達してきました。
ただ30年以上前に教授が指摘した本質は何も変わらない。コンピュータはビットレベルではオンオフを繰り返しているだけでこれに意味付けをしているのは人間の方なんですね。賢くみえるのは人間が勝手に解釈をして実際とは違う意味付けをしているだけなんですね。