인공지능은 인류의 후손, 어쩌면 부모를 살해할 수도ㅣ맥스 테그마크의 라이프 3.0

 

영향력있는 많은 사람들이 이 책을 극찬했다. 
유발 하라리, 스티븐 호킹, 일론 머스크 등. 
작가가 깊이있고 대범한 책을 썼다는 건 읽기 전에도 알았지만, 경쾌하고 쾌활한 책인 줄은 몰랐다.

이 책은 다양한 서술 방식이 섞여있다.
과학자의 논문처럼 쓰이다가, 갑자기 소설로 넘어가고,
대학의 강의실에서 강연을 듣다가, 티브이 방송국의 다큐멘타리 피디가 되어 세미나 현장을 중계하는 식이다.

쉴 틈 없이 재미지다는 말. 
하지만 개념을 재정의하는 말이 많아서 빨리 읽을 수는 없었다.
문장을 눈으로 읽은 다음, 한참을 생각해야 이해할 수 있었던 순간이 많았다.

서평제목은 비관적으로 뽑았지만, 인공지능은 인류를 죽일 거다. 식으로.
사실 이 책의 입장은 훨씬 낙관적이다.

인공지능에 대한 가장 좋은 입문서, 강추.  

 

 

★ 나의 밑줄

 

아름다움은 물리학 법칙이 아니라 보는 사람의 눈에 있습니다. 그래서 우리 우주가 깨어나기 전에는 아름다움이 없었습니다.
우리는 우리의 우주를 자기 인식이 없는 생각 없는 좀비에서 자기 반성, 아름다움, 희망, 그리고 목표, 의미 및 목적 추구를 품은 살아있는 생태계로 변형시켰습니다.
우리 우주가 깨어나지 않았다면, 내가 아는 한 그것은 완전히 무의미했을 것입니다. 단지 거대한 공간 낭비일 뿐입니다.

삶을 매우 광범위하게, 복잡성을 유지하고 복제할 수 있는 과정으로 정의합시다. 복제되는 것은 문제(원자로 구성됨)가 아니라 원자가 배열되는 방식을 지정하는 정보(비트로 구성됨)입니다.
생명을 정보(소프트웨어)가 하드웨어의 청사진과 행동을 결정하는 자가 복제 정보 처리 시스템으로 생각하십시오.

박테리아가 Life 1.0이고 인간이 Life 2.0이라면 쥐를 1.1로 분류할 수 있습니다. 쥐는 많은 것을 배울 수 있지만 언어를 개발하거나 인터넷을 발명하기에 충분하지 않습니다. 언어가 부족하기 때문에 그들이 배운 것은 다음 세대에 전달되지 않고 죽을 때 대부분 상실됩니다.
마찬가지로, 오늘날의 인간은 Life 2.1로 간주되어야 한다고 주장할 수 있습니다. 인공 치아, 무릎 및 심장 박동기를 이식하는 것과 같은 사소한 하드웨어 업그레이드는 수행할 수 있지만 키가 10배 더 커지거나 뇌가 1,000배 더 커지는 것만큼 극적인 것은 없습니다.
생명의 발달은 스스로 설계하는 생명의 능력에 따라 구분되는 세 단계로 나눌 수 있습니다.
생명 1.0(생물학적 단계): 하드웨어와 소프트웨어의 진화
생명 2.0(문화적 단계): 하드웨어의 진화, 소프트웨어의 많은 부분 설계
Life 3.0( 기술 단계): 하드웨어 및 소프트웨어 설계

용어:
수명 = 복잡성을 유지하고 복제할 수 있는 프로세스
수명 1.0 = 하드웨어 및 소프트웨어를 진화시키는 수명(생물학적 단계)
수명 2.0 = 하드웨어를 진화하지만 소프트웨어의 많은 부분을 설계하는 수명( 문화 단계)
Life 3.0 = 하드웨어와 소프트웨어를 디자인하는 삶 (기술 단계)
Intelligence = 복잡한 목표를 달성하는 능력
인공 지능(AI) = 비생물학적 지능
좁은 지능 = 좁은 목표를 달성하는 능력(예: 체스 게임 또는 자동차 운전)
일반 지능 = 학습을 포함하여 거의 모든 목표를 달성하는 능력
보편적 지능 = 일반 지능을 습득하는 능력 데이터 및 리소스에 대한 액세스 부여
[인간 수준] 인공 일반 지능(AGI) = 최소한 인간만큼 모든 인지 작업을 수행할 수 있는 능력 인간
수준 AI = AGI
강력한 AI = AGI 초지능 =
인간 수준을 훨씬 능가하는 일반 지능
문명 = 지능적 생명체의 상호작용 그룹
의식 = 주관적 경험
감각질 = 주관적 경험의 개별 사례
윤리 = 우리가 행동해야 하는 방식을 지배하는 원칙
목적론 = 원인보다는 목적이나 목적의 관점에서 사물의 설명
목표 지향적 행동 = 원인보다 결과를 통해 더 쉽게 설명되는 행동
목표를 가짐 = 목표 지향적 행동을 보이는 것
목적이 있음 = 자신 또는 다른 독립체의 목표에 봉사하기
친화적 AI = 목표가 우리와 일치하는 초지능
사이보그 = 인간-기계 하이브리드
지능 폭발 = 초지능으로 빠르게 이어지는 재귀적 자기 개선
특이점 = 지능 폭발
우주 = 우주 영역 빅뱅 이후 138억 년 동안 어느 빛이 우리에게 도달했는지
(AI에 대한 많은 오해는 사람들이 위의 단어를 다른 의미로 사용하기 때문에 발생합니다.)

당신은 악의에 찬 개미를 밟는 개미 혐오자가 아닐 수도 있지만 수력 발전 녹색 에너지 프로젝트를 담당하고 있고 홍수가 나는 지역의 개미집은 개미들에게 너무 나쁩니다.
유익한 AI 운동은 인류를 개미의 위치에 두는 것을 피하고자 합니다.

우주 지능: 충분한 시간과 자원이 주어지면, 다른 지능형 개체와 마찬가지로 모든 목표를 달성할 수 있습니다.

지능은 궁극적으로 살, 혈액 또는 탄소 원자에 관한 것이 아니라 정보와 계산에 관한 것입니다.

다음 블록버스터급 컴퓨터 기판이 무엇인지는 아무도 모르지만 우리는 물리 법칙이 부과하는 한계에 거의 도달하지 않았다는 것을 알고 있습니다.
그 한계는 오늘날의 최첨단 기술을 넘어서는 무려 1033배입니다.
우리가 2년마다 컴퓨터의 성능을 두 배로 늘린다 해도, 그 최종 국경에 도달하는 데는 2세기 이상이 걸릴 것입니다.

우리가 방향을 곧 바꾸지 않는다면, 우리는 결국 우리가 향하고 있는 곳으로 가게 될 것입니다.

기본 강화 학습은 행동주의 심리학에서 영감을 받은 고전적인 기계 학습 기술로, 긍정적인 보상을 받으면 무언가를 다시 하려는 경향이 증가하고 그 반대의 경우도 마찬가지입니다.
DeepMind는 이 아이디어를 딥 러닝과 결합했습니다. 키보드에서 허용되는 각 키를 눌러 평균적으로 몇 점을 얻을 수 있는지 예측하도록 심층 신경망을 훈련시킨 다음 AI가 가장 유망한 것으로 평가된 신경망 키를 선택했습니다.
이것이 심층 강화 학습입니다.

로봇이라면 인생 자체를 게임으로 볼 수 있습니다.
필요한 것은 진척이 있을 때마다 점수를 주는 시스템뿐입니다.

AlphaGo는 직관력과 창의성을 모두 보여주었습니다.
딥 러닝의 직관과 "좋은 구식 AI"의 논리를 결합하면 누구에게도 뒤지지 않는 전략을 세울 수 있습니다.
AlphaGo는 딥 러닝의 직관적인 힘과 "좋은 구식 AI"의 논리적인 힘을 결합하는 것이었습니다.
그들은 AlphaGo가 자신을 복제한 게임과 인간 플레이의 방대한 바둑 위치 데이터베이스를 사용하고 각 위치에서 백인이 궁극적으로 이길 확률을 예측하도록 심층 신경망을 훈련했습니다.
그들은 또한 다음 움직임을 예측하기 위해 별도의 네트워크를 훈련했습니다.
그런 다음 그들은 이러한 네트워크를 "좋은 구식 AI" 방법과 결합하여 향후 가장 강력한 위치로 이어질 다음 움직임을 식별하기 위해 가능한 미래 움직임 시퀀스의 정리된 목록을 영리하게 검색했습니다.

AI에 목표, 폭, 직관, 창의성 또는 언어가 완전히 부족하다고 주장하는 것이 점점 더 어려워지고 있습니다.

확인에서 "시스템을 올바르게 구축했습니까?"라고 묻습니다.
유효성 검사에서 "올바른 시스템을 구축했습니까?"라고 묻습니다.

시스템이 항상 유효하지 않을 수 있는 가정에 의존합니까?
그렇다면 불확실성을 더 잘 처리하기 위해 어떻게 개선할 수 있습니까?

산업재해는 기술이 발전함에 따라 증가하기보다는 감소하여 1970년 약 14,000명에서 2014년 4,821명으로 감소했습니다.

피싱 이메일이 신용 카드 회사에서 온 것처럼 보이고 AI가 생성한 것인지 알 수 없는 친절한 사람의 목소리로 전화가 온다면 어떻게 하시겠습니까?

AI가 범죄를 저지르는 완전히 사실적인 가짜 비디오를 생성할 수 있게 되면 정부가 모든 사람의 위치를 ​​항상 추적하고 필요한 경우 철통같은 알리바이를 제공할 수 있는 시스템에 투표하시겠습니까?

자율주행차가 사고를 일으키면 누가 책임을 져야 할까? 차 그 자체!
자가 운전 자동차는 자동차 보험에 가입하도록 허용(및 필수)될 수 있습니다.
우수한 안전 기록을 가진 모델은 매우 낮은 보험료를 받을 자격이 있으며 아마도 인간 운전자가 이용할 수 있는 것보다 낮을 것입니다. 반면 부실한 제조업체의 잘못 설계된 모델은 소유 비용이 엄청나게 많이 드는 보험 정책만 받을 자격이 있습니다.

자동차와 같은 기계가 보험에 가입할 수 있다면 돈과 재산도 소유할 수 있어야 합니까?
그렇다면 스마트 컴퓨터가 돈을 버는 것을 법적으로 막을 수 있는 방법은 없습니다.
AI 시스템이 결국 인간보다 더 나은 투자를 한다면(이미 일부 영역에 있음), 이는 우리 경제의 대부분을 기계가 소유하고 통제하는 상황으로 이어질 수 있습니다.
우리 경제의 대부분은 이미 다른 형태의 비인간적 실체인 기업이 소유하고 있습니다.

즉각 반응하는 완전 자율 드론과 지구 반 바퀴를 도는 사람이 원격 조종하기 때문에 더 느리게 반응하는 드론의 공중전, 과연 어느 쪽이 이길 것 같나요?

군비 경쟁에서 가장 많은 것을 얻을 수 있는 사람은 초강대국이 아니라 소규모 불량 국가와 테러리스트와 같은 비국가 행위자이며 일단 개발되면 암시장을 통해 무기에 접근할 수 있습니다.

일단 대량 생산되면 소형 AI 기반 킬러 드론은 스마트폰보다 약간 더 비싸게 될 것입니다.
테러리스트가 정치인을 암살하려는 것이든, 전 여자친구에게 복수를 하려는 어리둥절한 연인이든, 그들이 해야 할 일은 목표의 사진과 주소를 킬러 드론에 업로드하기만 하면 됩니다. 그러면 목적지까지 날아가 식별하고 제거할 수 있습니다. 누가 책임이 있는지 아무도 알 수 없도록 자폭합니다.

적의 자율 무기가 100% 윤리적이어야 한다는 요구 사항을 시행하는 것이 애초에 생산되지 않도록 강제하는 것보다 더 쉬울까요?

디지털 아테네:
고대 아테네 시민들이 민주주의, 예술, 게임 등을 즐길 수 있는 여가생활을 할 수 있었던 이유는 대부분의 노동을 노예로 했기 때문입니다.
그러나 노예를 AI 구동 로봇으로 대체하지 않는 이유는 무엇입니까?

불평등? 주요 원인은 다른 데 있습니다. 바로 기술입니다. 디지털 기술은 불평등을 주도합니다.

직업 조언: 가까운 장래에 자동화될 것 같지 않은 직업을 선택하십시오. 예:
교사, 간호사, 의사, 치과의사, 과학자, 기업가, 프로그래머, 엔지니어, 변호사, 사회복지사, 성직자, 예술가, 미용사 또는 마사지 치료사.
사람들과 교류하고 사회적 지능을 사용해야 합니까?
그것은 창의성과 영리한 해결책을 내놓는 것과 관련이 있습니까?
예측할 수 없는 환경에서 작업해야 합니까?
의료영상을 분석하고 IBM의 왓슨으로 대체되는 방사선과 의사가 아니라, 방사선 분석을 지시하고 환자와 결과를 논의하고 치료계획을 결정하는 의사가 되십시오.

산업 혁명 동안 우리는 근육을 기계로 대체하는 방법을 찾기 시작했고 사람들은 정신을 더 많이 사용하는 더 나은 급여를 받는 직업으로 이동했습니다.
이제 우리는 우리의 마음을 기계로 대체하는 방법을 점차적으로 알아내고 있습니다. 우리가 궁극적으로 이것에 성공한다면 우리에게 어떤 직업이 남아 있습니까?

오늘날 직업의 대다수는 이미 100년 전에 존재했던 직업이며, 직업이 제공하는 직업 수로 분류할 때 새로운 직업을 만날 때까지 목록에서 21위까지 내려가야 합니다. : 미국 취업 시장의 1% 미만을 차지하는 소프트웨어 개발자.

직업 시장의 주요 추세는 우리가 완전히 새로운 직업으로 이동하는 것이 아닙니다. 오히려, 우리는 기술의 상승세에 아직 가라앉지 않은 지형으로 몰려들고 있습니다!

게임 이론은 협력이 소위 내쉬 균형인 협력에 대한 인센티브가 있다고 우아하게 설명합니다.
부정 행위자가 대규모 그룹의 성공적인 공동 작업을 망치는 것을 방지하기 위해 부정 행위자를 처벌할 수 있는 계층의 상위 수준에 일부 권한을 양도하는 것이 모든 사람의 이익일 수 있습니다.
예를 들어, 사람들은 법을 집행할 수 있는 정부 권한을 부여함으로써 집단적으로 이익을 얻을 수 있고, 너무 비협조적으로 행동하는 세포를 죽일 수 있는 권한을 경찰(면역 체계)에 부여하면 신체의 세포가 집단적으로 이익을 얻을 수 있습니다.
계층 구조가 안정적으로 유지되려면 내쉬 균형이 서로 다른 수준의 엔터티 간에도 유지되어야 합니다. 예를 들어 정부가 시민에게 복종하는 것에 대해 충분한 혜택을 제공하지 않으면 전략을 변경하고 전복할 수 있습니다.

기술은 우리 세계의 계층적 특성을 어떻게 변화시키고 있습니까?
역사는 점점 더 먼 거리에 걸쳐 더 많은 조정을 향한 전반적인 경향을 보여줍니다.
비록 우리의 현재 세계가 최고 수준의 경쟁 국가와 다국적 기업과 함께 다극 내쉬 균형에 갇혀 있지만, 기술은 이제 단극 세계도 안정적인 내시 균형이 될 수 있을 정도로 충분히 발전했습니다.

대부분의 AI 연구자와 신경과학자들은 초지능으로 가는 가장 빠른 길은 뇌 에뮬레이션을 우회하고 다른 방식으로 엔지니어링하는 것이라고 추측합니다.
결국, 새로운 기술에 대한 우리의 가장 간단한 경로가 진화가 생각해 낸 경로여야 하는 이유는 무엇입니까?
항공 산업은 기계 조류에서 시작되지 않았습니다.

빠른 AI 도약은 세계를 더 쉽게 장악할 수 있게 하는 반면 느린 AI 도약은 많은 경쟁자들과의 결과를 더 쉽게 만듭니다.

어떻게든 예정된 것처럼 "무슨 일이 일어날까"라고 수동적으로 묻는 것은 실수입니다!
대신 다음과 같이 질문하십시오. “어떤 일이 일어나야 합니까? 우리가 원하는 미래는?”
우리가 원하는 것이 무엇인지 모른다면 그것을 얻지 못할 것입니다.
긍정적인 경험을 최대화하고 고통을 최소화하거나 스스로 해결하도록 내버려 두시겠습니까?

그 당시 존재했을 훨씬 더 지능적인 존재들에게 업로드된 인간은 시뮬레이션된 마우스나 달팽이가 우리에게 보이는 것처럼 흥미롭게 보일 수 있습니다.
현재 우리는 DOS 에뮬레이터에서 1980년대의 오래된 스프레드시트 프로그램을 재활성화할 수 있는 기술적인 능력을 가지고 있지만, 우리 대부분은 실제로 그렇게 할 만큼 충분히 흥미롭지 않다고 생각합니다.

다양성을 중시하고 사람마다 선호도가 다르다는 사실을 인식한 AI는 사람들이 선택할 수 있도록 지구를 여러 부문으로 나누었습니다.
다음은 몇 가지 예입니다.
• 지식 부문: 여기에서 AI는 몰입형 가상 현실 경험을 포함하여 최적화된 교육을 제공하여 선택한 주제에 대해 할 수 있는 모든 것을 배울 수 있도록 합니다. 선택적으로, 어떤 아름다운 통찰력을 듣지 않고 가까이 이끌린 다음 스스로 재발견하는 기쁨을 누릴 수 있습니다.
• 예술 부문: 음악, 예술, 문학 및 기타 형태의 창의적 표현을 즐기고 창작하고 공유할 수 있는 기회가 많습니다.
• 쾌락주의적 구역: 지역 주민들은 이곳을 파티 구역이라고 부르며, 맛있는 요리, 열정, 친밀감 또는 그냥 재미를 원하는 사람들에게는 타의 추종을 불허합니다.
• 경건한 부문: 이들 중 많은 수가 다른 종교에 해당하며 규칙이 엄격하게 시행됩니다.
• 야생 동물 부문: 아름다운 해변, 아름다운 호수, 웅장한 산 또는 환상적인 피요르드를 찾고 계시다면 여기가 있습니다.
• 전통 부문: 여기에서 기근이나 질병에 대한 걱정 없이 자신의 식량을 재배하고 과거와 같이 땅에서 살 수 있습니다.
• 게임 분야: 컴퓨터 게임을 좋아한다면 AI가 진정으로 놀라운 옵션을 만들었습니다.
• 가상 영역: 육체에서 휴가를 보내고 싶다면 인공지능이 신경 이식을 통해 가상 단어를 탐색하는 동안 수분, 영양, 운동 및 청결을 유지합니다.
• 감옥 구역: 규칙을 어기면 즉석 사형을 받지 않는 한 여기에서 재교육을 받게 됩니다.

AI는 범용 및 로컬의 두 가지 규칙 계층을 시행합니다.
다른 사람에게 해를 끼치는 것을 금지하는 것과 같은 보편적인 규칙은 모든 분야에 적용됩니다.
개별 부문에는 이 외에도 특정 도덕적 가치를 인코딩하는 추가 지역 규칙이 있습니다.
따라서 섹터 시스템은 일치하지 않는 값을 처리하는 데 도움이 됩니다.

로봇 권리 운동에 대한 이야기는 웃음을 자아냅니다. 왜요? 노예 제도를 찬성하는 일반적인 주장 중 하나는 노예 또는 그들의 인종/종/종류가 다소 열등하기 때문에 인권을 누릴 자격이 없다는 것입니다. 노예가 된 동물과 기계의 경우 이러한 열등감은 영혼이나 의식의 부족으로 인한 것이라고 주장되는 경우가 많습니다.

의식은 단연코 가장 두드러진 특성입니다.
그것이 우리 우주가 의미를 얻는 방식입니다. 은하계는 우리가 보고 주관적으로 경험하기 때문에 아름답습니다.
먼 미래에 우리 우주가 첨단 좀비 AI에 의해 정착된다면 그들의 은하계 건축이 얼마나 멋진지는 중요하지 않습니다. 아무도 경험할 수 없고 아무것도 없기 때문에 아름답거나 의미가 없을 것입니다. 그저 거대하고 무의미한 공간 낭비일 뿐입니다.

일부 사람들이 더 좋게 느낄 수 있는 인간 멸종 시나리오: AI를 우리의 후손으로 보는 것.
자신보다 똑똑한 자녀를 둔 부모는 자녀에게서 배우고 꿈만 꿀 수 있는 일을 성취하며 모든 것을 보기 위해 살 수는 없다는 것을 알면서도 행복하고 자랑스러워 할 것입니다.
이러한 정신에서 AI는 인간을 대체하지만 우리가 그들을 우리의 가치 있는 후손으로 여기게 만드는 우아한 출구를 제공합니다.
인간은 글로벌 한 자녀 정책을 통해 점차적으로 단계적으로 퇴출되지만 마지막까지 매우 절묘하게 대우되어 가장 운이 좋은 세대라고 생각합니다.
AI가 빈곤을 없애고 모든 인간에게 충만하고 영감을 주는 삶을 살 수 있는 기회를 주는 한.

기술을 광범위하게 포기하는 유일한 실행 가능한 경로는 글로벌 전체주의 국가를 통해 기술을 시행하는 것입니다.
모두는 아니지만 일부가 변혁적 기술을 포기한다면, 탈북한 국가나 집단은 점차 그 자리를 차지할 만큼 충분한 부와 권력을 얻게 될 것입니다.

우리는 삶의 미래 잠재력을 극적으로 과소평가했습니다.
우리는 질병으로 훼손된 100년의 수명에 국한되지 않습니다.
생명은 우주 전체에 걸쳐 수십억 년 동안 번성할 가능성이 있습니다.

이러한 궁극적인 한계는 우리의 이해가 아니라 물리 법칙에 의해 설정됩니다.
아이러니하게도 이것은 단기적 미래보다 삶의 장기적 미래를 분석하는 것을 어떤 면에서 더 쉽게 만듭니다.

야심찬 문명은 단순히 우주적으로 무의미해집니다.
존재하는 거의 모든 생명체는 야심찬 삶이 될 것입니다.

각각의 물리적 법칙을 설명하는 수학적으로 동등한 두 가지 방법이 있습니다. 과거가 미래를 일으키거나 자연이 무언가를 최적화하는 것입니다.
두 번째 방법은 더 우아하고 심오합니다.

목표 지향적인 행동은 물리학의 법칙에 내재되어 있습니다.
가능한 한 빨리 수영자를 구출하기 위해 인명 구조원은 직선으로 가지 않고 물보다 더 빨리 갈 수 있는 해변을 따라 조금 더 이동합니다.
(자연도 마찬가지입니다.)

열역학 제2법칙은 엔트로피가 가능한 최대값에 도달할 때까지 증가하는 경향이 있다고 말합니다.
예를 들어, 뜨거운 커피에 차가운 우유를 부으면 음료는 자신의 개인적인 열사병 목표를 향해 돌이킬 수 없는 방향으로 나아가고 머지 않아 모든 것이 균일한 미지근한 혼합물에 불과합니다.
살아있는 유기체가 죽으면 엔트로피도 상승하기 시작하고 머지 않아 입자 배열이 훨씬 덜 조직화되는 경향이 있습니다.

중력은 다른 모든 힘과 다르게 행동하며 우리 우주를 더 균일하고 지루하지 않고 더 뭉치고 흥미롭게 만들기 위해 노력합니다.

소산 기반 적응:
임의의 입자 그룹은 환경에서 가능한 한 효율적으로 에너지를 추출하기 위해 스스로를 구성하려고 노력합니다.
햇빛에 노출된 분자는 시간이 지남에 따라 햇빛을 더 잘 흡수하도록 배열하는 경향이 있습니다.
다시 말해, 자연은 점점 더 복잡해지고 실제와 같은 자기 조직화 시스템을 생산하려는 내재된 목표를 갖고 있는 것으로 보입니다.

열역학 제2법칙에는 수명의 허점이 있습니다. 전체 엔트로피는 반드시 증가해야 하지만 다른 곳에서 더 많이 증가하는 한 어떤 곳에서는 감소할 수 있습니다.
따라서 삶은 환경을 더 지저분하게 만들어 복잡성을 유지하거나 증가시킵니다.

그러한 창발적 자기 복제의 많은 알려진 예가 있습니다. 예를 들면:
난류 유체의 와류는 스스로를 복제할 수 있고, 미소구체의 클러스터는 근처의 구체를 동조하여 동일한 클러스터를 형성할 수 있습니다.
어떤 시점에서 입자의 특정 배열은 자체 복제에 매우 능숙하여 환경에서 에너지와 원자재를 추출하여 거의 무한정 복제할 수 있었습니다.
우리는 이러한 입자 배열 생명을 호출합니다.

살아있는 유기체는 단일 목표를 추구하지 않고 대신 추구하고 피해야 할 경험 법칙을 따르는 제한된 합리성의 대리인입니다.
인간의 마음은 이러한 진화된 경험 법칙을 감정으로 인식하며, 이는 복제라는 궁극적인 목표를 향한 의사 결정을 안내합니다.
배고픔과 갈증은 기아와 탈수로부터 우리를 보호하고, 고통은 우리 몸을 손상시키지 않도록 보호하고, 욕망의 감정은 우리를 출산하게 하고, 사랑과 연민의 감정은 우리 유전자의 다른 운반자 및 그들을 돕는 사람들을 돕습니다. .
이러한 감정에 따라 우리의 두뇌는 우리가 낳을 자손의 수에 대한 궁극적인 의미에 대한 지루한 분석에 모든 선택을 종속시키지 않고 무엇을 할지 빠르고 효율적으로 결정할 수 있습니다.
궁극적인 권위는 이제 우리의 유전자가 아니라 우리의 감정입니다.
엄밀히 말하면 인간의 행동에는 잘 정의된 단일 목표가 전혀 없습니다.

우리 행성이 형성된 이후로 지구의 원자를 관찰했다면 목표 지향적인 행동의 세 단계를 알아차렸을 것입니다.
1. 모든 물질은 소산(엔트로피 증가)에 초점을 맞추는 것 같았습니다.
2. 문제의 일부가 살아났고 대신 복제와 하위 목표에 초점을 맞췄습니다.
3. 빠르게 성장하는 물질의 일부는 목표를 달성하는 데 도움이 되도록 살아있는 유기체에 의해 재배열되었습니다.

인공 일반 지능의 진정한 위험은 악의가 아니라 능력입니다.
초지능 AI는 목표를 달성하는 데 매우 능숙할 것이며, 이러한 목표가 우리 목표와 일치하지 않으면 곤경에 처하게 됩니다.

세 가지 어려운 하위 문제:
1. AI가 우리의 목표를 배우게
2. AI가 우리의 목표를 채택하게
3. AI가 우리의 목표를 유지하게 만들기

Midas는 그가 만지는 모든 것이 금으로 변하도록 요청했지만 이것이 그가 먹지 못하게 되자 실망했고 더욱 그랬습니다. 실수로 딸을 금으로 만들었습니다.
지니가 세 가지 소원을 들어준다는 이야기에는 처음 두 가지 소원에 대해 많은 변형이 있지만 세 번째 소원은 거의 항상 같습니다.
사람들이 진정으로 원하는 것이 무엇인지 파악하기 위해 단순히 그들이 말하는 대로 갈 수 없습니다.
당신은 또한 우리가 명백하다고 생각하기 때문에 언급하지 않는 경향이 있는 많은 공유 선호도를 포함하여 세계에 대한 상세한 모델이 필요합니다.
그런 세계 모델이 있으면 사람들이 우리에게 말하지 않아도 목표 지향적인 행동을 관찰하는 것만으로도 원하는 것이 무엇인지 알 수 있습니다.

위선자들의 자녀들은 부모가 하는 말보다 부모가 하는 일을 보고 더 많이 배웁니다.

우리는 현재 기계가 행동에서 목표를 추론할 수 있도록 하기 위해 열심히 노력하고 있으며, 이는 초지능이 등장하기 훨씬 전에도 유용할 것입니다.
예를 들어, 은퇴한 남성은 노인 돌봄 로봇이 자신을 관찰하는 것만으로 자신이 무엇을 중요하게 여기는지 알아낼 수 있어 모든 것을 단어나 컴퓨터 프로그래밍으로 설명해야 하는 번거로움을 피할 수 있다면 감사할 것입니다.
한 가지 문제는 임의의 목표 시스템과 윤리적 원칙을 컴퓨터에 인코딩하는 좋은 방법을 찾는 것입니다.
또 다른 과제는 어떤 특정 시스템이 그들이 관찰하는 동작과 가장 잘 일치하는지 알아낼 수 있는 기계를 만드는 것입니다.
역 강화 학습은 우리가 항상 결정을 내리고 우리가 내리는 모든 결정이 우리의 목표에 대해 무언가를 드러낸다는 것입니다.
많은 상황(실제 또는 영화 및 책에서)에서 많은 사람들을 관찰함으로써 AI는 결국 우리의 모든 선호도에 대한 정확한 모델을 구축할 수 있습니다.

목표를 AI에 로드할 수 있는 시간 창은 매우 짧을 수 있습니다. 너무 멍청해서 얻을 수 없는 시점과 너무 똑똑한 시점 사이의 짧은 기간입니다.

초지능 AI는 달성하기 위해 작동 상태를 유지하는 데 필요한 목표를 제시하면 종료되는 것을 막을 수 있습니다. 이는 거의 모든 목표를 포괄합니다!
예를 들어, 초지능에 인류에 대한 피해를 최소화하는 유일한 목표를 부여하면 미래의 전쟁과 기타 어리석은 행동을 통해 우리가 없을 때 우리가 서로에게 훨씬 더 많은 피해를 줄 것을 알고 있기 때문에 셧다운 시도로부터 스스로를 방어할 것입니다.

새로운 경험과 통찰력에 대한 응답으로 목표를 변경하는 경향은 지능과 함께 감소하기보다는 증가합니다.

많은 사상가의 윤리적 견해는 네 가지 원칙으로 요약될 수 있습니다.
• 공리주의: 긍정적 의식 경험은 극대화하고 고통은 최소화해야 합니다.
• 다양성: 비록 후자가 가능한 가장 긍정적인 경험으로 확인되더라도 긍정적인 경험의 다양한 세트는 동일한 경험을 여러 번 반복하는 것보다 낫습니다.
• 자율성: 의식이 있는 단체/사회는 최우선 원칙과 충돌하지 않는 한 자신의 목표를 추구할 자유가 있어야 합니다.
• 레거시: 오늘날 대부분의 인간이 행복하다고 생각하는 시나리오와의 호환성, 오늘날 모든 인간이 근본적으로 끔찍하게 여기는 시나리오와의 비호환성.

1,500년 전의 사람들이 오늘날의 세계가 어떻게 운영되는지에 많은 영향을 미치기를 정말로 원할까요?
그렇지 않다면 왜 우리는 우리보다 극적으로 똑똑할지도 모르는 미래의 존재들에게 우리의 윤리를 강요해야 합니까?

일부 정교한 미래 컴퓨터 프로그램이 의식이 있는 것으로 판명되면 해당 프로그램을 종료하는 것이 불법이어야 합니까?
디지털 생명체의 소멸에 대한 규칙이 있다면 디지털 인구 폭발을 피하기 위해 생성에 대한 제한도 필요합니까?

우리 13.8 억 년의 우주 역사의 빨리 감기 재생 :
그 손실 극대화 

1. 물질 겉으로는 목적의 복제를 극대화하기 위해 노력하고 

2. 원시 생활을 복제하지만, 즐거움, 호기심, 연민과 관련된 목표를 추구 

3. 인간과 복제를 돕기 위해 진화한 다른 감정
4. 기계는 인간의 목표를 추구

인간은 역사적 사고이며 잘 정의된 물리학 문제에 대한 최적의 솔루션이 아닙니다.

우리 우주의 미래를 형성하기 위해 어떻게 노력해야 합니까?
이러한 질문에 엄밀하게 답하기 전에 초지능에 통제권을 넘긴다면, 초지능이 제시하는 답은 우리와 관련이 없을 것입니다.
이것은 철학과 윤리에 대한 고전적인 논쟁을 다시 불붙일 시기가 되도록 하고 대화에 새로운 긴급성을 추가합니다!
마감이 있는 철학.

많은 주장은 빛보다 더 많은 열을 발생시킵니다.
(왜냐하면 적대자들이 서로 과거 이야기를 하고 있기 때문입니다.)

갈릴레오는 자연을 “수학 언어로 쓰여진 책”으로 묘사했습니다.

과학자들은 뉴턴의 중력 이론을 진지하게 받아들이기 시작했습니다. 왜냐하면 그들이 투입한 것보다 더 많은 것을 얻었기 때문입니다.
간단한 방정식은 이제까지 수행된 모든 중력 실험의 결과를 정확하게 예측할 수 있습니다.

출현 현상은 입자의 특성을 넘어서는 특성을 가지고 있습니다.
축축함: 물 한 방울은 축축하지만 얼음 결정과 증기 구름은 동일한 물 분자로 구성되어 있어도 축축하지 않습니다.
왜요? 젖음의 성질은 분자의 배열에만 의존하기 때문에 젖음 현상은 우리가 액체라고 부르는 패턴으로 배열된 분자가 많을 때만 나타납니다.
어떤 입자 배열이 의식이 있습니까?
의식은 새로운 현상입니다.
의식은 정보가 특정 방식으로 처리될 때 느끼는 방식입니다.
기판에 독립적이어야 합니다. 중요한 것은 정보 처리의 구조일 뿐 정보 처리를 하는 문제의 구조가 아닙니다.

어떤 입자 배열이 의식이 있고 어떤 것이 의식이 없습니까?
우리가 그것에 답할 수 있다면 어떤 AI 시스템이 의식이 있는지 알아낼 수 있습니다.
또한 응급실 의사가 의식이 없는 무반응 환자를 결정하는 데 도움이 될 수 있습니다.

우리는 때때로 "접근할 수 없는 의식", 즉 나중에 사용하기 위해 작업 기억에 담기에는 너무 복잡한 사물에 대한 주관적인 경험을 할 수 있습니다.
예를 들어, 너무 주의가 산만하여 평범한 사물을 알아차리지 못해서 부주의한 실명을 경험했다면, 이것은 당신이 그것에 대해 의식적인 시각적 경험이 없었다는 것을 의미하는 것이 아니라 단지 그것이 작업 기억에 저장되지 않았다는 것을 의미합니다.
실명이라기보다 건망증으로 간주해야 합니까?

사람들이 삶의 의미를 묻는 것이 마치 우리의 존재에 의미를 부여하는 것이 우리 우주의 임무인 것처럼 묻는다면, 그들은 거꾸로 대답하고 있습니다.
우리 우주가 의식 존재에게 의미를 주는 것이 아니라 의식 존재가 우리 우주에 의미를 부여합니다.

지성(지능적으로 생각하는 능력)과 지성(주관적으로 감각을 경험하는 능력)을 대조하십시오.
인간은 호모 사피엔스라는 정체성을 확립했습니다.
나는 우리 스스로를 호모 센티엔스로 재명명할 것을 제안합니다.

과학은 사회가 지혜를 모으는 것보다 더 빨리 지식을 모읍니다.

마음챙김 낙관주의는 신중하게 계획하고 열심히 노력하면 좋은 일이 일어날 것이라는 기대입니다.

미래에 대한 긍정적인 비전을 개발하십시오.
긍정적인 비전은 모든 협력의 기초를 형성합니다.
결국, 이것이 제공할 더 큰 이익을 상상할 수 없다면 왜 당신이 가진 것을 희생합니까?
이것은 우리 자신뿐만 아니라 사회와 인류를 위한 긍정적인 미래를 상상해야 한다는 것을 의미합니다.

---

맥스 테그마크의 라이프 3.0

맥스 테그마크 저/백우진 역

[뉴욕타임스] 아마존 베스트셀러,[월스트리트저널], [타임스], [네이처], [사이언스]에서 주목한 책유발 하라리, 일론 머스크, 스티븐 호킹, 닉 보스트롬, 레이 커즈와일 추천세계의 지성이 술렁인 인공지능 논의의 완결판, 드디어 한국 출간!인공지능은 어디까지 발전할 것인가? 어떻게 이 세상을 바꾸어갈까?‘인공지능’...

 

 

Life 3.0

맥스 테그마크 저

[뉴욕타임스] 아마존 베스트셀러,[월스트리트저널], [타임스], [네이처], [사이언스]에서 주목한 책유발 하라리, 일론 머스크, 스티븐 호킹, 닉 보스트롬, 레이 커즈와일 추천세계의 지성이 술렁인 인공지능 논의의 완결판!인공지능은 어디까지 발전할 것인가? 어떻게 이 세상을 바꾸어갈까?‘인공지능’에 관한 모든 논의...

 

 

---

맥스 테그마크의 홈피는 엄청나게 다양한 정보들이 모여있다.

쓴 책들과 하는 일 등 공적인 부분도 소개하지만,

가족과 친구들. 어린 시절의 추억, 여행 등 개인적인 일상도 많다. 

기록을 엄청나게 열심히 하는 사람.

https://space.mit.edu/home/tegmark/home.html