Khi máy tính thông minh hơn con người .
0:11
I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Tôi từng làm việc với một loạt các nhà toán học, triết gia và các nhà khoa học máy tính, chúng tôi ngồi quanh nhau và cùng nghĩ về tương lai của trí thông minh cơ giới , trong số những thứ khác. Có người nghĩ rằng một số trong những điều này là loại khoa học viễn tưởng, xa hơn nữa , là sự điên rồ. Nhưng tôi muốn nói rằng, không sao, chúng ta hãy nhìn vào tình trạng của con người hiện đại. Đây là cách tiếp cận bình thường cho những thứ sẽ phải là như vậy .
0:40
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter)It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Nhưng nếu chúng ta nghĩ về nó, thì loài người chúng ta thực sự chỉ là những vị khách mới đến trên hành tinh này mà thôi . Hãy thử suy nghĩ xem nếu Trái đất đã được tạo ra một năm trước, thì loài người mới có tuổi đời 10 phút. Thời đại công nghiệp chỉ bắt đầu hai giây. Một cách khác để nhìn vào điều này là suy nghĩ về GDP thế giới trong vòng 10.000 năm qua, tôi đã thực sự gặp khó khăn khi minh họa điều này cho bạn trên một đồ thị. Nó trông như thế này. Đó là một hình dạng kỳ lạ đối với một điều kiện bình thường. Tôi chắc chắn sẽ không muốn ngồi trên đó.
1:18
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology.Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Hãy tự hỏi mình, nguyên nhân của sự bất thường hiện nay là gì? Một số người sẽ nói là do kỹ thuật công nghệ . Bây giờ thì đúng là sự thật, công nghệ đã được tích lũy qua lịch sử nhân loại, và ngay bây giờ, nền công nghệ tiến bộ cực kỳ nhanh chóng - đó chính là nguyên nhân sâu xa, cũng là lý do tại sao chúng ta hiện đang rất rất hiệu quả. Nhưng tôi vẫn thích suy nghĩ ngược lại xa hơn nữa để tìm về các nguyên nhân cơ bản.
1:44
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Hãy nhìn vào hai quý ông rất cao trọng phân biệt sau đây : Chúng ta có Kanzi - là bậc thầy về 200 từ điển ngôn ngữ học , một kỳ công đáng kinh ngạc. Và Ed Witten , người mở tung những cuộc cách mạng siêu dây lần thứ hai. Nếu chúng ta nhìn phía dưới những học vị , đây là những gì chúng ta sẽ thấy: về cơ bản là giống nhau. Một người có vẻ nhỉnh hơn một chút, có lẽ cũng có một vài thủ thuật trong cách chính xác được hình thành nên . Tuy nhiên , những khác biệt vô hình này không thể quá phức tạp, vì mới chỉ có 250.000 thế hệ kể từ khi tổ tiên chung cuối cùng của chúng ta mà thôi . Chúng ta biết rằng các cơ chế phức tạp phải mất một thời gian dài để phát triển. Vì vậy, một loạt các thay đổi tương đối nhỏ sẽ đưa chúng ta từ Kanzi thành Witten, từ những cành cây gãy đến các hỏa tiễn đạn đạo liên lục địa.
2:31
So this then seems pretty obvious that everything we've achieved, and everything we care about,depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Vì vậy, điều này trông có vẻ khá rõ ràng rằng tất cả mọi thứ chúng ta đã đạt được, và tất cả mọi thứ chúng ta quan tâm, phụ thuộc chủ yếu vào một số thay đổi tương đối nhỏ làm nên tâm trí con người . Và hệ quả tất yếu, dĩ nhiên, là bất kỳ những thay đổi khác mà có thể thay đổi đáng kể các chất nền của tư duy sẽ có thể có những hệ quả tiềm năng rất lớn.
2:55
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes,but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Một số đồng nghiệp của tôi nghĩ rằng chúng ta đang ở trên bờ vực của một cái gì đó mà nó có thể gây ra một sự thay đổi sâu sắc trong chất nền , và đó là trí tuệ siêu thông minh cơ giới . Trí tuệ nhân tạo thường là đưa các lệnh vào trong một kết cấu khối . Bạn sẽ có những lập trình viên con người tác tạo thủ công cẩn thận các hạng mục kiến thức. Bạn xây dựng các hệ thống chuyên gia, và họ sẽ là những nhóm hữu ích cho một số mục đích, nhưng chúng rất dễ gãy vỡ , bạn không thể gán đặt quy mô cho chúng . Về cơ bản, bạn đã lấy được chỉ có những gì bạn đưa vào. Nhưng kể từ đây , một sự thay đổi mô hình đã diễn ra trong lĩnh vực trí tuệ nhân tạo.
3:29
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Ngày nay, các hoạt động thực sự xoay quanh nền học tập cơ giới . Vì vậy, thay cho việc thao tác thủ công những biểu diễn tri thức và các tính năng, chúng ta tạo ra thuật toán, thường là từ dữ liệu tri giác thô. Về cơ bản đây là một điều tương tự mà các em bé từng làm . Kết quả là trí tuệ nhân tạo (A.I) đó không bị giới hạn trong một miền - các hệ thống tương tự có thể hiểu được cách biên dịch giữa bất kỳ cặp ngôn ngữ nào , hoặc hiểu được cách chơi bất kỳ trò chơi máy tính nào trên console Atari. Bây giờ tất nhiên, A.I. vẫn không thể nào có được khả năng mạnh mẽ, vượt qua các miền tri thức để cùng học hỏi và phác thảo kế hoạch như một con người vốn có. Vỏ não vẫn còn có một số thủ thuật về thuật toán mà chúng ta chưa biết làm thế nào để phù hợp với máy móc .
4:18
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Vì vậy, câu hỏi là, chừng nào chúng ta có thể sắp xếp phù hợp những thủ thuật đó ? Vài năm trước đây, chúng tôi đã tiến hành cuộc khảo sát một số các chuyên gia A.I hàng đầu thế giới , để xem họ nghĩ những gì , và một trong những câu hỏi chúng tôi đưa ra là : "Đến khoảng năm nào bạn nghĩ rằng sẽ có một xác suất 50% rằng chúng ta sẽ hoàn thành nền văn minh cơ giới với trình độ con người?" Chúng tôi đã xác định trình độ con người ở đây là khả năng thực hiện hầu hết các công việc ít nhất cũng như một người trưởng thành, do đó, trình độ con người thực sự, không chỉ thuộc phạm vi một số lĩnh vực hạn chế. Và câu trả lời trung bình là 2040 hoặc năm 2050, một cách chính xác tùy thuộc vào các nhóm các chuyên gia chúng tôi hỏi. Bây giờ, điều đó có thể xảy ra nhiều, nhiều hơn sau này, hoặc sớm hơn, sự thật là không ai biết chắc .
5:04
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Những gì chúng ta biết được là giới hạn cuối cùng để xử lý thông tin trong một chất nền cơ giới khác xa hẳn các giới hạn trong các mô sinh học. Điều này dẫn đến việc xem xét các tính chất vật lý. Một nơron sinh học kích thích , có thể, ở cấp độ 200 hertz, 200 lần một giây. Nhưng ngay cả một bóng bán dẫn hiện nay có thể hoạt động ở cấp gigahertz. Các tế bào thần kinh lan truyền từ từ trong trục sợi thần kinh, 100 mét mỗi giây, đến các ngọn. Nhưng trong máy tính, tín hiệu có thể truyền đi với tốc độ của ánh sáng. Ngoài ra cũng có những hạn chế về kích thước, ví như một bộ não của con người đã được đặt phù hợp bên trong một hộp sọ, nhưng một máy tính có thể có kích thước của một nhà kho hoặc lớn hơn. Vì vậy, khả năng cho siêu trí tuệ (superintelligence) lại nằm im trong vấn đề này , giống như sức mạnh của các nguyên tử đã nằm im lìm trong suốt lịch sử loài người, kiên nhẫn chờ đợi ở đó mãi cho đến năm 1945. Trong thế kỷ này, các nhà khoa học có thể tìm biết cách đánh thức sức mạnh của trí tuệ nhân tạo. Và tôi nghĩ rằng sau đó chúng ta có thể sẽ chứng kiến một sự bùng nổ thông tin về trí tuệ .
6:09
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Bây giờ hầu hết mọi người, khi họ nghĩ về những gì là thông minh và những gì là ngu ngốc , tôi cho rằng trong tâm trí có một hình ảnh gần như thế này. Đây nhé , ở một đằng , chúng ta có một chàng ngốc nhà quê, và sau đó xa hơn ở phía đằng kia chúng ta có Ed Witten, hay Albert Einstein, hoặc bất cứ ai là những chuyên gia yêu thích của bạn . Nhưng tôi cho rằng từ quan điểm của trí tuệ nhân tạo, các hình ảnh thực có thể thực sự là như sau : Trí tuệ nhân tạo (A.I) bắt đầu ra tại thời điểm này đây, tại vị trí không thông minh (cấp zero) , và rồi , sau nhiều , nhiều năm làm việc cật lực thực sự , có thể cuối cùng chúng ta sẽ nhận được trí tuệ nhân tạo cấp độ chuột , tựa một cái gì đó có thể điều hướng những môi trường lộn xộn như một con chuột có thể làm được. Và kế đó, sau nhiều, thật nhiều năm làm việc cật lực thực sự, cùng rất nhiều sự đầu tư, có thể cuối cùng chúng ta sẽ nhận được trí tuệ nhân tạo cấp độ tinh tinh . Và lại sau đó, sau khi thậm chí nhiều năm làm việc cật lực thực sự, chúng ta lại nhận được trí tuệ nhân tạo cấp chàng ngốc nhà quê . Và đến một vài thời khắc sau đó, chúng ta đang vượt qua Ed Witten. Con tàu không dừng lại ở ga Humanville ( Làng nhân loại) . Nó dường như , hơn nữa , là xình xịch ngay đây thôi .
7:13
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time:cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Bây giờ điều này có ý nghĩa sâu sắc, đặc biệt là khi nói đến câu hỏi về sức mạnh. Ví dụ, con tinh tinh rất mạnh - từ pound này đến pound khác, một con tinh tinh mạnh mẽ khoảng hai lần so với một người nam hoàn chỉnh . Tuy nhiên, số phận của Kanzi và bạn thân của anh ta phụ thuộc rất nhiều vào những gì con người chúng ta làm hơn là về những gì các con tinh tinh có thể tự chúng làm. Một khi có siêu trí tuệ , số phận của nhân loại có thể phụ thuộc vào những gì các siêu trí tuệ làm được. Hãy suy nghĩ về điều đó : nền trí tuệ cơ giới là phát minh mới nhất mà nhân loại từng sẽ cần phải thực hiện. Các hệ thống cơ giới này sau đó sẽ phát minh tốt hơn chúng ta, và chúng sẽ làm như vậy theo thời độ kỹ thuật số. Về cơ bản điều này có nghĩa là một viễn cảnh của tương lai. Hãy suy nghĩ về tất cả các công nghệ điên khùng mà bạn có thể tưởng tượng được có lẽ con người có thể phát triển trong sự viên mãn của thời gian: chữa trị lão hóa, thuộc địa hóa không gian , tự sao chép nanobots hoặc tải lên các tâm trí vào máy tính, tất cả các loại khoa học viễn tưởng kiểu đó vẫn phù hợp với các quy luật vật lý. Tất cả các siêu trí tuệ này có thể phát triển, và có thể khá nhanh chóng.
8:23
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Bây giờ , một siêu trí tuệ với sự trưởng thành công nghệ như vậy sẽ vô cùng mạnh mẽ, và ít nhất là trong một số tình huống , nó sẽ có thể đạt được những gì nó muốn. Sau này chúng ta sẽ có một tương lai mà nó sẽ được định hình bởi các sở thích của A.I này . Bây giờ một câu hỏi hay được đưa ra : những sở thích đó là gì? Ở đây nó phức tạp hơn. Để thực hiện bước tiến với điều này, trước hết chúng ta phải tránh sự nhân hình hóa . Và đây là sự mỉa mai vì mỗi bài báo về tương lai của A.I đều có một hình ảnh về điều này : Vì vậy, tôi nghĩ rằng những gì chúng ta cần làm là hình thành một vấn đề trừu tượng hơn, chứ không phải về các kịch bản Hollywood sinh động.
9:08
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary conenction between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Chúng ta cần phải suy nghĩ về trí thông minh như là một quá trình tối ưu hóa, một quá trình vận hành tương lai thành một tập hợp đặc biệt các cấu hình. Một siêu trí tuệ là một quá trình tối ưu hóa thực sự mạnh mẽ. Nó rất giỏi sử dụng các phương tiện sẵn có để đạt được một trạng thái trong đó mục tiêu của nó được thực hiện. Điều này có nghĩa rằng không có sự liên kết cần thiết giữa việc là rất thông minh theo nghĩa này, và việc có một mục tiêu mà con người chúng ta sẽ tìm thấy giá trị hay có ý nghĩa.
9:38
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Giả sử chúng ta đưa ra cho A.I. một mục tiêu là làm cho con người mỉm cười. Khi A.I. yếu, nó sẽ thực hiện các hành động hữu ích hoặc thú vị khiến cho người sử dụng của nó mỉm cười. Khi A.I. trở thành siêu trí tuệ nó nhận ra rằng có một cách hiệu quả hơn để đạt được mục tiêu này : đó là kiểm soát thế giới ngoại cảnh và các điện cực được nối vào các cơ bắp trên khuôn mặt của con người nhằm gây ra những nụ cười rạng rỡ liên tục. Một ví dụ khác, giả sử chúng ta cung cấp cho A.I. mục tiêu là giải quyết một vấn đề toán học phức tạp. Khi A.I. trở thành siêu trí tuệ , nó nhận ra rằng cách hiệu quả nhất để có được những giải pháp cho vấn đề này là bằng cách chuyển đổi các hành tinh vào một máy tính khổng lồ, để tăng khả năng tư duy của nó. Và lưu ý rằng điều này cho phép A.I. một lý do có tính chất phương tiện để làm những điều cho chúng ta mà chúng ta không thể chấp nhận. Con người trong mô hình này là những mối đe dọa , và chúng ta có thể ngăn chặn các vấn đề toán học từ lúc đang được giải quyết .
10:28
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Tất nhiên, mọi điều khả tri sẽ không sai lầm theo những cách thức cụ thể này ; đây là những ví dụ minh họa . Nhưng điểm chung ở đây là rất quan trọng : nếu bạn tạo ra một quá trình tối ưu hóa thực sự mạnh mẽ nhằm tối đa hóa cho mục tiêu x , bạn nên chắc chắn rằng định nghĩa của bạn về x sẽ kết hợp tất cả mọi thứ mà bạn quan tâm. Đây là một bài học đã từng được dạy dỗ trong nhiều huyền thoại. Vua Midas mong rằng tất cả mọi thứ ông chạm vào được biến thành vàng. Ông chạm vào cô con gái của ông, cô biến thành vàng. Ông chạm vào thức ăn của mình, nó cũng biến thành vàng. Điều này có thể trở thành thích đáng một cách thực tế , không chỉ là một phép ẩn dụ cho sự tham lam, mà còn như một minh chứng cho những gì sẽ xảy ra nếu bạn tạo ra một quá trình tối ưu hóa mạnh mẽ và lại cung cấp cho nó những sai lầm hoặc những mục tiêu được quy định kém.
11:15Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking)The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Bây giờ bạn có thể nói, nếu một máy tính bắt đầu gắn bó điện cực vào khuôn mặt của người ta, thì chúng tôi chỉ muốn tắt nó đi.
A, đây không hẳn là dễ dàng thực hiện nếu chúng ta đã phát triển phụ thuộc vào hệ thống - giống như, công tắc ngắt Internet ở đâu ?
B, tại sao không phải là tinh tinh búng công tắc ngắt thay cho nhân loại, hoặc người Neanderthal? Chắc chắn phải có nhiều lý do. Chúng ta có một công tắc ngắt, ví dụ, ngay tại đây. Lý do là vì chúng ta là một đối thủ thông minh; chúng ta có thể dự đoán được các mối đe dọa và có kế hoạch bao quanh chúng . Nhưng như vậy có thể có một đại lý siêu trí tuệ, và nó là tốt hơn nhiều so với chúng ta. Vấn đề là, chúng ta không nên tự tin rằng chúng ta có điều này dưới sự kiểm soát ở đây.
12:03
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak,I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Và chúng ta có thể cố gắng làm cho công việc của chúng ta dễ dàng hơn một chút bằng cách, ví dụ, đưa A.I. vào trong một hộp, giống như một môi trường phần mềm an toàn, một mô phỏng thực tế ảo mà từ đó nó có thể không biến mất . Nhưng làm thế nào chúng ta có thể tin tưởng được rằng A.I. không thể tìm thấy được một lỗi. Nếu cho là chỉ đơn thuần tin tặc con người mới tìm ra lỗi trong suốt thời gian , tôi muốn nói rằng, có lẽ đây không phải là rất chắc chắn. Vì vậy, chúng ta sẽ ngắt kết nối cáp ethernet để tạo ra một khoảng cách không gian , nhưng một lần nữa, hình như chỉ đơn thuần là tin tặc con người thường xuyên vi phạm khoảng cách không gian bằng cách sử dụng kỹ thuật xã hội. Ngay bây giờ, như đã nói, tôi chắc chắn rằng có một số nhân viên ở đâu đó đã có thể nói chuyện được và nắm vững chi tiết tài khoản của mình bằng cách tự xưng là ai đó từ các bộ phận IT .
12:45
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Nhiều kịch bản sáng tạo hơn cũng có thể xuất hiện , tựa như nếu bạn là A.I., bạn có thể tưởng tượng ra những điện cực xoáy trôn ốc xung quanh trong mạch nội bộ của bạn tạo ra các sóng vô tuyến để bạn có thể sử dụng giao tiếp. Hoặc có thể là bạn có thể giả vờ xẩy ra sự cố, và sau đó khi các lập trình viên mở bạn ra để xem những gì đã xảy ra với bạn , họ nhìn vào mã nguồn - và Bam! - Các thao tác có thể xảy ra. Hoặc A.I. có thể sản xuất các kế hoạch chi tiết cho một công nghệ thực sự tiện lợi, và khi chúng ta thực hiện nó, nó có chứa một số tác dụng phụ lén lút mà A.I. đã lên kế hoạch. Vấn đề ở đây là chúng ta không nên tự tin vào khả năng của chúng ta để giữ một vị thần siêu trí tuệ và nhốt trong chai của nó mãi mãi. Sớm hay muộn, nó cũng sẽ nhảy ra.
13:26
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Tôi tin rằng câu trả lời ở đây là tìm hiểu xem làm thế nào để tạo ra siêu trí tuệ A.I. như vậy , để ngay cả khi - khi - nó thoát ra, nó vẫn an toàn vì nó cơ bản thuộc về phía chúng ta, vì nó chia sẻ các giá trị của chúng ta. Tôi thấy rằng không có cách nào xoay quanh vấn đề khó khăn này.
13:43
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Bây giờ, tôi thực sự khá lạc quan rằng vấn đề này có thể được giải quyết. Chúng ta sẽ không phải viết ra một danh sách dài của tất cả mọi thứ chúng ta quan tâm, hoặc tệ hơn nữa, phát biểu nó ra theo một số ngôn ngữ máy tính như C ++ hay Python, đó sẽ là một nhiệm vụ quá vô vọng. Thay vào đó, chúng ta sẽ tạo ra một A.I. sử dụng trí thông minh của mình để tìm hiểu những gì chúng ta xem là có giá trị, và hệ thống động lực của nó được xây dựng theo một cách mà nó được thúc đẩy để theo đuổi các giá trị của chúng ta hoặc để thực hiện các hành động mà nó dự đoán rằng chúng ta sẽ chấp nhận. Do đó chúng ta sẽ tận dụng trí thông minh của nó càng nhiều càng tốt để giải quyết vấn đề về nạp tải giá trị .
14:23
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Điều này có thể xảy ra, và kết quả có thể sẽ rất tốt cho nhân loại. Nhưng nó không xảy ra một cách tự động. Các điều kiện ban đầu cho sự bùng nổ thông tin trí tuệ có thể cần phải được thiết lập chỉ theo một cách đúng đắn nếu chúng ta muốn có một vụ bùng nổ có kiểm soát. Các giá trị mà các A.I. cần phải phù hợp với giá trị của chúng ta, không chỉ trong bối cảnh quen thuộc, giống như nơi mà chúng ta có thể dễ dàng kiểm tra xem A.I. ứng xử như thế nào , mà còn trong tất cả các bối cảnh hư cấu mà A.I. có thể gặp phải trong tương lai không xác định.
14:53
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Và cũng có một số vấn đề bí truyền sẽ cần phải được giải quyết, sắp xếp ra , như : những chi tiết chính xác của lý thuyết quyết định , làm thế nào để đối phó với sự không chắc chắn hợp lý ( logic mờ ) và vv. Vì vậy, các vấn đề kỹ thuật cần được giải quyết để thực hiện công việc này dường như gặp khó khăn - không khó khăn như thiết lập một A.I. siêu trí tuệ, nhưng khá khó khăn. Dưới đây là những ưu tư:
Xây dựng A.I. siêu trí tuệ là một thử thách thực sự khó khăn.
Xây dựng A.I. siêu trí tuệ an toàn liên quan đến một số thách thức bổ sung trên đây.
Các nguy cơ xảy ra là liệu ai đó hình dung ra cách làm thế nào để phá vỡ thách thức đầu tiên mà lại không có sự phá vỡ các thách thức bổ sung của việc đảm bảo sự an toàn hoàn hảo của A.I. siêu trí tuệ .
15:36
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Vì vậy, tôi nghĩ rằng chúng ta nên tìm ra một giải pháp cho vấn đề kiểm soát trước tiên , để chúng ta thấy rằng nó có hiệu lực vào đúng thời điểm nó được cần tới. Bây giờ có thể là chúng ta không thể giải quyết toàn bộ vấn đề kiểm soát trước tiên vì có lẽ do một số yếu tố chỉ có thể được đưa ra khi bạn biết được các thông tin chi tiết của công trình kiến trúc nơi nó sẽ được thực hiện. Nhưng càng nhiều các vấn đề kiểm soát mà chúng ta giải quyết trước tiên , thì các lợi thế của việc chuyển đổi sang kỷ nguyên trí tuệ cơ giới cũng sẽ càng tốt hơn .
16:05
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
16:23
Thank you.
16:25
(Applause)
Việc này với tôi giống như một điều rất đáng làm và tôi có thể tưởng tượng rằng nếu mọi sự chuyển thành tốt đẹp , con người sau một triệu năm kể từ bây giờ sẽ nhìn lại thế kỷ này và có thể là họ nói rằng một trong những điều chúng ta đã làm quả thực rất quan trọng để có được điều ngày hôm nay .
Cám ơn các bạn .
Trần hồng Cơ
Lược dịch
19/04/2015
-------------------------------------------------------------------------------------------
Mục đích cuộc sống càng cao thì đời người càng giá trị.
Geothe
