Hồ sơ công nghệ & tương lai 👁️ 3,603,347 lượt xem ~11 phút đọc

Google DeepMind và AlphaGo: Bước nhảy vọt của AI tự học và nước đi 37 làm rung chuyển Seoul

Cờ vây có số lượng thế cờ nhiều hơn tổng số nguyên tử trong toàn bộ vũ trụ quan sát được. Năm 2016, cỗ máy AlphaGo của DeepMind đã đánh bại huyền thoại thế giới Lee Sedol bằng nước đi 37 đi ngược lại 3.000 năm lịch sử nhân loại. Giải mã cơ chế Học tăng cường (Reinforcement Learning) và tương lai của Trí tuệ nhân tạo tổng quát (AGI).

1. Pháo đài bất khả xâm phạm cuối cùng của trí tuệ con người

Vào năm 1997, cỗ máy tính Deep Blue của IBM đã gây sốc toàn cầu khi đánh bại đại kiện tướng cờ vua số một thế giới Garry Kasparov. Nhưng trong mắt các nhà nghiên cứu khoa học máy tính, cờ vua vẫn chỉ là một bài toán tính toán cơ học: Deep Blue chiến thắng nhờ sức mạnh tính toán thô (Brute-force) có thể duyệt qua hàng trăm triệu nước đi mỗi giây.

Suốt hai thập kỷ sau đó, các chuyên gia tin rằng có một pháo đài mà máy tính không bao giờ có thể chinh phục được trong ít nhất 10 đến 20 năm nữa: Cờ vây (Go).

Khác với cờ vua (bàn cờ 8x8 với 64 ô), cờ vây thi đấu trên bàn cờ 19x19 với 361 điểm giao cắt. Số lượng thế cờ hợp lệ tiềm năng trong cờ vây ước tính lên tới $10^{170}$ – con số này lớn hơn gấp nhiều lần tổng số lượng nguyên tử tồn tại trong toàn bộ vũ trụ quan sát được (khoảng $10^{80}$). Không một siêu máy tính nào trên Trái Đất có đủ bộ nhớ hay thời gian để vét cạn các nước đi cờ vây bằng tính toán thô.

Người chơi cờ vây đỉnh cao không chỉ tính toán logic, mà họ dựa vào trực giác, cảm giác hình cờ và vẻ đẹp thẩm mỹ.

Thế nhưng, vào tháng 3 năm 2016 tại Seoul (Hàn Quốc), một sự kiện lịch sử đã diễn ra trước sự theo dõi của hơn 200 triệu khán giả truyền hình:

Huyền thoại cờ vây người Hàn Quốc – người từng giành 18 danh hiệu vô địch thế giới Lee Sedol – đã thất bại nặng nề với tỷ số 1-4 trước một chương trình trí tuệ nhân tạo mang tên AlphaGo, do công ty khởi nghiệp DeepMind tại London (thuộc sở hữu của Google) phát triển.


2. Deep Reinforcement Learning: Trí tuệ tự học từ số 0

Được thành lập vào năm 2010 bởi thần đồng cờ vua kiêm tiến sĩ thần kinh học Demis Hassabis cùng các cộng sự Shane Legg và Mustafa Suleyman, DeepMind theo đuổi một triết lý hoàn toàn khác biệt với AI truyền thống:

Thay vì lập trình các bộ quy tắc cố định (Expert Systems) do con người dạy, DeepMind áp dụng phương pháp Học tăng cường sâu (Deep Reinforcement Learning) – mô phỏng cách bộ não sinh học học hỏi thông qua tương tác, thử - sai và nhận phần thưởng từ môi trường.

                  CƠ CHẾ HỌC TĂNG CƯỜNG CỦA DEEPMIND
┌────────────────────────────────────────────────────────────────────────┐
│                        TÁC TỬ AI (DeepMind Agent)                      │
└───────────────────┬────────────────────────────────▲───────────────────┘
                    │                                │
                    │ Hành động (Action)             │ Quan sát & Điểm thưởng
                    ▼                                │ (Observation & Reward)
┌────────────────────────────────────────────────────┴───────────────────┐
│                        MÔI TRƯỜNG (Game / Bàn cờ)                      │
│ - Không được nạp trước luật chơi chi tiết                              │
│ - Chỉ nhận đầu vào là điểm ảnh thô (Pixels) và điểm số (Score)        │
│ - Mục tiêu duy nhất: TỐI ĐA HÓA PHẦN THƯỞNG DÀI HẠN                   │
└────────────────────────────────────────────────────────────────────────┘

Trước khi thách thức cờ vây, DeepMind đã chứng minh sức mạnh của mô hình này trên 49 tựa game cổ điển của hệ máy Atari 2600 (như Pong, Space Invaders, Breakout):

  • Trong trò chơi Breakout (đập gạch), AI ban đầu chơi rất ngớ ngẩn, liên tục làm rơi bóng.
  • Sau 200 ván chơi, AI đã bắt đầu đón bóng thành thạo.
  • Đến ván thứ 300, điều kỳ diệu đã xảy ra: AI tự mình phát hiện ra một chiến lược tối thượng mà không cần con người chỉ bảo: Nó đào một đường hầm xuyên thủng góc cạnh bàn gạch để đưa quả bóng bay lên góc trên cùng, để quả bóng tự do nảy liên hoàn phía sau bức tường gạch và ghi điểm số tối đa.

Áp dụng vào cờ vây, DeepMind kết hợp hai mạng nơ-ron sâu cực mạnh:

  1. Mạng chính sách (Policy Network): Giúp AI thu hẹp phạm vi tìm kiếm, đánh giá và chỉ chọn ra những nước đi triển vọng nhất giống như trực giác của con người.
  2. Mạng giá trị (Value Network): Dự đoán xác suất thắng thua của thế cờ hiện tại thay vì phải tính toán đến tận cùng ván đấu, kết hợp với thuật toán Tìm kiếm cây Monte Carlo (MCTS).

3. Nước đi 37 và khoảnh khắc trực giác máy móc

Trận đấu giữa AlphaGo và Lee Sedol tại Seoul không chỉ là một cuộc so tài thể thao trí tuệ, mà là khoảnh khắc triết học sâu sắc về bản chất của trí thông minh.

Khoảnh khắc gây chấn động nhất diễn ra ở Ván 2, Nước đi thứ 37 (Move 37):

Khi trận đấu đang ở thế giằng co căng thẳng, AlphaGo đã đặt một quân cờ đen tại vị trí dòng thứ 5 từ mép bàn cờ. Trong suốt hơn 3.000 năm lịch sử cờ vây, đây là một nước đi bị cấm kỵ: Các kỳ thủ được dạy từ nhỏ rằng đặt quân cờ ở dòng thứ 5 trong giai đoạn khai cuộc là hoàn toàn vô dụng và sẽ bị đối phương bao vây tiêu diệt.

KHOẢNH KHẮC NƯỚC ĐI 37 TRONG VÁN 2:
AlphaGo đặt quân cờ vào dòng 5 (Move 37)
         │
         ▼
Các bình luận viên đại kiện tướng ngỡ ngàng: "Đây là một lỗi lập trình!"
         │
         ▼
Lee Sedol chết lặng, đứng dậy rời khỏi phòng thi đấu hơn 15 phút
         │
         ▼
50 nước đi sau: Nước đi 37 phát huy tác dụng bao quát toàn cục bàn cờ
Nó kết nối hoàn hảo với các nhóm quân xa xôi, bóp nghẹt hoàn toàn thế trận của Lee Sedol
         │
         ▼
KẾT LUẬN: ĐÂY KHÔNG PHẢI LỖI, MÀ LÀ MỘT TRÍ TUỆ CHIẾN LƯỢC VƯỢT NGOÀI TRÍ TƯỞNG TƯỢNG CỦA CON NGƯỜI

Sau trận đấu, nhóm kỹ sư DeepMind tiết lộ dữ liệu: Hệ thống tính toán rằng xác suất một kỳ thủ con người đi nước đi đó là dưới 1 phần 10.000. AlphaGo đã nhìn thấy một không gian chiến lược mà loài người chưa từng khám phá ra trong suốt 3 thiên niên kỷ.

Tuy nhiên, loài người cũng có khoảnh khắc tỏa sáng của riêng mình: Ở Ván 4, Nước đi 78 (Move 78 - “Nước đi thần thánh”), Lee Sedol đã thực hiện một nước nêm cờ kỳ ảo xuyên thủng tính toán của AlphaGo, khiến hệ thống rơi vào trạng thái bối rối và mang về chiến thắng duy nhất cho con người. Đó là trận thua duy nhất của AlphaGo trước một kỳ thủ nhân loại.

Chưa dừng lại ở đó, DeepMind tiếp tục phát triển phiên bản AlphaGo Zero: Phiên bản này hoàn toàn không sử dụng bất kỳ dữ liệu ván cờ nào của con người. Bắt đầu từ con số 0 tròn trĩnh, AlphaGo Zero chỉ tự chơi cờ với chính nó hàng triệu ván trong 40 ngày. Kết quả: Nó đánh bại phiên bản AlphaGo từng thắng Lee Sedol với tỷ số tuyệt đối 100-0.


4. Bốn bài học sâu sắc từ cuộc cách mạng DeepMind

Chiến thắng của DeepMind không dừng lại trên bàn cờ mà mở ra kỷ nguyên mới cho toàn bộ nền văn minh:

  1. AI không còn bị giới hạn bởi định kiến của con người: Khi con người dạy AI, chúng ta vô tình truyền dạy cả những thói quen và định kiến sai lầm tích lũy hàng nghìn năm. Việc AlphaGo Zero vượt trội hơn nhờ tự học chứng minh rằng trí tuệ máy móc có thể tìm ra những quy luật tự nhiên sâu sắc hơn nếu được giải phóng khỏi lối mòn tư duy con người.
  2. Từ giải trí đến giải quyết các bài toán khoa học cơ bản: Demis Hassabis đã chứng minh cờ vây chỉ là bài tập thử nghiệm. DeepMind sau đó đã dùng chính kiến trúc này để giải bài toán Gấp cuộn Protein 50 năm của sinh học (AlphaFold) – giải mã cấu trúc của hơn 200 triệu protein, thúc đẩy ngành dược phẩm và y sinh toàn cầu tiến bước cả thế kỷ.
  3. Hiệu quả thực tế tại các cơ sở hạ tầng công nghiệp: Bằng việc ứng dụng thuật toán học máy vào hệ thống điều hòa tại các trung tâm dữ liệu khổng lồ của Google, DeepMind đã cắt giảm tới 40% năng lượng làm mát, tiết kiệm hàng trăm triệu USD chi phí tiền điện mỗi năm.
  4. Sự hợp tác giữa trực giác con người và sức mạnh máy móc: Lee Sedol từng chia sẻ rằng sau khi thi đấu với AlphaGo, tư duy cờ vây của ông đã thay đổi hoàn toàn và ông cảm thấy mình tự do hơn trong các nước đi. AI không sinh ra để tiêu diệt con người, mà là tấm gương phản chiếu giúp nhân loại nhận ra những giới hạn của chính mình để bứt phá.
📜 Xem toàn bộ transcript gốc tiếng Anh (2,261 từ)

Văn bản phụ đề nguyên bản tiếng Anh trích xuất trực tiếp từ video của ColdFusion phục vụ tra cứu và đối chiếu:

you are watching cold fusion [Music] TV hi welcome to another cold fusion video for the first time in history we're seeing the successful development and demonstration of general purpose AI its name is alphao and it was made by Google's Deep Mind division the alphao AI algorith beat a human at the world's hardest game this is a historic moment in computer science and artificial intelligence so what exactly is Google Deep Mind where did it come from and what can the company's artificial intelligence actually do in this video we'll find out a computer program beat a human brain at the ancient Chinese board game of Go the final score 4 to1 at Triumph for artificial intelligence equ with human intuition the victory of a program over a human in the ancient board game go has sparked Intrigue and in some cases concern it shows that a machine has approximated human intuition and outsmarted the best human brain in the game it's something that scientists hadn't expected to happen for at least another decade and it's a giant leap for artificial intelligence showing that machines can learn on their own I think maybe the game end no I don't think so because looks like it looks like uh he is still counting no I think he resigned wow I think you're [Music] right wow wow wow wow this was the moment a computer called Alpha go beat a master of the ancient Chinese game go weird place it's not the first time a grandmas has been humbled by a machine but what makes Alpha go different is that it's the first demonstration that maches can truly learn and think in a human way Alpha Go's Victory shocked experts in the artificial intelligence Community many thought such an event was at least a decade away so firstly a few questions why is this important and what's all the fuss Alpha go shows that machines can really learn how so well instead of using Brute Force to calculate all the moves it could make like previous AIS alphao used reinforcement learning and neural networks to mimic the learning process of a human brain keep in mind that the ancient Chinese game go has as many more possible moves than chess as there are atoms in the entire universe so there's no way of just calculating every possible move on the board that's practically impossible for this reason go is the Holy Grail of AI and learning to do such a task from scratch is a huge feat further to this deep Minds creators say that the algorithm can learn many more things without alteration or guidance in other words the AI is general purpose we always used to talk about well if we could eventually crack go and have a program that could beat the world champion then we must have invented some generic general purpose algorithm so maybe we're on the cusp of all of that if you ask a great go player why they played a particular move sometimes they'll just tell you it felt right so you can the one way you can think of it is that go is a much more intuitive game uh whereas chess is a much more logic based game so what is Deep Mind Google deepmind is a British artificial intelligence company that was founded in September of 2010 as deep mind Technologies it was renamed when it was acquired by Google in 2014 for $500 million interestingly enough this was just after Facebook had just finished negotiations with them in 2013 and another fun fact Elon Musk is actually an investor in the company just to keep an eye on them of course deep mine received the company of the Year award by the Cambridge computer laboratory in 2014 so where did Deep Mind come from Deep Mind was first a startup co-founded by Demis hassabis in 2010 Demus was a child Genius of sort and went from being a chess Prodigy and reaching Master Level at age 13 onto becoming the lead programmer of lion head Studios for groundbreaking games such as black and white after this he went on to start his own gaming studio before leaving to complete some extra studies at the University College of London this is where he would meet the future co-founders of Deep Mind in 2010 so what is the goal of Deep Mind Technologies according to their website their goal is to solve intelligence they are trying to achieve this by combining the best techniques from machine learning and systems Neuroscience to build powerful general purpose learning algorithms or in other words they want to formalize intelligence find out what it is and how it works the end game is not just to implement this into machines but also understand the human brain Demus explains further quote attempting to distill intelligence into an algorithmic construct may prove to be the best path to understanding some of the enduring mysteries of our minds end quote the key here is that this machine is general purpose this is very important but more on this later okay so how does this all work the AI from Deep Mind uses a technique called Deep reinforcement learning which makes it very different from other AIS such as IBM's Watson or the Primitive Siri or Google Now the a just mentioned were only developed for a predefined purpose and only function within their scope Deep Mind claims that their system is not pre-programmed and it learns from experience using only raw pixels as data input so the way we start off um training alphao is by showing it 100,000 games that strong amateurs have played that we've downloaded from the internet and we first initially get Alpha go to mimic the human player um but of course ultimately we would like uh Alpha go to be stronger than uh human amateurs and compete with the top professionals so the way we do that is after we take that first version that's learned to mimic human Play We then allow it to play itself 30 million times on our servers and uh using reinforcement learning um it the the the system learns to improve itself incrementally uh through uh it avoiding its errors and increasing um and improving its win rate against older versions of itself uh and after all these games um then you end up with a new version that can beat the old version the original version around 80 90% of the time technically the reinforcement that deep mine uses is model free meaning that it doesn't need a structure or set of rules to learn according to mit's take on the Google algorithm the neural network in theory should be able to access an external memory in a manner that mix the short-term memory of the human brain in a way it almost seems like our brain's design might be the most efficient way for the creation of local intelligence who would have guessed so that's all good what about this general purpose term what does that actually mean well because the machine learns from war experience and data it can perform well across a wide variety of tasks Straight Out of the Box okay so that's enough talk let's watch the system in action learning how to play Breakout and remember the machine didn't have any forn knowledge as to what task it was going to complete it had to figure out how to do everything only from its own experience um is the machine before training so this is literally the first time um the machine has ever seen this data stream and it's controlling the green rocket here and it's and you can see it's losing its three lives immediately um so it's it's basically terrible at the game um as you would expect now after training this is like overnight we leave it playing the game um overnight on a normal computer so for about 8 hours you come back in the morning and now it's superhuman level so now the machine can play Space Invaders better than any human can it's modeled the World the game world so well it knows where the Space Invaders will be ahead of time so as the Space Invaders speed up when you get less of them on the screen it does far as the final shot is a kind of predictive shot of where the final space invader will be in a few seconds time but the cool thing is after understanding how to play a few games it will be able to transfer this knowledge and understanding across more games at the moment Deep Mind is current ly playing games from the 1970s and 80s but work is currently being done on more complex 3D games such as Doom which appeared in the early 9s so what could general purpose AI be used for we'd love to uh use these uh types of algorithms for things like healthcare and Science and improve the speed of breakthroughs in those areas by helping uh human experts uh achieve more in a number of interviews Dennis has talked about applications in healthc care smartphone assistance and robotics as possible applications for General AI some other applications of such AI include online customer service computer vision Finance General computer science and news publishing and writing general purpose AI actually could be huge it can be thought of as another emerging science much like Newtonian physics laid the groundwork for technology such as Rockets a science founded in general purpose digital neural networks that use reinforcement learning could lay the groundwork for anim imaginable things in the near future okay so we're almost at the end of the video but there's one pressing question should we be worried in the thousands of years of meaningful civilization our modern existence right now is an anomaly we've overcome the limits of nature with technology that helps us facilitate such a lifestyle but artificial intelligence is different the reason being AI is the first thing humans have created that tends to function in a way that we can't predict so should we work my belief is that the fear of the unknown is mostly what drives the hysteria that arises from AI anxiety there's not enough time in this video to go through all the theories of how things could turn out but it's an interesting topic within itself the website wait but why has a fairly interesting and comprehensive look at AI we don't have time to explore it all but the article does raise an interesting point though it's about how humans have an inability to perceive exponential change for a long time people aren't going to take AI seriously and it would seem like progress is very slow but then suddenly it could overtake our wildest expectations one of the methods that AI could use to achieve this outcome is by giving itself an ability for self-improvement thus following the law of accelerating returns Steven Hawking and Elon Musk have both shown their reservations towards AI but others like Paul Allen co-founder of Microsoft have different views if you can forget about the movie Terminator for a second there is a possibility that AI could be man's greatest Aid fixing fundamental problems on our planet and allowing us to have technology and infrastructure that could have otherwise taken us centuries if we tried to figure it out ourselves but on the other hand there is a possibility that AI could be malicious and would outwit us but at this stage we really just don't know yet and again this is a story for another day so at the moment I'm not worried but cautiously optimistic as for Deep Mind one of their conditions after Google's acquisition was that they establish an AI ethics board and I think most of us would agree that that's a prudent decision all in all we may be at a historic point a critical point in artificial intelligence the future could see deep neural learning and general purpose AI in our smartphones and computers some say that we might even have to start thinking of a whole new economy reason being AI could take over a lot of inform information intensive specialized jobs leaving only jobs that are creative or emotional in nature something that AI might never achieve I honestly can't say where all of this will lead with any certainty but then again I don't think anyone can if you take a look at the macro picture and all of this after many decades of trying to build smarter computers and algorithms it turns out that the best blueprint was in our heads the whole time the human brain so naturally our minds are capable of so much it just depends on how we use it so that's the end of the video thanks for watching guys don't forget to give this video a thumbs up if you liked it leave a comment and subscribe if you're new you might want to do that if you want to see some more cool stuff just hang around for the next 10 seconds and follow the prompts in your screen cheers guys thanks for watching and I'll see you again soon for the next video have a good one cold fusion it's new thinking all I want to be is white [Music]