Hồ sơ công nghệ & tương lai 👁️ 2,799,043 lượt xem ~10 phút đọc 📅 18/10/2019

Mặt tối của Deepfake: Khi mắt thấy tai nghe không còn là sự thật và vụ lừa đảo giọng nói CEO triệu USD

Sử dụng mạng đối nghịch tạo sinh (GANs), công nghệ Deepfake đã vượt xa các trò đùa ghép mặt trên mạng để trở thành vũ khí lừa đảo tài chính và thao túng địa chính trị tinh vi bậc nhất. Bóc trần vụ lừa đảo 240.000 USD bằng giọng nói nhân tạo và cái bẫy 'Cổ tức của kẻ nói dối'.

1. Sự kết thúc của kỷ nguyên “Trăm nghe không bằng mắt thấy”

Suốt hàng nghìn năm lịch sử tiến hóa của nhân loại, giác quan thị giác và thính giác luôn là mỏ neo vững chắc nhất để con người xác thực chân lý: Một cuốn băng ghi âm giọng nói, một bức ảnh chụp tại hiện trường hay một đoạn video quay rõ mặt luôn được coi là bằng chứng thép không thể chối cãi trước tòa án và dư luận xã hội.

Thế nhưng, sự xuất hiện của công nghệ Deepfake (sự kết hợp giữa Deep Learning và Fake) đã vĩnh viễn phá vỡ mỏ neo niềm tin này.

Khái niệm này xuất hiện lần đầu tiên vào cuối năm 2017 trên diễn đàn Reddit, khi một người dùng ẩn danh chia sẻ các đoạn video ghép khuôn mặt của các nữ diễn viên Hollywood nổi tiếng vào các bộ phim người lớn bằng các thuật toán học sâu.

Ban đầu, các chuyên gia và công chúng coi đây chỉ là một trò đùa bệnh hoạn của những kẻ lập trình rảnh rỗi với những đoạn video chắp vá lộ rõ dấu vết cắt ghép nghiệp dư.

Thế nhưng, chỉ sau vài năm hoàn thiện thuật toán, Deepfake đã tiến hóa thành một thứ vũ khí kỹ thuật số đáng sợ với độ chân thực đến mức mắt thường và tai người không thể nào phân biệt nổi:

Giả mạo hoàn hảo giọng nói của các lãnh đạo doanh nghiệp để thực hiện các vụ chuyển tiền ngân hàng xuyên biên giới.
Dàn dựng các bài phát biểu giả của các nguyên thủ quốc gia để kích động chiến tranh và làm sụp đổ thị trường chứng khoán.
Phá hủy danh dự và cuộc sống của hàng trăm nghìn phụ nữ và học sinh bằng các hình ảnh khiêu dâm giả mạo.

Chúng ta đang chính thức bước vào một kỷ nguyên mà bất kỳ âm thanh hay hình ảnh kỹ thuật số nào cũng có thể bị làm giả hoàn toàn từ hư vô.

2. Mạng đối nghịch tạo sinh (GANs): Cuộc đấu trí giữa kẻ giả mạo và thanh tra cảnh sát

Bí mật kỹ thuật đằng sau bước nhảy vọt chất lượng của Deepfake nằm ở phát minh lịch sử năm 2014 của nhà khoa học máy tính Ian Goodfellow: Mạng đối nghịch tạo sinh (Generative Adversarial Networks - GANs).

Cơ chế của GANs hoạt động giống hệt như một cuộc đấu trí không hồi kết giữa hai mạng nơ-ron nhân tạo:

                  CƠ CHẾ HOẠT ĐỘNG CỦA MẠNG ĐỐI NGHỊCH (GANs)
┌────────────────────────────────────────────────────────────────────────┐
│                        MẠNG TẠO SINH (The Generator):                  │
│                     Đóng vai "KẺ LÀM TIỀN GIẢ / VẼ TRANH GIẢ"          │
│ - Nhiệm vụ: Tạo ra các khuôn mặt hoặc giọng nói giả mạo từ nhiễu ngẫu  │
│   nhiên (Random Noise)                                                 │
└───────────────────────────────────┬────────────────────────────────────┘
                                    │ Gửi sản phẩm giả mạo
                                    ▼
┌────────────────────────────────────────────────────────────────────────┐
│                        MẠNG PHÂN BIỆT (The Discriminator):             │
│                      Đóng vai "THANH TRA CẢNH SÁT ĐIỀU TRA"            │
│ - Nhiệm vụ: So sánh sản phẩm với kho ảnh/giọng nói thật                │
│ - Đưa ra phán quyết: ĐÂY LÀ THẬT HAY LÀ GIẢ?                           │
└───────────────────────────────────┬────────────────────────────────────┘
                                    │
       ┌────────────────────────────┴────────────────────────────┐
       ▼                                                         ▼
BỊ PHÁT HIỆN LÀ GIẢ (Discriminator thắng)               LỪA ĐƯỢC CẢNH SÁT (Generator thắng)
Generator nhận phản hồi lỗi, học hỏi sai sót            Generator đã tạo ra sản phẩm hoàn hảo
để vẽ chi tiết tỉ mỉ hơn ở vòng lặp sau.                đến mức không thể phân biệt nổi!

Quá trình “đấu trí” này diễn ra hàng triệu lần trong vài giờ trên các chip máy tính đồ họa mạnh mẽ.

Mỗi khi mạng phân biệt chỉ ra một điểm bất thường (ví dụ: lông mi bị mờ, phản chiếu ánh sáng trong đồng tử mắt không tự nhiên, nhịp thở đứt quãng trong giọng nói), mạng tạo sinh lập tức sửa đổi thuật toán. Khi chu kỳ kết thúc, mạng tạo sinh đã hoàn thiện kỹ năng tạo hình ảnh đến mức vượt qua được khả năng phân tích của cả máy móc lẫn con người.

3. Những vết thương ngoài đời thực: Từ vụ lừa giọng nói CEO đến Cổ tức của kẻ nói dối

Hậu quả của Deepfake không còn là câu chuyện lý thuyết viễn tưởng trong phòng thí nghiệm:

Vụ cướp ngân hàng bằng giọng nói AI đầu tiên trong lịch sử

Vào năm 2019, Giám đốc điều hành của một công ty năng lượng có trụ sở tại Vương quốc Anh nhận được một cuộc gọi điện thoại khẩn cấp từ người đứng đầu tập đoàn mẹ tại Đức:

Người đàn ông ở đầu dây bên kia nói tiếng Anh với ngữ điệu Đức chuẩn xác, cao độ giọng nói và nhịp ngắt câu giống hệt người sếp của ông. Vị sếp yêu cầu chuyển khẩn cấp 220.000 Euro (khoảng 243.000 USD) sang tài khoản của một nhà cung cấp ở Hungary trong vòng một tiếng đồng hồ để hoàn tất hợp đồng năng lượng quan trọng.

Tin tưởng tuyệt đối vì nhận diện rõ giọng nói của cấp trên qua điện thoại, vị giám đốc người Anh đã lập tức ký lệnh chuyển tiền. Toàn bộ số tiền sau đó bị tẩu tán qua các tài khoản ngân hàng quốc tế tại Mexico. Các nhà điều tra phát hiện ra rằng thủ phạm đã sử dụng phần mềm AI tổng hợp giọng nói thương mại, nạp các đoạn phỏng vấn công khai của CEO người Đức trên YouTube để huấn luyện mô hình nhân bản giọng nói theo thời gian thực.

TIẾN TRÌNH LỪA ĐẢO BẰNG GIỌNG NÓI NHÂN BẢO (AI VOICE CLONING)
Thu thập video phỏng vấn công khai của CEO trên YouTube / LinkedIn
         │
         ▼
Nạp vào mô hình AI tổng hợp âm thanh (Chỉ cần 3 - 5 giây mẫu giọng)
         │
         ▼
Kẻ lừa đảo nói vào micro ──▶ AI chuyển đổi giọng thời gian thực (Real-time)
         │
         ▼
Gọi điện thoại yêu cầu nhân viên kế toán chuyển tiền khẩn cấp
(Nhân viên không mảy may nghi ngờ vì tai nghe thấy giọng của chính sếp mình)

Nguy cơ địa chính trị và “Cổ tức của kẻ nói dối” (The Liar’s Dividend)

Nguy hiểm hơn cả những vụ lừa đảo tài chính là tác động xói mòn xã hội mà các nhà nghiên cứu pháp lý gọi là “Cổ tức của kẻ nói dối” (The Liar’s Dividend):

Khi công chúng biết rằng bất kỳ video hay hình ảnh nào cũng có thể bị làm giả bằng Deepfake, chính những kẻ phạm tội thực sự sẽ được hưởng lợi nhiều nhất.

Một chính trị gia tham nhũng bị lộ băng ghi âm nhận hối lộ, một vị tướng quân đội bị ghi lại hình ảnh ra lệnh đàn áp dân thường, hay một kẻ quấy rối tình dục bị bắt quả tang trên camera an ninh đều có thể thản nhiên tuyên bố trước công chúng: “Đoạn video đó là một sản phẩm Deepfake do AI ngụy tạo nhằm bôi nhọ tôi”.

Khi ranh giới giữa thật và giả bị xóa nhòa, xã hội sẽ rơi vào trạng thái tê liệt nhận thức: Con người từ chối tin vào mọi sự thật khách quan và chỉ chọn tin vào những gì phù hợp với định kiến phe nhóm của mình.

4. Bốn bài học sâu sắc để tự vệ trong kỷ nguyên Deepfake

Đối mặt với làn sóng giả mạo thực tế, các cá nhân và tổ chức cần thiết lập các quy trình tự vệ phòng thủ đa lớp:

Thiết lập mật khẩu xác thực ngoại tuyến (Out-of-band Verification): Đối với các giao dịch tài chính lớn hoặc các yêu cầu chuyển tiền khẩn cấp trong gia đình và doanh nghiệp, không bao giờ tin tưởng tuyệt đối vào cuộc gọi thoại hay tin nhắn video. Hãy luôn thiết lập một mật mã bí mật bằng miệng giữa các thành viên, hoặc gọi lại qua một kênh liên lạc độc lập thứ hai để xác minh trực tiếp.
Kỹ thuật công nghệ phải đi cùng chữ ký mật mã gốc (C2PA): Việc dựa vào mắt thường để phát hiện Deepfake sẽ sớm trở nên vô dụng. Tương lai của việc xác thực thông tin nằm ở các tiêu chuẩn chữ ký mật mã phần cứng (như chuẩn C2PA): Máy ảnh và điện thoại sẽ nhúng chữ ký số bất biến ngay từ khoảnh khắc cảm biến thu nhận ánh sáng thực tế.
Cảnh giác trước những nội dung kích động cảm xúc cực đoan: Các sản phẩm Deepfake chính trị thường được thiết kế để nhắm vào cảm xúc giận dữ, sợ hãi hoặc thù ghét của người xem nhằm kích hoạt hành vi chia sẻ ngay lập tức trước khi kịp kiểm chứng. Khi một thông tin khiến bạn nổi giận tột độ, đó là lúc cần dừng lại để kiểm chứng nguồn gốc kỹ thuật.
Trách nhiệm pháp lý phải gắn liền với nhà cung cấp công cụ: Các nhà phát triển phần mềm AI và các nền tảng mạng xã hội không thể đứng ngoài cuộc. Cần có chế tài pháp lý nghiêm khắc buộc các nền tảng phải tự động gắn nhãn nội dung AI và lưu vết danh tính người dùng phát tán các nội dung giả mạo gây hại.

📜 Xem toàn bộ transcript gốc tiếng Anh (2,296 từ)

Văn bản phụ đề nguyên bản tiếng Anh trích xuất trực tiếp từ video của ColdFusion phục vụ tra cứu và đối chiếu:

you are watching TV hi welcome to another ColdFusion video ten years ago the word fake would normally be associated with plastic surgery or cheap DVDs but as the world moved more and more online and anyone anywhere can create and publish a story or an image we often have to ask is this fake in this episode we'll take an interesting look at the rise of deep fakes is the kind of technology that could potentially save hundreds of thousands of dollars but also has some real-world consequences let's dive in but first I just want to take a second to give a shout out to the sponsor of this video audible so I know most of you guys in the northern hemisphere approach in the summer season you'll be spending more time outdoors at the beach road-tripping whatever but why not make the most of your summer days by consuming content at the same time audible is a great way to do that with an unmatched range of books on every topic including science and technology audible is offering you guys a free audiobook with a 30 day trial membership just head on to www.nasa.gov the acne logo on it it was put on digitally and it can be removed just as easily drops of water can be put in the space left by the erase logo by simply picking up existing drops of water and duplicating them a few centimeters away the potential for the system goes a lot further than that operators say they can take a group photograph for instance and rearrange the people's heads on different shoulders in such perfect detail it would be impossible to tell a change had been made it makes you wonder a picture may still be worth a thousand words but what about that old saying the camera never lies video however remains sacred if you have someone on video then you have the perfect backup for any quote idea or action that you want to attribute to that person but this is all about to change thanks to the rise of deep fakes so what are deep fakes deeper fakes are altered videos usually a famous people produced by newer networks it could be superimposing a face onto a body so it looks like they're doing something that they never did well you can take some speech and then alter the content making the face movements match the new audio that you've put in even before deep fakes you've probably seen the basic system at work it's what powers those goofy snapchat filters where you can have the googly eyes or a demon face the tech behind this face detection is not exactly a new technology even old digital cameras had this feature in 2001 Paul viola and Michael Jones proposed a real-time face detection system now known as the viola Jones object detection framework basically this framework allows machines to easily detect faces by using the differences in brightness between pixels today we still use this basic premise but there are many new steps that have been added together they combine to create computer vision the viola Jones part is used for high level detection of the basic markers of a face but snapchat trained their system on many hundreds of faces that were manually marked with points to show the borders of lips eyes nose and face the trained application can then take a point mask and shift it to match your individual face based on the data that it's getting from your camera at 24 frames per second this is also you can keep those dog ears in place or do that Facebook snapchat technology was mostly built on the experience gained by a Ukrainian company luxury in 2015 and it cost them one hundred and fifty million dollars to acquire so in three short years things have advanced rapidly we know that film studios have been able to swap faces for years Oliver Reed did it for some scenes in Gladiator and a young Carrie Fisher appeared again in Star Wars rogue one but for these the process is long and expensive here's how they did it for the grand moff tarkin character in Star Wars the process we would take - to create a show like this the first thing we do is we shoot the live-action play photography this is with guy Henry as I perform on set and he's dressed in full costume he has what we call a head mounted camera rig which is designed solely for capturing his facial performances of charm this is the earliest test is the first time we ever saw guys motion transferred onto guys model and then put on to Tarkan's first like an early like this the problem is Cushing's performance and Henry's performance didn't always match that required painstaking sometimes frame by frame adjustments constantly refining the most subtle details you can imagine this method took 18 months and would've cost a small fortune and in just my opinion the results are within the realm of a video game cutscene today though free apps like fake app make CGI face mapping a simple tool that almost anyone can operate to drive this point home here's a side by side video comparison of Princess Leia in rogue one one sequences painstakingly made at a cost likely in the hundreds of thousands with the use of an insanely expensive computer the other one was done in 30 minutes by an average guy on an average computer for free yes there's obviously differences but honestly are those differences worth hundreds of thousands of dollars the previous scene was done with a program called fake app and here's how it works so you want to swap the face of Lois Lane in the Superman film with the face of Nicolas Cage the first step is to select your source video then find a whole range of images of Amy Adams who acted Lois Lane and also a whole range of images of Nicolas Cage all of these images together serve as the AIS training data you don't even have to manually download the images one by one the app has an automatic script that downloads all the images at once for you the second step is to get rid of the parts of the images that we don't want like objects in the scene when this is done it's easier for face detection the third step is just to let the AI do its magic a neural network model gets to work learning how to recreate a given face from the images it has here's a snapshot example from within faker the first six columns show face a being transformed into face B and vice versa and the last six columns within each group of three images the leftmost is the original image the middle image is the model trying to redraw the original image and the rightmost is the predicted transformation the network then outputs the score detailing the amount of error there is within the transformations when the score is sufficiently low congratulations you have a good quality deep fate now it's possible to map one face onto another face in real-time video using just images a video is just a collection of rapidly changing images at around 24 to 30 times a second so this makes sense when you think about it technology like this cuts down the cost and effort by many orders of magnitude putting powerful tools in the hands of the everyday person but what about the negatives unsurprisingly there's been a lot of fake adult content created or existing porn scenes have celebrity faces imposed all you need to do is find an actress with a similar build and then most of the work has done for you by the algorithms the adult sector was one of the biggest driving forces behind the recent surge of fake videos however arguably the biggest danger we face is in politics politicians are on camera a lot often in quite a fixed position like standing at a podium or sitting for an interview this makes them incredibly easy subjects for deep fakes all you need to do is record any actor making the facial movements you want and then you could map these onto a politician altering the way they react or even what they say and you might be thinking so you'll still need a really good impersonator to match the voice well well not for long at an Adobe conference in 2016 zu Jin introduced voco this tool was basically Photoshop for audio he uses a learning algorithm to analyse the speech patterns and convert it into text with just 40 minutes of speech it will have examples of almost every sound of that voice in that language so to recreate the new vocal audio or to do is type we can just type the word dogs here and and I kiss my wife and my dogs [Music] here's more his more we can actually type something that's not here so let's remove the word my here and also just type the word Jordan and I kiss Jordan my dog's we're not just going to do with words we can actually type small phrases so let's say okay so we remove those words and we do three time and play back and I kissed Orton three times [Applause] recently researchers at the University of Washington managed to convincingly make Obama say anything the AI managed to actually specifically learn how Obama's mouth moved the heart of our method is a recurrent neural network that transforms input audio to a time-varying mouth shape now most of us don't get our health care through the marketplace to get it through our job or through Medicare or Medicaid then we synthesize mouth texture and what you should know is that thanks to the Affordable Care Act your coverage is better today than it was before next we enhance details and teeth I'll have free preventive care there are no more annual or lifetime limits on essential health care finally we blend the mouth texture onto a retimed target video and match the pose women can get free checkups and you can't get charged more just for being a woman young people can stay on a parent's plan until they turn 26 and the infrastructure that creates good new jobs not to mention the job training that helps folks earn new skills but we can't even create an Obama video from voice impressionists here we go President Barack Obama when you giving a speech make sure you use a lot of pauses and speak at a very weird tammer up and down down and up so thinking about it if you can make a politician say anything you want think about the impact that this could have so in a broader sense if these videos become commonplace perhaps if you give some ground for politicians to actually deny something that they actually said and then it becomes a question of how to even trust any evidence given and this leads us to our final question how do you prove that a video is real it's extremely difficult if you can get a fake video in the raw format that it was uploaded in there are telltale signs that you can find every digital recording device has its own unique algorithms that decide what information is kept you can't store every pixel of every frame it's just too much data so cameras bashed little groups together if they're very close in color for example and this acts as a sort of fingerprint for the camera model so an expert will be able to tell where this has been altered but the thing is once this video has been uploaded and downloaded a few times it's hard enough to find in the first place but it'll be almost impossible once it's traveled around the internet sometimes they'll be telltale glitches when a face moves in a slightly strange way or if 3d mask doesn't exactly match up with the movements of the head but the software will keep getting better making mistakes harder to find so is there any hope well yes there's a couple of things that may save us in the future for example we can rely on AI to fight AI that is an AI that specifically been built to detect fakes let's walk through this idea if an AI is given a training set of fake and real videos and is told which one's a fake and which ones are real perhaps after enough training you'll be able to tell fake videos with better accuracy than we can another solution could be verified videos stored in a blockchain so that they can't be altered and also we'll know that they're real when they're taken from a particular block in the blockchain so that's kind of where we stand right now with great power comes great responsibility and deep fakes has a highly positive side but as you can see there's a negative side as well so I'm going to pass the question on to you guys what are your thoughts on deep fakes let me know in the comments section below I can kind of see the maturity level of a comment section dropping already but anyway this is Ben - gogo you've been watching cold fusion if you just stumbled across this channel feel free to subscribe I'll see you again soon for the next video Jia's guys have a good one [Music] cold be thinking you