تنها راه مبارزه با دیپ فیک ایجاد دیپ فیک است

مطمئن نبودم که والدینم متوجه شوند که صدای آن طرف مال من نیست – یا به نوعی مال من است، اما اینطور نبود. من. صدا سلام کرد، حال پدرم را پرسید و وقتی به اندازه کافی سریع جواب نداد دوباره پرسید. “چیه گبی؟” او تقریباً بلافاصله متوجه شد که چیزی اشتباه است. توضیح دادم که سعی کردم او را فریب دهم و به وضوح نتیجه ای نداشت. او گفت: «اینطور نبود. او شبیه یک ربات بود.

آزمایش کاملی نبود. پدر و مادرم در خارج از کشور بودند که باعث شد روابط ضعیفی داشته باشند. آن‌ها با دوستانشان ناهار می‌خوردند و صدا نمی‌توانست از پس تداخل یا تاخیر در صدا برآید: سعی می‌کرد سکوت‌ها را پر کند. و مهمتر از همه، صدا به نظر انسان می آمد، اما شبیه صدای من نبود.

این شایعه توسط شرکت تشخیص دیپ فیک Reality Defender ایجاد شده است. مشکل رسانه های دستکاری شده جدید نیست، اما ظهور ابزارهای هوش مصنوعی درجه یک مصرف کننده باعث شده است که ایجاد صدا، تصویر و تصاویر جعلی اساساً بدون اصطکاک باشد و شرکت های متعددی در سال های اخیر برای مبارزه با آن به وجود آمده اند. Reality Defender، Pindrop، و GetReal بخشی از یک صنعت کلبه در حال رشد در تشخیص دیپ‌فیک هستند که ارزش آن در سال 2023 حدود 5.5 میلیارد دلار است. این استارت‌آپ‌ها از یادگیری ماشینی برای شناسایی رسانه‌های دستکاری شده استفاده می‌کنند. برای مبارزه با دیپ فیک ها باید بتوانید آنها را بسازید.

اصطلاح «دیپ‌فیک» به نوع خاصی از رسانه‌های دستکاری شده اشاره دارد که با یادگیری «عمیق» تولید شده‌اند، اما جدای از نحوه ساخت آنها، هیچ موضوع مشترکی وجود ندارد که همه دیپ‌فیک‌ها را متحد کند. آنها برای کلاهبرداری، آزار و اذیت و میم استفاده شده است. ابزارهایی مانند Grok AI منجر به گسترش دروغ‌های جنسی بدون رضایت از جمله پورنوگرافی کودکان شده است. کلاهبرداران صدای افراد را شبیه سازی کردند، با بستگان آنها تماس گرفتند و صدای آنها را به گروگان گرفتند تا باج بگیرند. در طول انتخابات 2024، یک استراتژیست سیاسی و یک شعبده باز با هم همکاری کردند تا یک دیپ فیک از جو بایدن، رئیس جمهور سابق ایجاد کنند، که از آن برای منصرف کردن دموکرات های ثبت نام شده در نیوهمپشایر از رای دادن در انتخابات مقدماتی این ایالت استفاده کردند. رئیس کمیته روابط خارجی سنا از کسی که از هوش مصنوعی برای خودنمایی به عنوان یک مقام اوکراینی استفاده می‌کرد، تماس زوم دریافت کرد. طبق یک مطالعه، در سطح شرکتی، کلاهبرداری عمیق در حال حاضر “صنعتی” است.

صنعت تشخیص دیپ فیک در درجه اول برای رسیدگی به یکی از این مشکلات وجود دارد: موضوع تقلب شرکتی.

Reality Defender به طور موثر هوش مصنوعی را برای مبارزه با هوش مصنوعی آموزش می دهد. مدیر ارشد فناوری الکس لیزل به من گفت که این شرکت از یک “مدل مبتنی بر استنتاج” برای شناسایی دیپ‌فیک استفاده می‌کند. “مدل بنیادی ما از چیزی به نام پارادایم دانش آموز/معلم استفاده می کند. ما یک سری چیزهای واقعی را می گیریم و می گوییم “اینها واقعی هستند” و سپس یک دسته چیزهای جعلی و می گوییم “این جعلی است.”

برای من قلابی، مدتی را صرف تنظیم دقیق صدا کردیم: انسجام، ثبات و لحن را به چالش کشیدیم تا آن را بیشتر شبیه من واقعی کنیم. فقط خیلی کارها می توانستیم انجام دهیم. فیلم‌های زیادی در دسترس عموم از اسپانیایی صحبت کردن من – زبانی که برای برقراری ارتباط با والدینم استفاده می‌کنم- وجود ندارد، به غیر از یک مصاحبه پادکست واحد از سال 2021، که اکثر آنها غیرقابل استفاده هستند زیرا موسیقی در پس‌زمینه پخش می‌شود. اما با 9 ثانیه صدا و داده‌های جمع‌آوری‌شده از سال‌ها پست، ما توانستیم یک عامل هوش مصنوعی کاملاً متقاعدکننده را جمع‌آوری کنیم که می‌توانست با والدینم گفتگو کند، هرچند غیرشخصی. مدل انگلیسی که برای برادرم استفاده کردیم بهتر بود، زیرا داده های آموزشی بسیار بیشتری داشتیم، اما حتی در آن زمان نیز به اندازه کافی قانع کننده نبود.

اما خانواده سخت ترین امتحان است.

اسکات استاینهارت، رئیس ارتباطات Reality Defender، به من گفت: “آنها می دانند صدای شما چگونه است.” Steinhardt با رضایت من دیپ فیک را ساخت و آن را ویرایش کرد تا اینکه کم و بیش شبیه من شد. ممکن است خانواده من را فریب ندهد، اما احتمالاً برای همکاران یا نهادهای شرکتی مانند بانک ها خوب است.

برای موثر بودن، این ابزارها باید به سرعت کار کنند. هوش مصنوعی مولد بسیار کند است. مدلی که والدینم به آن می گفتند کیفیت را فدای سرعت کرد. برای اینکه صدا به سرعت پاسخ دهد، مجبور بودیم کیفیت پایین‌تری را در همه جا بپذیریم. تبدیل متن به گفتار به مراتب بهتر بود، اما تولید آن زمان بیشتری برد. وقتی صدای مونولوگ لاکی را داشتیم در انتظار گودوتقریباً شبیه من بود.

نیکلاس هالند، مدیر ارشد تولید پیندروپ، به من گفت: «به عنوان یک فرد، خیلی سخت است که درگیر دیپ فیک نباشیم. “من فکر می کنم چالش “چگونه می توانم از هویت شخصی خود محافظت کنم؟” این چیزی است که جهان هنوز به آن پی نبرده است. من فکر می کنم “از کجا موسسات من می دانند که من هستم؟” اینجاست که نهادهای مختلف سطوح مختلف امنیتی را اجرا می‌کنند.»

بحث منابع هم هست. من بودجه لازم برای استخدام یک شرکت تشخیص دیپ فیک برای فیلتر کردن تماس‌هایم را ندارم، اما بانک من این کار را دارد و بانک من بیشترین ضرر را دارد، البته اگر نگوییم نسبی. یک نظرسنجی در سال 2024 نشان داد که شرکت ها در هر حادثه دیپ فیک 450000 دلار از دست دادند و بیش از یک شرکت بیش از یک میلیون دلار در یک تراکنش متقلبانه از دست داد.

برخی از این پرونده‌ها شامل کلاهبردارانی بود که خود را به عنوان مدیران اجرایی نشان می‌دادند، با زیردستان خود تماس می‌گرفتند و از آنها می‌خواستند مبالغ زیادی را به حساب‌هایشان واریز کنند. قبل از پیوستن به تماس با هلند، یک اعلان پاپ آپ در زوم دریافت کردم:

این جلسه در دست تحلیل است. Pindrop Security و فروشندگان شخص ثالث آن صدا و تصویر جلسه شما را ضبط می کنند تا مشخص کنند که آیا شما یک شخص واقعی و/یا فرد مناسب هستید. با کلیک کردن روی «موافقم» در زیر، با جمع‌آوری، استفاده و ذخیره‌سازی جلسه و صدا، اسکن‌های صدا و چهره (که ممکن است اطلاعات بیومتریک در نظر گرفته شوند) و آدرس IP خود (برای تعیین بیشتر ایالت، استان یا کشور) توسط Pindrop موافقت می‌کنید.

به من اطمینان داده شد که چهره، صدا و آدرس IP من بیش از 90 روز حفظ نخواهد شد.

هالند به من گفت که شرکت‌ها اکنون با نامزدهای شغلی جعلی غرق شده‌اند – از قضا، حتی در پیندروپ. هالند گفت: “ما تعدادی از آنها را می بینیم. ما می بینیم که مردم واقعاً کجا کار می کنند، شاید آنها در بخش فناوری اطلاعات کار می کنند.” ما مشتریانی داشته‌ایم که شخصی را استخدام کرده‌اند، اما سپس آن شخص گزارش‌هایی ارائه کرد. آنها دو نفر دیگر را استخدام کردند و مشخص شد که همان فرد سه بار با استفاده از سه صدای مختلف، سه چهره متفاوت، سه هویت مختلف Slack استخدام شده است.»

به طور معمول، اینها کاراکترهای ویدیویی کاملاً تولید شده توسط هوش مصنوعی نیستند. آنها افرادی هستند که از فناوری دیپ فیک برای اصلاح ویژگی های خود استفاده می کنند، تقریباً مانند یک ماسک دیجیتال. در گذشته ترفندی برای تشخیص آن وجود داشت: از فرد بخواهید سه انگشت خود را جلوی صورتش بگیرد.

هالند گفت: “این در حال حاضر به هیچ وجه کار نمی کند. مدل های هوش مصنوعی آنقدر خوب هستند که می توانند دست درست کنند، شما می توانید دست های خود را جلوی صورت خود قرار دهید.” اکنون عملاً برای چشمان شما نامحسوس است.

Reality Defender's Lisle به من گفت که با پیشرفت فناوری، حملات کمتر چالش برانگیز می شوند. زمانی که کلاهبرداران جعل هویت یک مدیر واحد بودند، اکنون کارکنان را در تمام سطوح یک شرکت هدف قرار می دهند. او در مورد حمله اخیر به یک شرکت سهامی عام به من گفت که از نام بردنش خودداری کرد، که در آن کلاهبردار به لینکدین رفت، نام هر کارمند فعلی را کشید و سپس TikTok و فیس بوک را خراش داد تا یک «حوضه اطلاعات» ایجاد کند و برای هر یک از آن افراد یک اثر صوتی به دست آورد. اطلاعات و چاپ صوتی آنها در یک LLM وارد شد که یک پنجره زمینه و نقشه ایجاد کرد و سپس با فراخوانی کارکنان در همه سطوح “کل شرکت را پراکنده کرد”.

لیزل گفت: «در امنیت سایبری، ما در مورد چیزهایی به نام «مرزهای اعتماد» صحبت می کنیم. مشکل دیپ فیک این است که همیشه این مرز اعتماد ضمنی وجود دارد، یعنی دیدن و شنیدن، باور کردن. ما 40000 سال گذشته را صرف اعتماد به گوش و بینایی خود کرده‌ایم، اما اکنون دیگر نمی‌توانیم. همه این مرزهای اعتماد وجود دارد که ما هرگز مجبور نبوده‌ایم به آن‌ها فکر کنیم قبلاً جالب است.

در حال حاضر، این نرم‌افزار فقط شرکت‌های بزرگ را هدف قرار می‌دهد: آنها نیاز، سهام بالا و جیب‌های عمیقی برای پرداخت هزینه آن دارند. اما افراد عادی نرم افزاری برای تشخیص دیپ فیک ندارند و در آینده قابل پیش بینی نیز نخواهند داشت. همانطور که هالند توضیح می دهد، بزرگترین چالش برای پذیرش انبوه آگاهی است، زیرا “بسیاری از مصرف کنندگان از تهدید بی اطلاع هستند، بنابراین آنها نمی دانند چگونه راه حلی بیابند: زمین صفر با شرکت هایی است که به مصرف کننده خدمات می دهند.” Pindrop هنوز محصول مصرفی ندارد، اما توسعه آن را در آینده رد نمی کند. هالند گفت، چالش این است که «این سیستم‌ها را به اندازه کافی سریع، دقیق و قابل اعتماد بسازیم که مردم بتوانند در لحظات روزمره به آن اعتماد کنند».

Reality Defender دیدگاه متفاوتی دارد. Steinhardt گفت که یک محصول مصرفی “زمین بازی ناهموار و ناهموار برای مردم” ایجاد می کند.

Steinhardt گفت: «آن را مانند یک آنتی ویروس در نظر بگیرید: در حالی که زمانی چیزی بود که افراد به آن اهمیت می‌دادند (یا بدتر از آن اهمیت نمی‌دادند)، اکنون مرورگرهای ما، ارائه‌دهندگان ایمیل، ارائه‌دهندگان اینترنت و موارد مشابه، همه فایل‌ها را قبل از رسیدن به رایانه ما برای بدافزار اسکن می‌کنند. “این رویکرد ما برای تشخیص عمیق دروغین است.”

دیپ فیک من نتوانسته بود خانواده ام را فریب دهد، اما من واقعاً آن را آزمایش نکرده بودم. سال‌هاست که سازمان‌های مجری قانون در سراسر کشور درباره یک کلاهبرداری جعلی آدم‌ربایی هشدار می‌دهند: یکی از والدین با صدایی بسیار قانع‌کننده تماس می‌گیرد و درخواست کمک می‌کند و سپس «رباینده» باج می‌خواهد. حتی اگر صدا کاملا قانع کننده نباشد، گریه و جیغ قانع کننده است. من نمی توانستم خودم را مجبور به انجام این کار با والدینم کنم، حتی اگر جعلی باشد. من به طور خلاصه به سایر کلاهبرداری‌ها فکر کردم: می‌توانستم با بانکم یا شاید شرکت بیمه سلامتم تماس بگیرم، اما ایده قفل کردن حساب‌هایم – یا ارتکاب کلاهبرداری واقعی و مشروع – من را در آزمایش ناراحت کرد. در عوض به برادرم زنگ زدم. در حالی که صدا به او سلام کرد گفت: “اوه، نه.” او هم گول نخورد.