جعبه سیاه هوش مصنوعی چیست؟

برخی از افراد، با شنیدن اصطلاح “جعبه سیاه” دستگاه‌های ضبط در هواپیماها را به یاد می‌آورد که در صورت وقوع اتفاق غیرقابل تصور، برای تجزیه و تحلیل پس از مرگ ارزشمند هستند. برای برخی دیگر، تئاترهای کوچک و با حداقل تجهیزات را تداعی می‌کند. اما جعبه سیاه، یک اصطلاح مهم در دنیای هوش مصنوعی نیز می‌باشد.

جعبه‌های سیاه هوش مصنوعی به سیستم‌های هوش مصنوعی با عملکرد داخلی‌ای که برای کاربران نامرئی هستند، اشاره دارد. شما می‌توانید به آنها ورودی بدهید و خروجی بگیرید، اما نمی‌توانید کد سیستم یا منطقی که خروجی را تولید کرده است را بررسی کنید.

یادگیری ماشینی زیرمجموعه غالب هوش مصنوعی است. همچنین زیربنای سیستم‌های هوش مصنوعی مولد مانند ChatGPT و DALL-E2  نیز است! سه جزء برای یادگیری ماشین وجود دارد: یک الگوریتم یا مجموعه‌ای از الگوریتم‌ها، داده‌های آموزشی و یک مدل. الگوریتم مجموعه‌ای از رویه‌ها است. در یادگیری ماشینی، یک الگوریتم پس از آموزش بر روی مجموعه بزرگی از مثال‌ها – داده‌های آموزشی – می‌آموزد که الگوها را تشخیص دهد. هنگامی که یک الگوریتم یادگیری ماشینی آموزش داده شد، نتیجه یک مدل یادگیری ماشینی است. مدل چیزی است که مردم استفاده می‌کنند.

بیشتر بخوانید:

به عنوان مثال، یک الگوریتم یادگیری ماشینی می‌تواند برای شناسایی الگوها در تصاویر طراحی شود و داده‌های آموزشی می‌تواند تصاویری از سگ‌ها باشد. مدل یادگیری ماشینی حاصل می‌تواند یک سگ شکار باشد. شما می‌توانید یک تصویر را به عنوان ورودی به آن بدهید و به عنوان خروجی دریافت کنید که تصویر مجموعه‌ای از پیکسل‌ها یک سگ را نشان می‌دهند.

هر یک از سه جزء یک سیستم یادگیری ماشینی می‌تواند پنهان یا در یک جعبه سیاه باشد. همانطور که اکثرا اتفاق می‌افتد، الگوریتم به طور عمومی شناخته شده است که باعث می‌شود قرار دادن آن در جعبه سیاه کمتر موثر باشد. بنابراین توسعه دهندگان هوش مصنوعی برای محافظت از مالکیت معنوی خود اغلب مدل را در جعبه سیاه قرار می‌دهند. رویکرد دیگری که توسعه‌دهندگان نرم‌افزار اتخاذ می‌کنند، پنهان کردن داده‌های مورد استفاده برای آموزش مدل است . به عبارت دیگر، قرار دادن داده‌های آموزشی در یک جعبه سیاه!

متضاد جعبه سیاه گاهی اوقات به عنوان جعبه شیشه‌ای نیز شناخته می‌شود. جعبه شیشه‌ای هوش مصنوعی سیستمی است که الگوریتم‌ها، داده‌های آموزشی و مدل‌های آن برای دیدن همه در دسترس است. اما محققان گاهی اوقات جنبه‌هایی از این موارد را جعبه سیاه توصیف می‌کنند.

این به این دلیل است که محققان به طور کامل نمی‌دانند که الگوریتم‌های یادگیری ماشینی، به ویژه الگوریتم های یادگیری عمیق، چگونه عمل می‌کنند. حوزه هوش مصنوعی قابل توضیح در حال کار بر روی توسعه الگوریتم‌هایی است که اگرچه لزوما جعبه شیشه‌ای نیستند، اما برای انسان بهتر است که قابل درک باشد.

چرا جعبه سیاه هوش مصنوعی مهم است؟

در بسیاری از موارد، دلیل خوبی برای احتیاط در مورد الگوریتم‌ها و مدل‌های یادگیری ماشینی جعبه سیاه وجود دارد. فرض کنید یک مدل یادگیری ماشینی در مورد سلامت شما تشخیص داده است. آیا می‌خواهید مدل جعبه سیاه باشد یا جعبه شیشه ای؟ در مورد پزشک که دوره درمان شما را تجویز می‌کند چطور؟ شاید او دوست داشته باشد بداند که این مدل چگونه به تصمیم خود رسیده است.

بیشتر بخوانید:

اگر یک مدل یادگیری ماشینی که تعیین می‌کند واجد شرایط دریافت وام تجاری از بانک هستید، شما را رد کند، چه؟ آیا نمی‌خواهید دلیل آنرا بدانید؟ اگر این کار را کردید، می‌توانید به‌طور مؤثرتری نسبت به تصمیم اعتراض کنید، یا وضعیت خود را تغییر دهید تا شانس خود را برای دریافت وام در دفعه بعد افزایش دهید.

جعبه سیاه همچنین پیامدهای مهمی برای امنیت سیستم نرم افزاری دارد. برای سال‌ها، بسیاری از افراد در زمینه محاسبات فکر می‌کردند که نگه‌داشتن نرم‌افزار در جعبه سیاه مانع از بررسی آن توسط هکرها می‌شود و بنابراین امن خواهد بود. این فرض تا حد زیادی نادرست است زیرا هکرها می‌توانند نرم‌افزار را مهندسی معکوس کنند – یعنی با مشاهده دقیق نحوه عملکرد یک نرم‌افزار، یک فاکس بسازند – و آسیب‌پذیری‌هایی را برای بهره‌برداری کشف کنند.

اگر نرم‌افزار در جعبه شیشه‌ای قرار دارد، آزمایش‌کنندگان نرم‌افزار و هکرهای خوش‌نیت می‌توانند آن را بررسی کرده و نقاط ضعف را به سازندگان اطلاع دهند و در نتیجه حملات سایبری را به حداقل برسانند.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *