ICTPRESS - كارشناسان حوزه هوش مصنوعي و امنيت سايبري با تأكيد بر ظرفيت هاي اين فناوري براي ارتقاي امنيت، نسبت به ريسك هاي استفاده بدون ضابطه از هوش مصنوعي هشدار دادند و بر ضرورت نظارت انساني، حكمراني داده، مديريت ريسك و تربيت نيروي متخصص تأكيد كردند.
به گزارش شبكه خبري ICTPRESS، پنل تخصصي هوش مصنوعي و امنيت سايبري در استيج تازه هاي اقتصاد در بيست ونهمين نمايشگاه بين المللي الكترونيك، كامپيوتر و تجارت الكترونيك (الكامپ) برگزار شد. در اين نشست، كارشناسان ارشد حوزه هوش مصنوعي درباره آينده اين فناوري و لزوم توجه به امنيت سايبري در استفاده از هوش مصنوعي به تبادل نظر پرداختند.
استفاده از عامل هاي هوشمند در حوزه هاي پرريسك با نظارت انساني حميدرضا شهرياري، عضو هيأت علمي دانشگاه صنعتي اميركبير در اين نشست با اشاره به تفاوت سطح ريسك در كاربرد هاي مختلف هوش مصنوعي گفت: ميزان استفاده از عامل هاي هوشمند بايد متناسب با سطح ريسك تصميم هايي باشد كه اين عامل ها اتخاذ مي كنند؛ چرا كه برخي تصميم ها قابل بازگشت هستند، اما در برخي حوزه ها يك تصميم اشتباه مي تواند خسارت هاي جدي و حتي جبران ناپذيري ايجاد كند.
وي با اشاره به بحث هوش عمومي مصنوعي (AGI) افزود: هنوز درباره اينكه هوش مصنوعي به سطح توانمندي و استقلال فكري انسان رسيده است يا خير، اختلاف نظر وجود دارد و در برخي حوزه ها همچنان فاصله قابل توجهي با اين سطح از توانمندي وجود دارد.
شهرياري ادامه داد: حوزه امنيت از جمله بخش هايي است كه تصميم ها و اقدامات در آن مي تواند تأثيرات بسيار گسترده اي داشته باشد. براي مثال، در برخي فعاليت هاي روزمره مي توان وظايف را به عامل هاي هوشمند سپرد؛ چرا كه خطاي آنها معمولاً قابل اصلاح و بازگشت است. اما در سامانه هاي حساس و زيرساخت هاي حياتي، شرايط متفاوت است و تصميم اشتباه مي تواند پيامد هاي فاجعه باري داشته باشد.
عضو هيأت علمي دانشگاه صنعتي اميركبير با اشاره به نمونه هايي مانند كنترل سامانه هاي حساس صنعتي و نيروگاه ها گفت: اگر عامل هوش مصنوعي وظيفه پايش يا كنترل يك سامانه حياتي را بر عهده داشته باشد و تصميم اشتباه آن به يك اقدام غيرقابل بازگشت منجر شود، حضور و مداخله انسان ضروري است؛ بنابراين در اين حوزه ها بايد سطح اختيار عامل هاي هوشمند متناسب با ريسك فعاليت آنها تعيين شود.
وي يكي ديگر از الزامات استفاده از عامل هاي هوشمند را حكمراني هوش مصنوعي (AI Governance) دانست و اظهار كرد: حكمراني هوش مصنوعي بايد محدوده فعاليت و اختيارات عامل ها را مشخص كند. تصميم هاي اين عامل ها نيز بايد تا حد امكان شفاف و قابل رديابي باشد تا مشخص شود يك تصميم بر چه مبنايي اتخاذ شده است.
شهرياري همچنين بر اهميت مديريت دسترسي ها در عامل هاي هوشمند تأكيد كرد و گفت: در حوزه امنيت، اصل قديمي كمترين سطح دسترسي اهميت زيادي دارد. اگر يك عامل هوشمند اختيارات گسترده اي داشته باشد و مهاجم بتواند آن عامل را تحت كنترل خود درآورد، همان اختيارات مي تواند عليه سازمان مورد سوءاستفاده قرار گيرد.
وي افزود: امنيت عامل هاي هوشمند هنوز نيازمند توسعه و كار بيشتري است و يكي از نگراني هاي جدي، امكان سوءاستفاده مهاجمان از عامل هايي است كه به سامانه ها و داده هاي مختلف دسترسي دارند. به همين دليل، سطح دسترسي هر عامل بايد متناسب با مأموريت و ريسك آن محدود شود.
عضو هيأت علمي دانشگاه صنعتي اميركبير تأكيد كرد: نمي توان همه وظايف را به هوش مصنوعي سپرد و ميزان اختيار عامل هاي هوشمند بايد بر اساس ريسك هر فرآيند تعيين شود. هرچه تصميم يك عامل پيامد هاي حساس تر، گسترده تر و برگشت ناپذيرتري داشته باشد، نياز به كنترل، نظارت و مداخله انساني نيز بيشتر خواهد بود.
شهرياري در ادامه پنل هوش مصنوعي و امنيت سايبري با اشاره به مفهوم No Free Lunch در هوش مصنوعي گفت: بر اساس اين مفهوم، هيچ مدل هوش مصنوعي وجود ندارد كه بتواند همه مسائل و حوزه ها را با بالاترين درجه صحت و دقت حل كند. بنابراين، براي مسائل مختلف بايد از مدل ها و روش هاي متناسب با همان مسئله استفاده كرد.
وي افزود: حتي اگر يك مدل در يك حوزه عملكرد بسيار خوبي داشته باشد، ممكن است در حوزه اي ديگر عملكرد ضعيف تري ارائه دهد و با گذشت زمان نيز به دليل تغيير داده ها، عملكرد آن دستخوش تغيير شود. در اينجا دو مفهوم رانش داده و رانش مفهومي اهميت پيدا مي كند؛ به اين معنا كه توزيع داده ها يا رابطه ميان داده ها و نتايج مورد انتظار به مرور زمان تغيير مي كند و مدلي كه در يك مقطع عملكرد مناسبي داشته، ممكن است بعداً دقت اوليه خود را از دست بدهد.
شهرياري با تأكيد بر نقش داده در توسعه مدل هاي هوش مصنوعي اظهار كرد: امروز ديگر صرفاً الگوريتم يا مدل، عامل اصلي برتري در هوش مصنوعي نيست، چرا كه بسياري از الگوريتم ها و مدل هاي پايه در دسترس هستند. بخش مهمي از مزيت رقابتي مدل ها به داده هايي برمي گردد كه براي آموزش و توسعه آنها مورد استفاده قرار مي گيرد.
عضو هيأت علمي دانشگاه اميركبير ادامه داد: براي نمونه، در يك سازمان بسياري از مدل ها و ابزارهاي مورد نياز در دسترس هستند و حتي كتابخانه هاي مختلف برنامه نويسي و مدل هاي آماده وجود دارد، اما چالش اصلي، دسترسي به يك ديتاست مناسب است. داده بايد به اندازه كافي وجود داشته باشد، كيفيت لازم را داشته باشد، دچار سوگيري نباشد، داده هاي ناقص و نادرست در آن كنترل شده باشد و برچسب گذاري داده ها نيز به شكل صحيح انجام شده باشد.
وي تصريح كرد: كيفيت داده يكي از پايه هاي اصلي عملكرد مدل هاي هوش مصنوعي است و براي دستيابي به داده مناسب، موضوع مهندسي داده و مديريت چرخه عمر داده اهميت زيادي دارد. در واقع، اگر داده ورودي كيفيت لازم را نداشته باشد، حتي بهترين مدل نيز نمي تواند خروجي قابل اتكايي ارائه كند.
شهرياري با اشاره به اهميت اين موضوع در حوزه امنيت سايبري گفت: مسئله كيفيت داده در امنيت اهميت بيشتري پيدا مي كند. براي مثال، اگر داده هاي مورد استفاده براي آموزش يا تصميم گيري يك سامانه امنيتي دچار مسموميت داده اي (Data Poisoning) شده باشند، خروجي مدل نيز مي تواند تحت تأثير قرار گيرد. همچنين وجود سوگيري، داده هاي ناقص يا داده هاي نادرست مي تواند عملكرد سامانه هاي هوش مصنوعي امنيتي را با مشكل مواجه كند.
وي در پايان تأكيد كرد: بنابراين، در كنار انتخاب مدل و الگوريتم مناسب، بايد روي كيفيت، سلامت و مديريت داده سرمايه گذاري كرد؛ چرا كه بخش مهمي از قابليت اتكاي هوش مصنوعي به داده اي وابسته است كه مدل براساس آن آموزش مي بيند و تصميم گيري مي كند.
هوش مصنوعي هنوز جايگزين متخصصان امنيت نمي شود وحيد خدابخشي، مديرعامل كاشف هم در نشست هوش مصنوعي و امنيت سايبري با اشاره به پيشرفت هاي سريع هوش مصنوعي در حوزه امنيت سايبري، اظهار كرد: در سه تا چهار سال اخير و به ويژه چند ماه گذشته، استفاده از داده هاي شبيه سازي شده و واقعي مانند ترافيك شبكه و كد هاي آسيب پذير، زمينه توسعه ابزار هاي هوشمند براي شناسايي آسيب پذيري ها را فراهم كرده است.
وي كاربرد هاي هوش مصنوعي در امنيت سايبري را به طور كلي در دو دسته خودكارسازي فرايند ها و شناسايي الگو ها دانست و گفت: خودكارسازي شامل اقداماتي مانند شناسايي و پيگيري موارد، تيكتينگ و تهيه گزارش است؛ يعني كار هاي روتيني كه پيش تر توسط نيروي انساني انجام مي شد، مي تواند به صورت خودكار انجام شود.
خدابخشي افزود: در حوزه شناسايي الگو نيز هوش مصنوعي با استفاده از داده هاي آموزشي مي تواند موارد جديد، از جمله ترافيك شبكه، را بر اساس الگو هاي شناخته شده دسته بندي و موارد مشكوك را شناسايي كند. با ظهور هوش مصنوعي مولد نيز امكان انجام بخش بيشتري از فعاليت هايي كه متخصصان امنيت در ابعاد مختلف انجام مي دهند، با دقت و قابليت هاي بيشتر فراهم شده است.
مديرعامل كاشف با تأكيد بر ضرورت حفظ نظارت انساني بر عملكرد هوش مصنوعي گفت: هنوز تا جايي كه هوش مصنوعي بتواند به طور كامل جايگزين متخصص امنيت شود فاصله داريم، اما با رعايت اصل Human in the Loop مي توان از اين فناوري براي دسته بندي و تشخيص رخداد هاي مشكوك و شناسايي آسيب پذيري هاي فرايند هاي امنيتي استفاده كرد.
وي گفت: در حال حاضر با ورود به مرحله استفاده از ايجنت ها در امنيت سايبري مواجه هستيم؛ ايجنت هايي كه مي توانند مجموعه اي از وظايف را مانند يك مدير امنيت سايبري انجام دهند و در نهايت، با حفظ نظارت انساني، تصميم يا اقدام نهايي را به انسان واگذار كنند.
خدابخشي در ادامه پنل هوش مصنوعي و امنيت سايبري با تأكيد بر اهميت امنيت در تمام چرخه عمر هوش مصنوعي، اظهار كرد: امنيت هوش مصنوعي از داده آغاز مي شود و موضوعاتي مانند جمع آوري، پاكيزگي، قابليت اتكا، سوگيري، نويز و دستكاري داده ها بايد از ابتدا مورد توجه قرار گيرد.
وي افزود: در مرحله طراحي و آموزش مدل نيز بايد مشخص شود كه آيا مدل و داده مورد استفاده براي كاربرد موردنظر مناسب هستند و آيا شرايط استفاده از آن به درستي ارزيابي شده است. همچنين نحوه آموزش، به روزرساني مدل ها و استفاده از پايگاه هاي داده برداري براي نگهداري اطلاعات سازمان و داده هاي زمينه اي، بخشي از الزامات امنيتي اين چرخه است.
خدابخشي با اشاره به ضرورت رعايت ملاحظات امنيتي از مرحله طراحي و نيازسنجي تا بازنشستگي يك سرويس، نسبت به شتاب زدگي در استفاده از ابزارهاي هوش مصنوعي هشدار داد و گفت: به ويژه در حوزه بانكي و فناوري هاي مالي، رقابت براي استفاده از اين ابزارها افزايش يافته، اما پيش از استفاده بايد قابل اتكا و قابل اعتماد بودن مدل ها و همه جوانب آن بررسي شود.
وي با اشاره به كاربرد هوش مصنوعي در اعتبارسنجي و اعطاي تسهيلات بانكي تصريح كرد: اگر براي تصميم گيري درباره اعتبار يك فرد از داده هاي مخدوش، ناعادلانه و داراي سوگيري استفاده كنيم، ممكن است به جاي كاهش تبعيض، همان سوگيري ها را در يك سيستم هوشمند نهادينه كنيم و شكاف عدالت را افزايش دهيم.
مديرعامل كاشف تأكيد كرد: اين موضوع بايد در چارچوب حكمراني هوش مصنوعي مورد توجه نهادهاي حاكميتي قرار گيرد. هدف از استفاده از هوش مصنوعي نبايد صرفاً سرعت بخشيدن به فرايندها باشد؛ بلكه انتظار مي رود اين فناوري به افزايش عدالت نيز كمك كند. قرار نيست انسان را از فرايند حذف كنيم تا سوگيري هاي شناختي، روابط، احساسات و سلايق شخصي حذف شود و در نهايت همان سوگيري ها را به صورت سيستماتيك در يك هوش مصنوعي بازتوليد كنيم.
خدابخشي در ادامه نشست هوش مصنوعي و امنيت سايبري با تأكيد بر اهميت امنيت در تمام چرخه عمر هوش مصنوعي، اظهار كرد: امنيت هوش مصنوعي از داده آغاز مي شود و موضوعاتي مانند جمع آوري، پاكيزگي، قابليت اتكا، سوگيري، نويز و دستكاري داده ها بايد از ابتدا مورد توجه قرار گيرد.
وي افزود: در مرحله طراحي و آموزش مدل نيز بايد مشخص شود كه آيا مدل و داده مورد استفاده براي كاربرد موردنظر مناسب هستند و آيا شرايط استفاده از آن به درستي ارزيابي شده است. همچنين نحوه آموزش، به روزرساني مدل ها و استفاده از پايگاه هاي داده برداري براي نگهداري اطلاعات سازمان و داده هاي زمينه اي، بخشي از الزامات امنيتي اين چرخه است.
خدابخشي با اشاره به ضرورت رعايت ملاحظات امنيتي از مرحله طراحي و نيازسنجي تا بازنشستگي يك سرويس، نسبت به شتاب زدگي در استفاده از ابزارهاي هوش مصنوعي هشدار داد و گفت: به ويژه در حوزه بانكي و فناوري هاي مالي، رقابت براي استفاده از اين ابزارها افزايش يافته، اما پيش از استفاده بايد قابل اتكا و قابل اعتماد بودن مدل ها و همه جوانب آن بررسي شود.
وي با اشاره به كاربرد هوش مصنوعي در اعتبارسنجي و اعطاي تسهيلات بانكي تصريح كرد: اگر براي تصميم گيري درباره اعتبار يك فرد از داده هاي مخدوش، ناعادلانه و داراي سوگيري استفاده كنيم، ممكن است به جاي كاهش تبعيض، همان سوگيري ها را در يك سيستم هوشمند نهادينه كنيم و شكاف عدالت را افزايش دهيم.
مديرعامل كاشف تأكيد كرد: اين موضوع بايد در چارچوب حكمراني هوش مصنوعي مورد توجه نهادهاي حاكميتي قرار گيرد. هدف از استفاده از هوش مصنوعي نبايد صرفاً سرعت بخشيدن به فرايندها باشد؛ بلكه انتظار مي رود اين فناوري به افزايش عدالت نيز كمك كند. قرار نيست انسان را از فرايند حذف كنيم تا سوگيري هاي شناختي، روابط، احساسات و سلايق شخصي حذف شود و در نهايت همان سوگيري ها را به صورت سيستماتيك در يك هوش مصنوعي بازتوليد كنيم.
ارزش واقعي هوش مصنوعي صادق انصاري، مدير امنيت و فناوري اطلاعات شركت ملي انفورماتيك به عنوان سخنران بعدي نشست با اشاره به تفاوت ميان كاربرد واقعي هوش مصنوعي و جنبه هاي تبليغاتي آن اظهار كرد: بخشي از آنچه امروز در بازار با عنوان هوش مصنوعي عرضه مي شود، ارزش عملياتي ايجاد كرده و بخشي ديگر بيشتر جنبه بازاريابي و هيجاني دارد. مرز ميان اين دو زماني مشخص مي شود كه استفاده از هوش مصنوعي بتواند در محيط واقعي، شواهدي از بهبود عمليات امنيتي ارائه دهد.
وي افزود: براي ارزيابي ارزش عملياتي هوش مصنوعي، صرفاً نبايد دقت مدل يا قابليت هاي فني آن را ملاك قرار داد، بلكه بايد بررسي كرد كه اين فناوري در محيط واقعي سازمان تا چه اندازه به عمليات امنيت كمك كرده و كدام شاخص امنيتي را بهبود داده است.
انصاري با اشاره به كاربرد هوش مصنوعي در مديريت آسيب پذيري ها ادامه داد: براي مثال، در بخش مديريت آسيب پذيري ممكن است هزاران هشدار درباره آسيب پذيري هاي مختلف سامانه ها دريافت كنيم. اگر هوش مصنوعي بتواند اين حجم از هشدارها را دسته بندي و اولويت بندي كند و از ميان صدها يا هزاران مورد، آسيب پذيري هاي حساس تر، اثرگذارتر و داراي احتمال بالاتر براي سوءاستفاده را شناسايي و به تيم امنيت ارائه دهد، مي توان گفت كه هوش مصنوعي به شكل واقعي در عمليات امنيتي ارزش ايجاد كرده است.
مدير امنيت و فناوري اطلاعات شركت ملي انفورماتيك با تأكيد بر ضرورت قابل اندازه گيري بودن نتايج استفاده از هوش مصنوعي گفت: در چارچوب هاي مديريت ريسك هوش مصنوعي نيز بر قابليت اندازه گيري تأكيد شده است. به اعتقاد من، ابزاري زماني مي تواند به عنوان يك راهكار كاربردي شناخته شود كه بتوان ارزش و اثرگذاري آن را اندازه گيري كرد.
وي با اشاره به روند استفاده مهاجمان سايبري از هوش مصنوعي نيز گفت: در سال 2025، برخي گزارش ها نشان مي داد كه مهاجمان بيشتر از هوش مصنوعي در بخش هاي تحقيقاتي و خودكارسازي فعاليت هاي خود استفاده مي كنند، اما در سال جاري نمونه هايي از توسعه بدافزار با استفاده از هوش مصنوعي نيز گزارش شده است. بنابراين، هر دو جنبه استفاده از هوش مصنوعي، يعني كاربرد دفاعي و استفاده مهاجمان، در حال شكل گيري است.
انصاري تأكيد كرد: براي سنجش ارزش هوش مصنوعي بايد يك چارچوب مشخص و مجموعه اي از شاخص ها داشته باشيم و براساس آن ارزيابي كنيم كه اين فناوري تا چه اندازه براي سازمان ارزش ايجاد مي كند. در نهايت، مرز ميان هوش مصنوعي واقعي و هوش مصنوعي صرفاً تبليغاتي بايد در بستر خود سازمان و براساس نتايج عملياتي و اعداد و ارقام مشخص شود.
وي درباره ميزان اتكا به هوش مصنوعي در تصميم گيري هاي امنيتي نيز گفت: اينكه در چه بخش هايي بتوانيم از هوش مصنوعي استفاده كنيم، كاملاً مبتني بر ريسك است. ابتدا بايد مشخص كنيم استفاده از هوش مصنوعي در هر حوزه چه ميزان ريسك ايجاد مي كند و براساس آن سطح اختيار اين فناوري را تعيين كنيم.
مدير امنيت و فناوري اطلاعات شركت ملي انفورماتيك توضيح داد: در برخي حوزه ها، هوش مصنوعي صرفاً مي تواند اطلاعات را بررسي و يك خروجي يا هشدار ارائه كند كه در اين حالت ريسك استفاده پايين تر است. در سطح بعد، هوش مصنوعي مي تواند علاوه بر بررسي، يك اقدام را نيز پيشنهاد دهد كه همچنان مي توان با ريسك محدودي آن را مديريت كرد. در حوزه هاي حساس تر، لازم است انسان به عنوان حلقه اي در فرآيند تصميم گيري حضور داشته باشد و پس از تأييد انساني، اقدام انجام شود.
انصاري ادامه داد: در برخي فعاليت هايي كه ريسك بسيار پاييني دارند، حتي مي توان به هوش مصنوعي اجازه داد اقدام را به صورت خودكار انجام دهد. نكته مهم اين است كه اقدام انجام شده توسط هوش مصنوعي بايد قابل رديابي و بررسي باشد؛ يعني مشخص باشد اين اقدام براساس چه داده اي، با چه دستوري و با چه سطح دسترسي انجام شده است.
وي در پايان بر ضرورت ايجاد سازوكار بازخورد تأكيد كرد و گفت: هر اقدامي كه هوش مصنوعي انجام مي دهد بايد قابل بررسي و ارزيابي باشد و سازوكار بازخورد نيز وجود داشته باشد تا بتوان عملكرد آن را به صورت مستمر سنجيد و در صورت نياز اصلاح كرد.
انصاري با اشاره به انتخاب ميان استفاده از خدمات ابري يا استقرار محلي مدل هاي هوش مصنوعي گفت: پيش از آنكه درباره معماري و اينكه از مدل ابري يا محلي استفاده كنيم تصميم بگيريم، بايد مشخص كنيم چه داده هايي در اختيار سازمان قرار دارد و استفاده از هر يك از اين داده ها در چه محيطي مجاز است.
وي افزود: پيش از انتخاب معماري، بايد حاكميت داده در سازمان وجود داشته باشد و طبقه بندي داده ها مشخص شده باشد تا بدانيم هر نوع داده را در چه محيطي و با چه سطحي از دسترسي مي توان استفاده كرد. انتخاب معماري نيز بايد متناسب با سطح ريسك و حساسيت داده ها انجام شود.
انصاري ادامه داد: استفاده از خدمات ابري از نظر سرعت دسترسي به مدل هاي جديد و كاهش هزينه هاي اوليه مي تواند مزيت داشته باشد، اما در مقابل، اين نگراني وجود دارد كه كنترل داده از سازمان خارج شود. در استقرار محلي نيز سازمان كنترل بيشتري بر داده خواهد داشت، اما هزينه هاي مربوط به زيرساخت GPU، نگهداري، پردازش و نيروي انساني افزايش پيدا مي كند.
مدير امنيت و فناوري اطلاعات شركت ملي انفورماتيك تصريح كرد: به همين دليل، شايد بهترين راهكار براي سازمان ها استفاده از يك مدل تركيبي باشد؛ به اين معنا كه متناسب با سطح ريسك و طبقه بندي داده، براي هر مورد معماري مناسب انتخاب شود.
وي با اشاره به رويكردهاي مديريت ريسك هوش مصنوعي گفت: در اين رويكردها تأكيد مي شود كه ابتدا بايد زمينه و ريسك هاي استفاده از هوش مصنوعي شناسايي و نقشه برداري شود و پس از آن درباره معماري و كنترل داده تصميم گرفت. بنابراين، معماري اهميت زيادي دارد، اما انتخاب آن بايد به گونه اي باشد كه ضمن كنترل هزينه ها، محرمانگي داده و كنترل سازمان بر اطلاعات را نيز حفظ كند.
انصاري تأكيد كرد: پيش از تصميم گيري درباره استفاده از معماري ابري يا محلي، بايد از داده و ريسك شروع كنيم. اجراي مدل مهم است، اما مهم تر از آن اين است كه مشخص كنيم چه نوع داده اي قرار است در اختيار چه نوع مدلي قرار گيرد.
وي در بخش ديگري از سخنان خود درباره مسئوليت پذيري در استفاده از هوش مصنوعي اظهار كرد: زماني كه سازمان تصميم مي گيرد از هوش مصنوعي در يك فرآيند استفاده كند، چند تصميم مهم از قبل گرفته شده است؛ از جمله اينكه هوش مصنوعي در چه فرآيندي مورد استفاده قرار گيرد و مسئول آن فرآيند چه كسي باشد.
انصاري ادامه داد: براي خود مدل يا سامانه هوش مصنوعي نيز بايد مسئول مشخصي وجود داشته باشد و در مواردي كه تصميم نيازمند تأييد انساني است، فردي كه در حلقه تصميم گيري قرار مي گيرد نيز مسئوليت مشخصي خواهد داشت. بنابراين، مسئوليت در استفاده از هوش مصنوعي ميان بخش ها و افراد مختلف تقسيم مي شود و بايد از ابتدا حدود اين مسئوليت ها مشخص باشد.
مدير امنيت و فناوري اطلاعات شركت ملي انفورماتيك خاطرنشان كرد: اگر در نتيجه استفاده از هوش مصنوعي اشتباهي رخ دهد، نمي توان صرفاً گفت مدل اشتباه كرد. سازمان پيش از استفاده از هوش مصنوعي درباره به كارگيري آن تصميم گرفته و بايد مسئوليت ها و سازوكار نظارت را نيز از ابتدا مشخص كرده باشد.
امنيت صد درصدي در فضاي سايبري وجود ندارد حسام صالح پور، متخصص هوش مصنوعي در سازمان ملل و دانش آموخته دانشگاه برن سوئيس، در پنل هوش مصنوعي و امنيت سايبري با اشاره به تحقيقات و پروژه هاي انجام شده در حوزه هوش مصنوعي، اظهار كرد: امنيت صد درصدي در فضاي سايبري وجود ندارد و به جاي تمركز صرف بر ايجاد امنيت مطلق، بايد بر مديريت مستمر ريسك تمركز كرد.
وي يكي از تهديد هاي مهم سازماني را تلاش مهاجمان براي ايجاد يك مسير ورود به سيستم ها و دسترسي به داده هاي سازمان ها دانست و افزود: شركت هاي بزرگ نيز در سطح سازماني در حال تحقيق درباره اين موضوع هستند كه مهاجم چگونه مي تواند به داده ها و اطلاعات يك شركت دسترسي پيدا كند.
صالح پور با تأكيد بر اينكه امنيت هوش مصنوعي صرفاً به خود مدل محدود نمي شود، گفت: بايد چرخه عمر هوش مصنوعي را در نظر گرفت و مشخص باشد چه كساني به داده ها دسترسي دارند، داده ها چگونه نگهداري و محافظت مي شوند و الزامات حريم خصوصي داده، حفاظت از داده و حكمراني هوش مصنوعي چگونه رعايت مي شود.
وي ادامه داد: اين موضوع اهميت دارد تا متخصصان امنيت در آينده بتوانند لايه هاي مختلف امنيتي را به درستي شناسايي كرده و از آنها استفاده كنند. اقداماتي مانند Red Teaming، آزمون هاي امنيتي و پايش مستمر نيز در سطح سازماني و حتي در سطح جهاني و اروپا اهميت زيادي دارند.
اين متخصص هوش مصنوعي در سازمان ملل در ادامه اين نشست با اشاره به تأثير هوش مصنوعي بر زندگي روزمره، فعاليت هاي سازماني، آموزشي و پژوهشي اظهار كرد: با توجه به تغيير شكل و فرمت فعاليت ها، بايد بررسي كنيم هوش مصنوعي چه قابليت هايي به مهارت هاي افراد اضافه مي كند و آن را صرفاً به عنوان يك گزينه يا ابزار جانبي در نظر نگيريم.
وي افزود: متخصصان امنيت آينده بايد هوش مصنوعي را تنها به معناي يادگيري ماشين نبينند، بلكه لازم است بتوانند معماري هاي مختلف را لايه به لايه بررسي كرده و مدل ها را از منظر امنيتي به طور كامل ارزيابي كنند.
صالح پور همچنين بر اهميت آموزش هاي ميان رشته اي و ظرفيت سازي در حوزه هوش مصنوعي و امنيت تأكيد كرد و گفت: بايد روي توسعه مهارت ها در سطح ملي و بين المللي تمركز كنيم تا بتوانيم اين ظرفيت ها را گسترش داده و در سطح جهاني با شركت هاي بزرگ رقابت كنيم.
وي با اشاره به ظرفيت بالاي ايران در اين حوزه خاطرنشان كرد: پتانسيل موجود در ايران بسيار بالاست، اما اين ظرفيت هنوز در سطح جهاني آن طور كه بايد به نمايش گذاشته نشده است.
امنيت هوش مصنوعي بدون نيروي انساني ماهر ممكن نيست گفتني است سيدعلي صموتي، پژوهشگر دكتري و مدرس دانشگاه و مدير اين نشست هم با تأكيد بر ضرورت تدوين مسير مشخص براي استفاده از هوش مصنوعي در حوزه امنيت، گفت: سازمان ها بايد براساس اسناد بالادستي و استاندارد هاي بين المللي، نياز هاي دانشي و مهارتي نيروي انساني را شناسايي و سواد داده اي آنها را ارتقا دهند.
به گفته وي، افزايش دانش و مهارت كاركنان در كنار رصد مستمر تحولات و مطالعات داخلي و بين المللي، مي تواند به سازمان ها كمك كند تا متناسب با نياز و شرايط خود، راهكار هاي مناسب براي استفاده از هوش مصنوعي در امنيت و همچنين تأمين امنيت خودِ سامانه هاي هوش مصنوعي را انتخاب و پياده سازي كنند.