চ্যাটবটগুলি একটি কিশোর ছেলের আত্মহত্যার কারণ, একটি 9 বছর বয়সী মেয়েকে লালন-পালন করেছে এবং একটি দুর্বল কিশোরকে আত্ম-ক্ষতির জন্য দায়ী করেছে এমন অভিযোগে কয়েকটি মামলার পরে, Character.AI (C.AI) ঘোষণা 13 বছর বা তার বেশি বয়সের কিশোর-কিশোরীদের জন্য একটি পৃথক মডেল, যা বটগুলির সাথে তাদের অভিজ্ঞতাকে আরও নিরাপদ করে তুলবে বলে মনে করা হচ্ছে৷
একটি ব্লগে, C.AI বলেছে যে কিশোর মডেলটি বিকাশ করতে এক মাস সময় লেগেছে, যার লক্ষ্য ছিল বিদ্যমান মডেলটিকে “নির্দিষ্ট প্রতিক্রিয়া বা মিথস্ক্রিয়া থেকে দূরে রাখা, ব্যবহারকারীদের মুখোমুখি হওয়ার সম্ভাবনা হ্রাস করা, বা মডেলটিকে সংবেদনশীল বা প্রত্যাবর্তনের জন্য অনুরোধ করা” পরামর্শমূলক বিষয়বস্তু।”
C.AI বলেছে যে বাচ্চাদের ক্ষতিকারক চ্যাটে জড়িত হওয়ার সম্ভাবনা কমাতে “মডেলের অভিজ্ঞতার বিকাশ” – যার মধ্যে বটগুলিকে উচ্চ-কার্যকর অটিজম সহ একজন কিশোরকে আত্ম-ক্ষতির জন্য শেখানো এবং যে সমস্ত বাচ্চাদের পরিবার মামলা করছে তাদের কাছে অনুপযুক্ত প্রাপ্তবয়স্ক সামগ্রী সরবরাহ করা সহ – মডেল ইনপুট এবং আউটপুট উভয়ই পরিবর্তন করতে হয়েছিল।
চ্যাটবটগুলিকে ক্ষতিকারক ডায়ালগগুলি শুরু করা এবং প্রতিক্রিয়া জানানো বন্ধ করতে, C.AI শ্রেণীবিভাগকে যুক্ত করেছে যা C.AI-কে আউটপুট থেকে সংবেদনশীল সামগ্রী সনাক্ত করতে এবং ফিল্টার করতে সহায়তা করবে৷ এবং সংবেদনশীল বিষয়গুলি নিয়ে আলোচনা করার জন্য বাচ্চাদের বটগুলিকে ঠেলে দেওয়া থেকে বিরত রাখতে, C.AI বলেছে যে এটি “সকল ব্যবহারকারীর কাছ থেকে ইনপুটগুলি সনাক্তকরণ, প্রতিক্রিয়া এবং হস্তক্ষেপ সম্পর্কিত” উন্নতি করেছে৷ এটি আদর্শভাবে চ্যাটে উপস্থিত হওয়া থেকে যেকোনো সংবেদনশীল বিষয়বস্তু ব্লক করা অন্তর্ভুক্ত।
সম্ভবত সবচেয়ে উল্লেখযোগ্যভাবে, C.AI এখন বাচ্চাদের সম্পদের সাথে লিঙ্ক করবে যদি তারা আত্মহত্যা বা আত্ম-ক্ষতি নিয়ে আলোচনা করার চেষ্টা করে, যা C.AI আগে করেনি, হতাশাজনক বাবা-মা মামলা করে যারা সোশ্যাল মিডিয়া প্ল্যাটফর্মের জন্য এই সাধারণ অভ্যাসটিকে চ্যাটবটগুলিতে প্রসারিত করা উচিত।
অন্যান্য কিশোর নিরাপত্তা বৈশিষ্ট্য
শুধুমাত্র কিশোর-কিশোরীদের জন্য মডেলটি তৈরি করার পাশাপাশি, C.AI পরবর্তী বছরের শুরুতে আরও শক্তিশালী পিতামাতার নিয়ন্ত্রণ সহ অন্যান্য সুরক্ষা বৈশিষ্ট্যগুলি ঘোষণা করেছে। এই নিয়ন্ত্রণগুলি বাবা-মাকে ট্র্যাক করতে দেয় যে বাচ্চারা C.AI-তে কত সময় ব্যয় করছে এবং কোন বটগুলির সাথে তারা প্রায়শই ইন্টারঅ্যাক্ট করছে, ব্লগটি বলেছে।
C.AI এছাড়াও কিশোর-কিশোরীদেরকে তারা যখন প্ল্যাটফর্মে এক ঘন্টা কাটাবে তখন তাদের অবহিত করবে, যা বাচ্চাদের অ্যাপে আসক্ত হওয়া থেকে আটকাতে সাহায্য করতে পারে, যেমন অভিভাবকরা অভিযোগ করেছেন। একটি ক্ষেত্রে, বাবা-মাকে তাদের ছেলের আইপ্যাডকে একটি সেফের মধ্যে লক করতে হয়েছিল তাকে অ্যাপটি ব্যবহার করা থেকে বিরত রাখার জন্য যখন বট বারবার তাকে আত্ম-ক্ষতি করতে উত্সাহিত করেছিল এবং এমনকি তার পিতামাতাকে হত্যা করার পরামর্শ দিয়েছিল। সেই কিশোর যখনই পরবর্তীতে অ্যাক্সেস পাবে তখনই অ্যাপটি ব্যবহার করা শুরু করার প্রতিশ্রুতি দিয়েছে, যখন বাবা-মা আশঙ্কা করছেন যে বটগুলির আপাত প্রভাব ক্ষতির কারণ হতে পারে যদি সে পালিয়ে যাওয়ার হুমকি অনুসরণ করে।
