قرن داوری

مقدمه

پیدایش اندیشه‌های نو، همانند پیدایش گونه‌های نو، سرشار از گونه‌گونی، تصادف و کاوش است. هر چند همهٔ اندیشه‌ها و همهٔ صفات باقی نمی‌مانند، برخی جان سالم به‌در می‌برند! در قلمرو حیات، نیروهایی مرتبط با آنچه «انتخاب طبیعی» (natural selection) می‌نامیم صفات بی‌مصرف یا زیان‌بار را هرس می‌کنند، و در قلمرو اندیشه «داوری» بر پایهٔ دستگاهی از «ارزش‌های مشترک»، اندیشه‌های نغز را از اندیشه‌های نااستوار جدا می‌سازند.

داوری در محدودترین معنای آن را می‌توان به «وارسی» (verification) یا «ارزیابی» (evaluation) فروکاست. برای نمونه یک برهان جدید یک زاده‌ی جدید است که توسط الگوریتمی درستی آن وارسی می‌شود. مسئلهٔ وارسی در ریاضیات و نسبتِ آن با برهان، در آغازِ سدهٔ بیستم به پیدایشِ چارچوب‌های ریاضیِ گوناگون انجامید؛ از «نظریهٔ برهان» گرفته تا «نظریه‌های معناشناختیِ صدق».

یادگیری ماشین امروز تا حد زیادی بر انقلابی تازه تکیه می‌کند که در آن «بازخورد داورانه» از سیگنال‌های داوری گوناگون برای بهبود پاسخ‌ها یا همراستا کردن (alignment) آن‌ها استفاده می‌شود. برای درک بهتر باید به چند سال پیش برگردیم؛ زمانی که مدل‌های زبانی بزرگ با استفاده از آموزش با «یادگیری تقویتی از بازخورد انسانی» دگرگونی‌ای در کیفیت خروجی این مدل‌ها ایجاد کرد که آن‌ها را از کنجکاوی‌های پژوهشی به ابزارهایی مفید برای همگان تبدیل کرد. دیری نپایید که پژوهشگران به اهمیت استفاده از سیگنال‌های مبتنی بر داوری‌های گوناگون پی بردند. در روش یادگیری تقویتی از پاداش وارسی‌پذیر، مدل‌ها در کارهایی که سنجش درستی آن‌ها الگوریتمی بود توانستند به‌مراتب توانمندتر شوند. به این ترتیب حتی محدودیت‌های ناشی از کند بودن بازخورد انسانی هم از میان برداشته شدند. برای نمونه، در یک روش از مدل زبانی خواسته می‌شود که انتگرال تابعی مشخص را به‌دست آورد. در پایان یک الگوریتم با گرفتن مشتق درستی جواب را وارسی می‌کند. این ترفند ساده نه تنها کارایی مدل را در همان کار خاص (یعنی انتگرال‌گیری) بالا می‌برد، بلکه در کارهای بی‌ربط دیگر مانند استدلال‌های علمی، حقوقی و کدزنی هم توانمندتر می‌سازد! سرانجام به‌عنوان یک نمونه‌ی دیگر، روش یادگیری تقویتی از بازخورد کامپایلر (RLCF) یک کامپایلر کد تولیدشده توسط مدل را داوری کرده و به آن سیگنال می‌دهد.

اما دلیل موفقیت چنین روش‌هایی چیست؟ برای درک بهتر مطلب باید به نامتقارن بودن دو عمل «تولید» و «داوری» از نظر پیچیدگی محاسباتی دقت کرد: با آنکه یافتن برهانی تازه برای مسئله‌ای مشخص معمولاً کار دشواری است، وارسی درستی آن به‌مراتب ساده‌تر است. در علوم کامپیوتر «مسئلهٔ صدق‌پذیری بولی» می‌پرسد آیا می‌توان ارزش متغیرهای فرمولی دودویی را به گونه‌ای یافت که فرمول درست باشد؟ بنابراین اگر چنین ارزش‌دهی پیدا شود، گوییم پرسمان صدق‌پذیر است. به‌طور مثال در فرمول (x₁ ∨ ¬x₂) زمانی که x₁=True یا x₂=False باشد صدق‌پذیر است. اگر اندازهٔ فرمول شما بزرگ‌تر شود این مسئله بسیار پیچیده می‌شود. با این حال وارسی یک فرمول بسیار ساده و سریع است.

همین سخن را می‌توان در مورد معناهای عام‌تر «داوری» هم زد. برای مثال برای هر کسی که قدری با حساب دیفرانسیل و انتگرال آشنا باشد می‌داند که عملیات مشتق‌گیری بسیار ساده‌تر و مکانیکی‌تر از انتگرال‌گیری است! همین عدم تقارن باعث می‌شود «داوری» یک پاسخ بسیار سریع‌تر و ساده‌تر از انجام خود انتگرال‌گیری باشد. به همان شکل کامپایل کردن یک کد بسیار ساده‌تر از نوشتن آن است و در نهایت داوری یک اثر، یا یک اندیشه بسیار ساده‌تر از تولید کردن آن است.

این چارچوب به ما در فهم جایگاهمان نسبت به ابزارهای جدید یاری می‌رساند. بر خلاف گذشته، تولید کد و اندیشه و برهان به‌مراتب کم‌ارزش‌تر از داوری دربارهٔ آن‌هاست و با آنکه داوری آسان‌تر به‌نظر می‌رسد، با مجموعه‌ای یکسانی از ابزارها و مسئله همه به راه‌حل یکسانی نمی‌رسند! پیچیدگی‌های نهفته در داوری‌های انسانی زمانی بیشتر آشکار می‌شود که ما از معنای ضعیف‌تر داوری یعنی یک وارسی ساده به معنای بزرگ‌تر آن یعنی یک «ارزش‌گذاری» (valuation) گذر می‌کنیم. تابع ارزش‌گذاری در معنای وارسی بسیار ساده است: یا کد شما کامپایل می‌شود یا نمی‌شود، یا فرمول درست انتگرال گرفته شده یا نه. با این حال این تابع می‌تواند پیچیده‌تر و آمیزه‌ای از سلیقه‌ها و تجربه‌های شخصی و حتی امر زیبایی‌شناسی باشد!

سرشت پیچیده‌ی تابع ارزش‌گذاری معمولاً به وجه اجتماعی آن بازمی‌گردد. باید دقت کرد که نسبت دادن ارزش در نهایت در بستری اجتماعی روی می‌دهد. به نمونه‌ی قبلی RLHF دقت کنیم: داوری خروجی‌های یک مدل زبانی می‌تواند بر اساس یک دیدگاه اجتماعی و سیاسی خاص باشد؛ چیزی که بعداً به مسئلهٔ همراستایی (alignment problem) تغییر شکل پیدا کرد. به همین دلیل داوری به‌صورت فی‌نفسه به «حقیقت» نمی‌انجامد بلکه همسازی با تابعی جمعی از ارزش‌های جمعی است.

داوری همچنان یک کنش انسانی و پیچیده است که سوگیری‌های ما را نیز آشکار می‌کند. پژوهش‌های اخیر در حوزهٔ هوش مصنوعی پدیدهٔ جالب «هک کردن پاداش» (reward hacking) را نشان داده‌اند که در آن مدل راهی پیدا می‌کند تا به‌جای حل واقعی مسئله یک میانبر پیدا کند که از سوگیری نهفته در نمونه‌های ورودی نشأت می‌گیرد. به‌طور مثال ممکن است مدل یاد بگیرد که جواب‌های طولانی‌تر بدهد یا به‌جای آنکه گزاره‌های نادرست کاربر را به او نشان دهد با «چاپلوسی» (sycophancy) با کاربر همنوا شود. یا با سوگیری پیچیده‌سازی کاربر را متقاعد کند که متنی که تولید کرده است درست است!

اکنون پرسش این است: ما چگونه باید خروجی مدل‌های زبانی را داوری کنیم؟ آیا فریفتهٔ آن‌ها می‌شویم و انگیزه‌ای برای به آزمون گذاشتنشان نمی‌یابیم یا اینکه در محیطی کنترل‌شده‌تر آن‌ها را به آزمون گذاشته تا داوری‌هایمان دچار تیرگی نشود؟ هوشِ مصنوعی نیز، همچون هر فناوریِ دیگری پیش از آن، توانِ بیشتری به ما خواهد بخشید، اما ضرورتاً تولیدِ اندیشه‌های نغز را همگانی نخواهد کرد. اندیشه‌های نغز سرانجام باید از داوریِ شخصی فراتر روند و به «ارزش‌گذاری» برسند، که تصمیمی جمعی است. این ارزش‌گذاری بر آزمایش و بر ادعاهای ابطال‌پذیری تکیه دارد که می‌توان آن‌ها را در برابرِ نیازهای جهانِ واقعی و خواست‌های آینده به محک زد.