OpenAI, insan içerik moderatörleri üzerindeki yükü azaltmanın bir yolu olarak GPT-4’ü destekler

İnternet çağının en bilinmeyen işlerinden biri içerik moderatörlüğüdür.

Casey Newton, Adrien Chen ve diğerleri daha önce, sayıları binleri bulan ve Facebook gibi büyük sosyal ağlar tarafından kullanıcı tarafından oluşturulan içeriği ihlaller açısından incelemek ve söz konusu platformlardan kaldırmakla görevlendirilen bu emekçilerin içinde bulundukları kötü durum hakkında güzel ve üzücü bir şekilde rapor verdiler.

Maruz kaldıkları içerik, çoğu zaman, diğer çeşitli suçlardan, vahşetlerden ve dehşetlerden bahsetmeye bile gerek yok – çocukların cinsel istismarının tasviri gibi – insanlığın en kötü halindeki ayrıntılı açıklamalarını ve fotoğraf veya video kanıtlarını içerir.

Bu içeriği tespit etmek ve kaldırmakla görevli moderatörler, maruz kalma nedeniyle travma sonrası stres bozukluğu (TSSB), kaygı ve diğer çeşitli akıl hastalıkları ve psikolojik rahatsızlıklarla mücadele ettiğini bildirdi.

AI omuzlama içerik denetimi

Çevrimiçi içerik denetleme yükünün bir kısmını veya potansiyel olarak çoğunu omuzlayabilecek bir yapay zeka (AI) programının iyileştirilmesi olmaz mıydı?

OpenAI’nin umudu bu. Tbugün bir yayınladı Blog yazısı ChatGPT’nin bir sürümünün belkemiğini oluşturan en son halka açık büyük dil modeli (LLM) olan GPT-4’ün diğer şirketler ve kuruluşlar için içeriği denetlemek için etkili bir şekilde kullanılabileceğine dair bulgularını detaylandırıyor.

OpenAI yazarı Lilian Weng View, “Bunun, AI’nın çevrimiçi trafiği platforma özgü politikaya göre yönetmeye yardımcı olabileceği ve çok sayıda insan moderatörün zihinsel yükünü hafifletebileceği dijital platformların geleceği hakkında daha olumlu bir vizyon sunduğuna inanıyoruz” diyor. Vik Goel ve Andrea Vallone.

Aslında, OpenAI’nin araştırmasına göre, içerik denetimi için eğitilmiş GPT-4, minimum eğitimle insan moderatörlerden daha iyi performans gösteriyor, ancak her ikisi de yüksek düzeyde eğitimli ve deneyimli insan modları tarafından hala daha iyi performans gösteriyor.

GPT-4’ün içerik denetimi nasıl çalışır?

OpenAI, ChatGPT 4 dahil olmak üzere LLM’lerini varsayımsal bir kuruluşun verilen politikalarına göre içeriği denetlemek için eğitmek için 3 adımlı bir çerçevenin ana hatlarını çiziyor.

Sürecin ilk adımı, içerik politikasının taslağını oluşturmayı içerir – muhtemelen bu insanlar tarafından yapılır, ancak OpenAI’nin blog yazısı bunu belirtmez – ardından insan moderatörlerin etiketleyeceği “altın bir veri seti” tanımlar. Bu veriler, politikaları açıkça ihlal eden içeriği veya daha belirsiz olan ancak nihayetinde insan moderatörler tarafından ihlal ettiği kabul edilen içeriği içerebilir. Ayrıca, politikalarla açıkça uyumlu olan veri örneklerini de içerebilir.

Altın veri kümesi ne olursa olsun, etiketler bir yapay zeka modelinin performansını karşılaştırmak için kullanılacaktır. İkinci adım, modeli, bu durumda GPT-4’ü almak ve ondan içerik politikasını okumasını ve ardından aynı “altın” veri kümesini gözden geçirmesini ve ona kendi etiketlerini atamasını istemektir.

Son olarak, bir insan gözetmen karşılaştırırdı GPT-4’ün etiketlemesi başlangıçta insanlar tarafından yaratılanlara. GPT-4’ün “yanlış anladığı” veya yanlış etiketlediği tutarsızlıklar veya içerik örnekleri varsa, insan denetçi(ler) GPT-4’ten etiketleme gerekçesini açıklamasını isteyebilir. Model mantığını açıkladıktan sonra insan, GPT-4’ün orijinal içerik politikasını okumasını ve ileriye dönük bu talimatı izlemesini sağlamak için orijinal içerik politikasını yeniden yazmanın veya netleştirmenin bir yolunu görebilir.

OpenAI yazarları, “Bu yinelemeli süreç, sınıflandırıcılara çevrilen, ilkenin konuşlandırılmasını ve içerik denetimini geniş ölçekte sağlayan rafine içerik ilkeleri sağlar” diye yazıyor.

OpenAI blog yazısı ayrıca, bu yaklaşımın “içerik denetlemeye yönelik geleneksel yaklaşımlar” üzerinde nasıl üstün olduğunu, yani içeriği aynı politikaya göre farklı şekilde yorumlayabilen bir insan moderatör ordusuna kıyasla “daha tutarlı etiketler” oluşturarak nasıl üstün olduğunu açıklamaya devam ediyor. içerik politikalarını yeni ihlalleri hesaba katacak şekilde güncellemek için “daha hızlı geri bildirim döngüsü” ve elbette, muhtemelen yalnızca LLM’yi eğitmeye veya bununla ilgili sorunları teşhis etmeye yardımcı olmak için çağrılabilecek insan içerik moderatörleri üzerindeki “azaltılmış zihinsel yük”, ve tüm ön safları ve moderasyon işinin büyük kısmını ona bırakın.

Antropik Çağırmak

OpenAI’nin blog gönderisi ve imza LLM’leri için iyi bir kullanım durumu olarak içerik moderasyonunun tanıtımı, özellikle son yatırımı ve aşağıdakiler dahil medya kuruluşlarıyla ortaklığı yanında anlamlıdır: Associated Press ve Amerikan Gazeteciliği Projesi. Medya kuruluşları, konuşma, tartışma ve münazara özgürlüğüne hâlâ izin verirken, makaleler hakkındaki okuyucu yorumlarını etkili bir şekilde denetleme konusunda uzun süredir mücadele ediyor.

İlginç bir şekilde, OpenAI’nin blog gönderisi de zaman ayırarak “Anayasal AI” çerçevesi rakip Anthropic tarafından Claude için benimsendi ve Madde 2 Bir yapay zekanın tüm yanıtlarında insan kaynaklı tek bir etik çerçeveyi takip edecek şekilde eğitildiği LLM’ler.

Open AI, “Temel olarak modelin neyin güvenli olup olmadığına dair kendi içselleştirilmiş yargısına dayanan Anayasal AI’dan (Bai ve diğerleri 2022) farklı olarak, yaklaşımımız platforma özgü içerik politikası yinelemesini çok daha hızlı ve daha az zahmetli hale getiriyor” diye yazıyor. yazarlar. “OpenAI API erişimi olan herkes bugün aynı deneyleri uygulayabileceğinden, güven ve güvenlik uygulayıcılarını içerik denetleme için bu süreci denemeye teşvik ediyoruz.”

Kazı, muhtemelen Anayasal AI’nın önde gelen savunucusu olan Anthropic’in aldığı tarihten sadece bir gün sonra gerçekleşti. 100 milyon dolarlık yatırım telekomünikasyona özgü bir LLM oluşturmak için.

dikkate değer bir ironi

OpenAI’nin insan içerik moderatörlerinin zihinsel yükünü hafifletmenin bir yolu olarak GPT-4’ü tanıtmasında elbette dikkate değer bir ironi var: yayınlanan ayrıntılı araştırma raporlarına göre Zaman dergi ve Wall Street GazetesiOpenAI’nin kendisi Kenya’da Sama gibi yükleniciler ve alt yükleniciler aracılığıyla yapay zeka tarafından oluşturulan içerik de dahil olmak üzere içeriği okumak ve açıklanan zararların ciddiyetinin ciddiyetine göre etiketlemek için insan içeriği moderatörleri kullandı.

Gibi Zaman bildirildiğine göre, bu insan işçilere çalışmaları karşılığında saat başına 2 ABD dolarından (USD) daha az ödeme yapılmıştır ve her iki rapor da işçilerin bundan dolayı kalıcı travma ve akıl hastalığı yaşadıklarını göstermektedir.

“OpenAI için metin okumak ve etiketlemekle görevli bir Sama çalışanı, Zaman Küçük bir çocuğun yanında bir köpekle seks yapan bir adamın grafik tasvirini okuduktan sonra tekrarlayan vizyonlar gördü” dedi. Zaman makale belirtiyor.

İşçiler kısa bir süre önce Kenya hükümetine içerik moderatörlerini daha fazla koruyacak ve sağlayacak yeni yasalar çıkarması için dilekçe verdi.

Belki de o zaman, OpenAI’nin otomatik içerik moderasyonu baskısı, bir anlamda, yaratılışında yer alanlar gibi gelecekteki zararları telafi etmenin veya önlemenin bir yoludur.