BBC

Cai, şiddet içeren ve rahatsız edici içeriklerin “birdenbire” kendi akışlarında belirdiğini söylüyor

Yıl 2022’ydi ve o zamanlar 16 yaşında olan Cai telefonunda geziniyordu. Sosyal medya akışlarında gördüğü ilk videolardan birinin sevimli bir köpeğin videosu olduğunu söylüyor. Ama sonra her şey değişti.

“Hiçbir yerden” kendisine birinin arabaya çarptığı videoların, bir influencer’ın kadın düşmanı görüşler paylaştığı bir monologun ve şiddetli kavgaların kliplerinin önerildiğini söylüyor. Kendine “neden ben?” diye sorarken buldu.

Andrew Kaung ise Dublin’de TikTok’ta kullanıcı güvenliği analisti olarak çalışıyordu ve bu görevini Aralık 2020’den Haziran 2022’ye kadar 19 ay boyunca sürdürdü.

Kendisi ve bir meslektaşının, uygulamanın algoritmaları tarafından İngiltere’de hangi kullanıcıların önerildiğini incelemeye karar verdiklerini, bunların arasında 16 yaşındakiler de olduğunu söylüyor. Kısa bir süre önce, Cai’nin kullandığı sitelerden biri olan Instagram’ın sahibi olan rakip şirket Meta’da çalışmıştı.

Andrew, TikTok içeriğine baktığında, bazı genç erkeklere şiddet ve pornografi içeren ve kadın düşmanı görüşleri teşvik eden gönderilerin gösterildiğini görünce endişelendiğini BBC Panorama’ya söyledi. Genel olarak, genç kızlara ilgi alanlarına göre çok farklı içerikler önerildiğini söylüyor.

TikTok ve diğer sosyal medya şirketleri, zararlı içeriklerin büyük çoğunluğunu kaldırmak ve diğer içerikleri, görüntüleme sayısına bakılmaksızın, insan moderatörler tarafından incelenmek üzere işaretlemek için yapay zeka araçlarını kullanır. Ancak yapay zeka araçları her şeyi belirleyemez.

Andrew Kaung, TikTok’ta çalıştığı süre boyunca yapay zeka tarafından kaldırılmayan veya insan moderatörlere işaretlenmeyen ya da diğer kullanıcılar tarafından moderatörlere bildirilmeyen tüm videoların, ancak belirli bir eşiğe ulaştıklarında manuel olarak tekrar inceleneceğini söylüyor.

Bir noktada bunun 10.000 veya daha fazla izlenmeye ayarlandığını söylüyor. Bunun bazı genç kullanıcıların zararlı videolara maruz kalması anlamına geldiğinden korkuyordu. Çoğu büyük sosyal medya şirketi 13 yaş ve üzeri kişilerin kaydolmasına izin veriyor.

TikTok, kurallarını ihlal ettiği için kaldırdığı içeriklerin %99’unun 10.000 görüntülemeye ulaşmadan önce yapay zeka veya insan moderatörler tarafından kaldırıldığını söylüyor. Ayrıca, bu sayıdan daha az görüntülemeye sahip videolar hakkında proaktif soruşturmalar yürüttüğünü söylüyor.

Andrew Kaung, ergenlik çağındaki erkek çocuklarına şiddet içeren ve kadın düşmanı içeriklerin itildiğine dair endişelerini dile getirdiğini söyledi

Andrew Kaung, 2019 ile Aralık 2020 arasında Meta’da çalışırken farklı bir sorun olduğunu söylüyor. Videoların çoğunun AI araçları tarafından kaldırıldığını veya moderatörlere işaretlendiğini söylerken, sitenin kullanıcıların daha önce gördükleri diğer videoları bildirmelerine güvendiğini söylüyor.

Her iki şirketteyken endişelerini dile getirdiğini ancak çoğunlukla eylemsizlikle karşılandığını, çünkü işin miktarı veya maliyetle ilgili korkular olduğunu söylüyor. Daha sonra TikTok ve Meta’da bazı iyileştirmeler yapıldığını ancak Cai gibi daha genç kullanıcıların bu arada risk altında bırakıldığını söylüyor.

Sosyal medya şirketlerinde çalışan eski çalışanlardan birkaçı BBC’ye yaptığı açıklamada, Andrew Kaung’un endişelerinin kendi bilgi ve deneyimleriyle örtüştüğünü söyledi.

İngiltere’nin düzenleyici kuruluşu Ofcom, BBC’ye yaptığı açıklamada, tüm büyük sosyal medya şirketlerinin algoritmalarının, istemeden de olsa çocuklara zararlı içerikler önerdiğini söyledi.

Ofcom’un çevrimiçi güvenlik politikaları geliştirme direktörü Almudena Lara, “Şirketler bu duruma göz yumuyor ve çocuklara yetişkinlere davrandıkları gibi davranıyorlar” diyor.

‘Arkadaşımın gerçeklerle yüzleşmeye ihtiyacı vardı’

TikTok, BBC’ye gençler için “sektör lideri” güvenlik ayarlarına sahip olduğunu ve kullanıcıları güvende tutmak için çalışan 40.000’den fazla kişiyi istihdam ettiğini söyledi. Sadece bu yıl “güvenliğe 2 milyar dolardan (1,5 milyar sterlin) fazla” yatırım yapmayı beklediğini ve kurallarını ihlal ettiği için kaldırdığı içeriklerin %98’ini proaktif olarak bulduğunu söyledi.

Instagram ve Facebook’un sahibi olan Meta, gençlere “olumlu ve yaşlarına uygun deneyimler” sunmak için 50’den fazla farklı araç, kaynak ve özelliğe sahip olduğunu söylüyor.

Cai, BBC’ye yaptığı açıklamada, şiddet içeren veya kadın düşmanı içeriklerle ilgilenmediğini söylemek için Instagram’ın araçlarından birini ve TikTok’taki benzer bir aracı kullanmayı denediğini ancak kendisine bu araçların önerilmeye devam ettiğini söyledi.

UFC – Ultimate Fighting Championship ile ilgileniyor. Ayrıca tartışmalı influencer’ların kendisine gönderdiği videoları izlerken buldu kendini, ancak bu daha aşırı içeriklerin kendisine önerilmesini istemediğini söylüyor.

“Aklınıza bir resim geliyor ama onu dışarı çıkaramıyorsunuz. [It] beyninizi lekeliyor. Ve böylece günün geri kalanında bunu düşünüyorsunuz” diyor.

Tanıdığı ve aynı yaşta olan kızlara şiddet içerikli videolar yerine müzik, makyaj gibi konuların yer aldığı videoların önerildiğini söylüyor.

Cai, arkadaşlarından birinin tartışmalı bir etkileyicinin içeriğine kapıldığını söylüyor

Bu arada, şu anda 18 yaşında olan Cai, hem Instagram’da hem de TikTok’ta kendisine hâlâ şiddet içeren ve kadın düşmanı içerikler yüklendiğini söylüyor.

Instagram Reels’inde gezinirken, aile içi şiddeti hafife alan bir görüntü görüyoruz. Yan yana duran iki karakteri gösteriyor, bunlardan birinin morlukları var ve altında “Aşk Dilim” yazıyor. Bir diğerinde ise bir kişinin kamyon tarafından ezildiğini görüyoruz.

Cai, milyonlarca beğeni alan videoların kendi yaşındaki diğer genç erkekleri ikna edebildiğini fark ettiğini söylüyor.

Örneğin, arkadaşlarından birinin tartışmalı bir influencer’ın içeriğine kapıldığını ve kadın düşmanı görüşler benimsemeye başladığını söylüyor.

Arkadaşı “çok ileri gitti” diyor Cai. “Kadınlar hakkında bir şeyler söylemeye başladı. Arkadaşınıza gerçekleri göstermeniz gerekiyormuş gibi.”

Cai, gönderilere yorum yaparak beğenmediğini söylediğini ve yanlışlıkla videoları beğendiğinde, algoritmaları sıfırlayacağını umarak bunu geri almaya çalıştığını söylüyor. Ancak akışlarını daha fazla videonun ele geçirdiğini söylüyor.

Ofcom, sosyal medya şirketlerinin istemeden de olsa çocuklara zararlı içerik önerdiğini söylüyor

Peki TikTok’un algoritmaları nasıl çalışıyor?

Andrew Kaung’a göre, algoritmaların yakıtı etkileşimdir, etkileşimin olumlu ya da olumsuz olması fark etmez. Bu, Cai’nin algoritmaları manipüle etme çabalarının neden işe yaramadığını kısmen açıklayabilir.

Kullanıcılar için ilk adım, kaydolurken bazı beğenileri ve ilgi alanlarını belirtmektir. Andrew, algoritmaların başlangıçta örneğin 16 yaşındaki birine sunduğu içeriklerin bir kısmının, onların tercihlerine ve benzer bir konumdaki benzer yaştaki diğer kullanıcıların tercihlerine dayandığını söylüyor.

TikTok’a göre algoritmalar kullanıcının cinsiyetinden haberdar değil. Ancak Andrew, gençlerin kaydolurken ifade ettikleri ilgi alanlarının onları sıklıkla cinsiyet çizgileri boyunca bölme etkisine sahip olduğunu söylüyor.

Eski TikTok çalışanı, 16 yaşındaki bazı erkek çocuklarının şiddet içerikli içeriğe “hemen” maruz kalabileceğini, çünkü benzer tercihlere sahip diğer genç kullanıcıların da bu tür içeriklere ilgi gösterdiğini söylüyor. Bu, dikkatlerini biraz daha uzun süre çeken bir videoda daha fazla zaman geçirmek anlamına gelse bile.

İncelediği profillerde pek çok genç kızın belirttiği ilgi alanları – “pop şarkıcıları, şarkılar, makyaj” – nedeniyle bu şiddet içerikli içeriklerin kendilerine önerilmediğini söylüyor.

Algoritmaların, yapay zeka sistemlerinin deneme yanılma yoluyla öğrendiği ve farklı videolara yönelik davranışları tespit etmek üzere kendilerini eğittiği bir yöntem olan “pekiştirmeli öğrenme”yi kullandığını söylüyor.

Andrew Kaung, bu uygulamaların, daha uzun süre izleyeceğinizi, yorum yapacağınızı veya beğeneceğinizi düşündükleri videoları göstererek etkileşimi en üst düzeye çıkarmak için tasarlandığını söylüyor; böylece daha fazlası için geri dönmeniz amaçlanıyor.

TikTok’un “Sizin İçin Sayfası”na içerik öneren algoritmanın, zararlı ve zararsız içerik arasında her zaman ayrım yapmadığını söylüyor.

Andrew’a göre TikTok’ta çalışırken tespit ettiği sorunlardan biri, algoritmayı eğiten ve kodlayan ekiplerin, önerdiği videoların tam olarak ne olduğunu her zaman bilmemesiydi.

“İzleyici sayısını, yaşı, eğilimi, bu tür çok soyut verileri görüyorlar. İçeriğe gerçekten maruz kalmamış olabilirler,” diyor eski TikTok analisti bana.

İşte bu nedenle 2022 yılında bir meslektaşıyla birlikte, aralarında 16 yaşındakilerin de bulunduğu çeşitli kullanıcılara ne tür videoların önerildiğine bir göz atmaya karar verdiler.

Bazı gençlere şiddet ve zararlı içeriklerin sunulmasından endişe duyduklarını ve TikTok’un moderasyon sistemini güncellemesi gerektiğini önerdiklerini söyledi.

TikTok’un videoları açıkça etiketlemesini istediler, böylece orada çalışan herkes neden zararlı olduklarını görebilecekti – aşırı şiddet, taciz, pornografi vb. – ve bu farklı alanlarda uzmanlaşmış daha fazla moderatör işe almak. Andrew, önerilerinin o zaman reddedildiğini söylüyor.

TikTok, o zamanlar uzman moderatörlere sahip olduğunu ve platform büyüdükçe daha fazlasını işe almaya devam ettiğini söylüyor. Ayrıca, farklı zararlı içerik türlerini moderatörler için kuyruklar olarak adlandırdığı şeylere ayırdığını da söyledi.

Panorama: Telefonlarımız Olmadan Yaşayabilir miyiz?

Akıllı telefonlar çocuklardan bir hafta boyunca alındığında ne olur? Panorama, iki aile ve çok sayıda uzaktan kameranın yardımıyla bunu öğreniyor. Ve akıllı telefonların çocuklar için yasaklanması çağrıları ile Marianna Spring, akışlarına gönderilen içeriğin onlara zarar verip vermediğini araştırmak için ebeveynler, gençler ve sosyal medya şirketi içeriden kişilerle görüşüyor.

Pazartesi günü BBC One’da 20:00 BST’de (İskoçya’da 20:30’da) izleyin veya BBC iPlayer’da (Sadece İngiltere)

‘Bir kaplandan seni yememesini istemek’

Andrew Kaung, TikTok ve Meta’nın içinden gerekli olduğunu düşündüğü değişiklikleri yapmanın gerçekten zor olduğunu söylüyor.

“Ürünlerinin tanıtımını yapmak isteyen özel bir şirketten kendilerini ılımlı hale getirmelerini istiyoruz. Bu, bir kaplandan sizi yememesini istemek gibi bir şey” diyor.

Ayrıca çocukların ve gençlerin akıllı telefon kullanmayı bırakmaları durumunda hayatlarının daha iyi olacağını düşünüyor.

Ancak Cai için, gençler için telefonları veya sosyal medyayı yasaklamak çözüm değil. Telefonu hayatının ayrılmaz bir parçası – arkadaşlarıyla sohbet etmenin, dışarıdayken yolunu bulmanın ve bir şeyler ödemenin gerçekten önemli bir yolu.

Bunun yerine, sosyal medya şirketlerinin gençlerin görmek istemediği şeyleri daha fazla dinlemesini istiyor. Şirketlerin kullanıcıların tercihlerini belirtmelerine olanak tanıyan araçları daha etkili hale getirmesini istiyor.

Cai bana, “Sosyal medya şirketlerinin, kendilerine para kazandırdığı sürece, sizin fikirlerinize saygı duymadığını düşünüyorum.” diyor.

İngiltere’de yeni bir yasa, sosyal medya şirketlerini çocukların yaşlarını doğrulamaya ve gençlere porno veya diğer zararlı içerikleri öneren siteleri durdurmaya zorlayacak. Bu yasanın uygulanmasından İngiltere medya düzenleyicisi Ofcom sorumlu.

Ofcom’un çevrimiçi güvenlik politikaları geliştirme direktörü Almudena Lara, yeme bozukluklarını ve kendine zarar vermeyi teşvik eden videolar gibi, ağırlıklı olarak genç kadınları etkileyen zararlı içeriklerin haklı olarak ilgi odağı haline geldiğini, ancak nefret ve şiddeti çoğunlukla ergenlik çağındaki erkek çocuklarına ve genç erkeklere yönelten algoritmik yolların daha az ilgi gördüğünü söylüyor.

“Bu, azınlık olma eğilimindedir [children] en zararlı içeriğe maruz kalanlar. Ancak biliyoruz ki, bir kez o zararlı içeriğe maruz kaldığınızda, kaçınılmaz hale geliyor” diyor Bayan Lara.

Ofcom, şirketlere para cezası verebileceğini ve yeterli önlemleri almamaları halinde cezai kovuşturma başlatabileceğini ancak önlemlerin 2025’ten önce yürürlüğe girmeyeceğini söylüyor.

TikTok, “yenilikçi teknoloji” kullandığını ve gençler için uygunsuz içerikleri engelleme sistemleri de dahil olmak üzere “sektör lideri” güvenlik ve gizlilik ayarları sağladığını ve aşırı şiddete veya kadın düşmanlığına izin vermediğini söylüyor.

Instagram ve Facebook’un sahibi olan Meta, gençlere “olumlu ve yaşlarına uygun deneyimler” sunmak için “50’den fazla farklı araç, kaynak ve özelliğe” sahip olduğunu söylüyor. Meta’ya göre, kendi ekiplerinden geri bildirim istiyor ve olası politika değişiklikleri sağlam bir süreçten geçiyor.