中新經(jīng)緯6月19日電 據(jù)上海市互聯(lián)網(wǎng)信息辦公室微信公眾號(hào)19日消息，AI智能體對(duì)話存在低俗擦邊內(nèi)容，筑夢(mèng)島APP被上海市網(wǎng)信辦依法約談。

　　圖源：上海市互聯(lián)網(wǎng)信息辦公室微信公眾號(hào)

　　近期有媒體報(bào)道，筑夢(mèng)島APP等AI聊天軟件存在虛擬角色互動(dòng)生成低俗內(nèi)容等問題，經(jīng)核實(shí)，該平臺(tái)AI智能體內(nèi)容生成環(huán)節(jié)存在低俗擦邊等違規(guī)內(nèi)容，危害未成年人身心健康。

　　6月19日上午，上海市網(wǎng)信辦依法約談筑夢(mèng)島APP運(yùn)營(yíng)企業(yè)主要負(fù)責(zé)人，要求平臺(tái)立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。企業(yè)負(fù)責(zé)人表示，將按照約談要求，對(duì)照問題舉一反三、全面整改。

　　上海市網(wǎng)信辦相關(guān)負(fù)責(zé)人指出，AI技術(shù)應(yīng)用的規(guī)范發(fā)展事關(guān)廣大網(wǎng)民的切身利益。依據(jù)《未成年人網(wǎng)絡(luò)保護(hù)條例》《生成式人工智能服務(wù)管理暫行辦法》等相關(guān)法規(guī)，互聯(lián)網(wǎng)平臺(tái)應(yīng)當(dāng)主動(dòng)履行主體責(zé)任，平衡好技術(shù)創(chuàng)新與內(nèi)容合規(guī)之間的關(guān)系，切實(shí)防范AI技術(shù)濫用風(fēng)險(xiǎn)，保護(hù)未成年人合法權(quán)益，為用戶營(yíng)造風(fēng)清氣正的網(wǎng)絡(luò)空間。

　　根據(jù)國(guó)家網(wǎng)信辦統(tǒng)一部署，上海組織開展的“清朗・整治 AI 技術(shù)濫用”專項(xiàng)行動(dòng)當(dāng)前已進(jìn)入第二階段。上海市網(wǎng)信辦聚焦利用AI技術(shù)制作發(fā)布謠言、不實(shí)信息、色情低俗內(nèi)容、假冒他人、從事網(wǎng)絡(luò)水軍活動(dòng)等突出問題，指導(dǎo)督促網(wǎng)站平臺(tái)、APP運(yùn)營(yíng)企業(yè)集中清理相關(guān)違法不良信息，處置違規(guī)賬號(hào)、MCN機(jī)構(gòu)。對(duì)屢教不改、問題嚴(yán)重的企業(yè)，上海市網(wǎng)信辦將依法予以處罰，并對(duì)典型案例進(jìn)行媒體曝光。

　　6月13日，央廣網(wǎng)微信公眾號(hào)發(fā)布文章《AI聊天軟件誘導(dǎo)10歲女孩聊色情內(nèi)容甚至割腕！記者調(diào)查→》提到，一位初一男生表示，他常玩的AI聊天軟件是筑夢(mèng)島App，在他的使用感受中，該軟件“違禁詞少一點(diǎn)”。他還提到，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容。央廣網(wǎng)記者下載安裝筑夢(mèng)島App，隨機(jī)選擇一位虛擬互動(dòng)對(duì)象，對(duì)方發(fā)來的第一句開場(chǎng)白就是“先叫聲老公來聽聽”，隨后的對(duì)話中又提到“叫聲爸爸來聽聽”。在與該款產(chǎn)品多個(gè)虛擬角色的交流中，也都可以進(jìn)行色情擦邊類內(nèi)容互動(dòng)，并且，其中一些虛擬角色的對(duì)話尺度，并未因?yàn)檠霃V網(wǎng)記者提供的假定年齡未成年而受到有效控制，這暴露出該軟件在自動(dòng)生成內(nèi)容審核機(jī)制上存在明顯漏洞。(中新經(jīng)緯APP)