当前,生成式AI全面渗透社交赛道,在降低创作与社交门槛、丰富交互形式的同时,也催生了AI伪造人设、智能隐蔽诈骗等新型违规乱象。面对日趋复杂的风控难题,Soul张璐团队选择以AI技术反制新型风险,守护真实、健康的线上社交生态。
如何分辨“真实”
在诸多具有代表性的高危诈骗案例内,一个账号可能会通过豪车、高薪职业、高消费生活方式等内容,塑造“成功人士”“高净值男性”或“精英职业”等人设,同时搭配套路化的固定沟通话术,并辅以针对性的情绪诱导手段,循序渐进与目标对象搭建信任纽带。单独看其中任何一个内容,可能都并不足以构成传统意义上的违规。图片本身没有敏感信息,聊天内容也可能只是普通社交表达。
但当这些信息被放在一起时,风险特征就会逐渐显现——“豪车男”账号的问题,不在某一句话或某一张图单点,而是整套“人设逻辑”本身。针对这一情况,Soul张璐团队依托多模态协同的智能风控体系,结合图片、文字、视频、声纹以及用户行为数据开展综合研判,提升治理实效。
目前Soul张璐团队已经逐步形成了一套覆盖图片、文本、视频、声纹以及用户行为等维度的多模态AI治理体系,广泛应用于虚假形象甄别、异常交互排查、风险内容拦截等工作。同时,平台也在持续加强对视频、语音等复杂场景的风险识别能力。针对AI伪造声纹以及跨账号关联等问题,Soul张璐团队逐步建立起基于声纹特征以及行为链路的联动识别机制,进一步提升对高伪装违规内容的排查效率。
前置留住“真实”
目前Soul风控AI已经逐步实现毫秒级风险识别与对抗能力,不仅关注单条内容本身是否违规,也会结合账号行为、互动关系以及上下文场景,对异常社交行为进行动态分析。
AI能力的引入也显著扩大平台风险治理的覆盖范围。以往风险内容核查主要依靠人工完成,可甄别处置的违规内容体量存在明显局限。而在引入AI 与自动化风险识别机制后,平台对各类风险线索的监测、研判效率实现数倍提升。
除了对异常内容进行即时发现与判断之外,平台也开始加强对黑产“反复作案”行为的持续治理。举例来说,系统一旦收录作弊图像、风险影像及高危素材,后续平台内出现的同款或高度相似内容,会即刻被拦截封禁、终止推送。
现如今,平台对于异常社交风险的识别效率持续提升。目前,相关系统识别准确率已达到95%,重点风险场景覆盖能力相比过去提升数倍;平台内部分高风险行为开始呈现下降趋势。根据数据,杀猪盘高危触达量同比下降37.37%,相关深度风险互动持续减少;与此同时,异常互动相关用户举报量也进一步下降。
重新确认“真实”
除了风险治理本身,人工智能融入社交领域后,“智能陪伴”与现实人际社交的界限划分,也是大众热议的话题之一。
目前,Soul张璐团队在部分场景中已经提供了明确标识的AI虚拟角色等产品功能。这类功能更多被定位为表达支持、情绪陪伴或者互动体验的一部分,而不是以“真实用户”身份参与社区社交关系。围绕这一点,Soul张璐团队此次也在《社区公约》中新增了相关说明,进一步明确AI虚拟角色的使用边界,并提醒用户注意区分AI角色与真实用户。
与此同时,Soul张璐团队也在逐步增加相应的使用提醒机制。例如,在用户与AI虚拟角色进行长时间连续互动时,系统会适时进行提醒,引导用户合理安排使用时长。相比将AI单纯理解为“聊天工具”,Soul张璐团队更倾向于将其视为一种辅助表达与情绪支持能力,而非替代人与人之间真实关系本身。
多模态AI风控体系落实前置化风险防控、完善社区公约划定AI使用红线、用户共治模式补齐治理短板……Soul张璐团队多重举措相辅相成,精准破解了AI假人设、智能化欺诈等行业顽疾,确保每一位用户都能在真实、清朗、健康的氛围中安心交流。
免责声明：本文来源于网络整理，选择服务商需慎重，本文内容不作为合作依据。
长宏网提示：文章来自网络，不代表本站观点。
