De noodzaak van beveiligingsrichtlijnen voor LLMs

Met krachtige AI komt ook grote verantwoordelijkheid, en de inzet van LLMs brengt unieke beveiligingsuitdagingen en kwetsbaarheden met zich mee die een aangepaste set OWASP-richtlijnen vereisen.

Bij Brainial zijn we ISO 27001 gecertificeerd om de veiligheid te garanderen van de gegevens die onze klanten uploaden naar hun Brainial AI-gebaseerde Tender Assistant. We passen de OWASP-standaard toe omdat deze een uitgebreide set richtlijnen en best practices biedt om veelvoorkomende beveiligingsrisico's in software te identificeren en te beperken.

‍

Naarmate de technologie zich blijft ontwikkelen, komen grote taalmodellen (LLM's), zoals GPT-X, ChatGPT en zijn opvolgers, steeds vaker voor. LLM's verwijzen naar machine-learningmodellen die zijn getraind op enorme hoeveelheden gegevens en worden ingezet in apps zoals het bekende ChatGPT. Maar ook GPT-4 van OpenAI, BERT en LaMDA 2 van Google en RoBERTa of LLaMA 2 van Meta zijn voorbeelden van LLMs. Deze modellen kunnen mensachtige tekst genereren, waardoor ze een waardevol hulpmiddel zijn voor taken als natural language processing, het genereren van content en digitale assistenten.

‍

Bij Brainial gebruiken, trainen en verfijnen we ook onze eigen LLM-modellen (bijvoorbeeld ons eigen TenderGPT-model) die we gebruiken in het aanbestedingsproces, bijvoorbeeld om gegevens samen te vatten, vragen te beantwoorden op aanbestedingen en antwoorden en concepttekst te genereren om het schrijven van AI-ondersteunde voorstellen mogelijk te maken.

LMM's zijn erg krachtig, maar met grote kracht komt ook grote verantwoordelijkheid en de inzet van grote taalmodellen brengt unieke beveiligingsuitdagingen met zich mee die een aangepaste set OWASP-richtlijnen vereisen.

‍

De OWASP Top 10 voor Large Language Model toepassingen

‍

Het OWASP Top 10 voor Large Language Model toepassingen project heeft als doel ontwikkelaars, ontwerpers, architecten, managers en organisaties te informeren over de potentiële beveiligingsrisico's bij het implementeren en beheren van Large Language Models (LLM's). Het project biedt een lijst van de top 10 meest kritieke kwetsbaarheden die vaak voorkomen in LLM-toepassingen, met de nadruk op hun potentiële impact, gemak van uitbuiting en prevalentie in echte toepassingen.

Voorbeelden van kwetsbaarheden zijn onder andere promptinjecties, gegevenslekken, inadequate sandboxing en ongeautoriseerde code-uitvoering. Het doel is om meer bekendheid te geven aan deze kwetsbaarheden, herstelstrategieën voor te stellen en uiteindelijk de beveiliging van LLM-toepassingen te verbeteren.

‍

‍

Hoe we de LLM OWASP Top 10 toepassen bij Brainial

Bij het trainen, fine-tunen en implementeren van Large Language Models in onze toepassingen controleren en valideren we tegen de veelvoorkomende LLM OWASP kwetsbaarheden. Dit garandeert een veilig gebruik van LLM-technologie en gegevensveiligheid voor de LLM-modellen en gegevens van onze klanten.

‍

Bij Brainial passen we de volgende controles en preventieve maatregelen toe.

‍

LLM01: Onveilige prompts (injecties en inputvalidatie)

Aanvallers kunnen LLM's manipuleren door middel van gemanipuleerde invoer, waardoor het systeem de intenties van de aanvaller uitvoert. Dit kan direct worden gedaan door het systeem prompt op oneerlijke wijze aan te roepen of indirect door gemanipuleerde externe invoer, wat kan leiden tot extractie van gegevens, social engineering en andere problemen.

‍

Kwetsbaarheden:

• Directe promptinjecties overschrijven systeemprompts
• Indirecte promptinjecties kapen de conversatiecontext
• Een gebruiker gebruikt een LLM om tekstgegevens met een indirecte injectieprompt samen te vatten

Onze preventieve maatregelen:

• Privilegebeheer wordt afgedwongen voor LLM-toegang tot achterliggende systemen
• Validatie door een mens wordt afgedwongen voor beslisfunctionaliteit
• Externe inhoud is gescheiden van gebruikersprompts

‍

LLM02: Onveilige verwerking van LLM output

Insecure Output Handling is een kwetsbaarheid die ontstaat wanneer een downstream component blindelings large language model (LLM)-uitvoer accepteert zonder de juiste controle. Dit kan leiden tot XSS en CSRF in webbrowsers, maar ook tot SSRF, privilege-escalatie of het op afstand uitvoeren van code op backendsystemen.

‍

Kwetsbaarheden:

• LLM-uitvoer wordt rechtstreeks in een systeemshell of vergelijkbare functie ingevoerd, wat leidt tot code-uitvoering op afstand
• JavaScript of Markdown wordt gegenereerd door de LLM en teruggestuurd naar een gebruiker, wat leidt tot XSS

Onze preventieve maatregelen:

• De juiste uitvoervalidatie wordt toegepast op reacties die van het model naar back-endfuncties komen
• De uitvoer van het model naar de gebruikers wordt gecodeerd om ongewenste code-interpretaties te beperken

‍

LLM03: Manipulatie van trainingsdata

Training Data Poisoning verwijst naar het manipuleren van de gegevens of het fine-tuning proces om kwetsbaarheden, achterdeurtjes of vertekeningen te introduceren die de veiligheid, effectiviteit of ethisch gedrag van het model in gevaar kunnen brengen. Dit kan leiden tot prestatievermindering, software-exploitatie in een later stadium en reputatieschade.

‍

Kwetsbaarheden:

• Een kwaadwillende creëert onnauwkeurige of kwaadwillende documenten gericht op de trainingsgegevens van een model
• Het model traint met behulp van vervalste informatie of niet-geverifieerde gegevens die tot uiting komen in de uitvoer

Onze preventieve maatregelen:

• We verifiëren de legitimiteit van gerichte gegevensbronnen tijdens zowel de trainings- als de validatiefase
• Datasets voor verschillende modellen worden tijdens de training gescheiden
• Training wordt uitgevoerd in geïsoleerde trainingsomgevingen

‍

LLM04: LLM Model Denial of Service Attack

Model Denial of Service aanval treedt op wanneer een aanvaller interactie heeft met een Large Language Model (LLM) op een manier die een uitzonderlijk hoge hoeveelheid bronnen verbruikt. Dit kan resulteren in een afname van de servicekwaliteit voor hen en andere gebruikers, en mogelijk ook in hoge kosten voor bronnen.

‍

Kwetsbaarheden:

• Het stellen van vragen die leiden tot terugkerend resourcegebruik door het genereren van taken in een wachtrij met een hoog volume
• Query's verzenden die ongewoon veel bronnen verbruiken
• Continue invoer: Een aanvaller stuurt een invoerstroom naar de LLM die het context window overschrijdt

Onze preventieve maatregelen:

• Rate-limiting wordt toegepast om het aantal verzoeken van een individuele gebruiker of IP-adres te beperken
• Invoer wordt gevalideerd en opgeschoond om ervoor te zorgen dat invoer voldoet aan gedefinieerde limieten en contextvensters, en daarnaast het gebruik van bronnen per verzoek of stap beperken

‍

LLM05: Kwetsbaarheden in de keten (chains)

Kwetsbaarheden in de modelketen/chains van LLM's kunnen trainingsgegevens, ML-modellen en implementatieplatforms in gevaar brengen, wat kan leiden tot vertekende resultaten, beveiligingslekken of volledige systeemuitval. Dergelijke kwetsbaarheden kunnen het gevolg zijn van verouderde software, gevoelige voorgetrainde modellen, vervuilde trainingsgegevens en onveilige pluginontwerpen.

‍

Kwetsbaarheden:

• Finetuning met een kwetsbaar voorgetraind model
• Gebrek aan openheid in de keten/chain (black-box)
• Afgeschreven, verouderde of onbeheerde modellen gebruiken

Onze preventieve maatregelen:

• We passen de best practices van MLOps toe op onze eigen modellen
• Externe modellen worden gevalideerd met model- en codesigning
• We controleren omgevingen op kwetsbaarheden en onderhouden een proactief patchingbeleid

‍

LLM06: Onbedoelde openbaarmaking van gevoelige informatie

LLM-toepassingen kunnen onbedoeld gevoelige informatie, gepatenteerde algoritmen of vertrouwelijke gegevens openbaar maken, wat kan leiden tot onbevoegde toegang, diefstal van intellectueel eigendom en privacyschendingen. Om deze risico's te beperken, moeten LLM-toepassingen gegevens opschonen, een geschikt gebruiksbeleid implementeren en de soorten gegevens die door de LLM worden geretourneerd beperken.

‍

Kwetsbaarheden:

• Onbedoelde bekendmaking van vertrouwelijke informatie door fouten
• Overfitting of onthouden van gevoelige gegevens tijdens training
• Gecompliceerde prompts die worden gebruikt om invoerfilters te omzeilen en gevoelige gegevens te onthullen

Onze preventieve maatregelen:

• De regel van de minste privileges wordt toegepast bij het trainen van modellen
• Robuuste validatie en opschoning van invoer wordt toegepast
• Een veilige modelketen en strikte toegangscontrole worden afgedwongen tijdens het ontwerp

‍

LLM07: Onveilig ontwerp van plugins

Plugins kunnen gevoelig zijn voor kwaadaardige verzoeken die leiden tot schadelijke gevolgen zoals het exfiltreren van gegevens, het op afstand uitvoeren van code en het escaleren van privileges als gevolg van onvoldoende toegangscontrole en onjuiste validatie van invoer. Ontwikkelaars moeten robuuste beveiligingsmaatregelen nemen om uitbuiting te voorkomen, zoals strikt geparametriseerde invoer en veilige richtlijnen voor toegangscontrole.

‍

Kwetsbaarheden:

• Authenticatie zonder expliciete autorisatie voor een bepaalde plugin
• Plugins die alle parameters in een enkel tekstveld of als ruwe code, SQL of programmeerstatements accepteren
• Aanvallers maken verzoeken om hun eigen inhoud te injecteren met gecontroleerde domeinen

Onze preventieve maatregelen:

• We maken geen gebruik van plugins of standaard chatinterfaces zoals ChatGPT. In plaats daarvan ontwikkelen we onze eigen code volgens onze eigen softwareontwikkelingsstandaarden die zijn gebaseerd op algemene best practices

‍

LLM08: Buitensporige functionaliteit of toegang

Overmatige keuzevrijheid in op LLM gebaseerde systemen/agents is een kwetsbaarheid die wordt veroorzaakt door overfunctionaliteit, buitensporige machtigingen of te veel autonomie. Om dit te voorkomen, moeten ontwikkelaars de functionaliteit, machtigingen en autonomie van plug-ins of agenten beperken tot wat absoluut noodzakelijk is, gebruikersautorisatie bijhouden, menselijke goedkeuring vereisen voor alle acties en autorisatie implementeren in downstream-systemen.

‍

Kwetsbaarheden:

• Een LLM agent of applicatie heeft toegang tot onnodige functies van een model
• Een LLM agent of applicatie heeft onnodige rechten en toegang tot functies van andere (downstream) systemen

Onze preventieve maatregelen:

• We vermijden "open-ended" functies en implementeren modellen en agents met granulaire functionaliteit
• Het loggen en monitoren van de activiteit van LLM modellen en agents is bij Brainial de standaard
• Ons motto is "Keep it simple, Keep it secure" en daar houden we ons aan bij het ontwikkelen en trainen van onze modellen

‍

LLM09: Te veel vertrouwen op output van een LLM

Te veel vertrouwen op output van LLM's kan leiden tot ernstige gevolgen zoals verkeerde informatie, juridische problemen en beveiligingsproblemen. Dit gebeurt wanneer een LLM wordt vertrouwd om cruciale beslissingen te nemen of inhoud te genereren zonder voldoende toezicht of validatie.

‍

Kwetsbaarheden:

• LLM geeft onjuiste informatie
• LLM genereert onzinnige tekst
• Onvoldoende risicocommunicatie van aanbieders van LLM

Preventieve maatregelen:

• We communiceren de risico's en beperkingen van LLM duidelijk aan onze gebruikers en in onze toepassingen
• De resultaten van LLM worden regelmatig gecontroleerd en beoordeeld
• We maken cross-checking van LLM-uitvoer met betrouwbare bronnen of in context mogelijk in onze applicatie en vragen onze gebruikers om de uitvoer ook op juistheid te controleren

‍

LLM10: Model diefstal

Diefstal van LLM-modellen betekent onbevoegde toegang tot en data extractie uit LLM-modellen, met het risico op economisch verlies, reputatieschade en onbevoegde toegang tot gevoelige gegevens. Robuuste beveiligingsmaatregelen zijn essentieel om deze modellen te beschermen.

‍

Kwetsbaarheden:

• Aanvaller knutselt inputs om modeloutputs te verzamelen
• Aanval via andere ingangen om modelinformatie te extraheren
• Aanvaller krijgt onbevoegde toegang tot LLM-model
• Lekken van modelartefacten en model weights

Onze preventieve maatregelen:

• We hebben sterke toegangscontroles en authenticatie geïmplementeerd en we controleren audit- en toegangslogboeken regelmatig, zoals beschreven in ons ISO 27001-beleid.
• De inzet van MLOps is geautomatiseerd met afgedwongen governance
• Watermerkfunctionaliteit op de uitvoer van onze LLM's maken deel uit van onze R&D inspanningen

‍

Conclusie

De wereld van LLM's is nog nieuw en kan overweldigend zijn, met veel onderzoek en experimenten die nog gaande zijn en veel gebieden die nog niet ontdekt zijn. Het is echter duidelijk dat elk bedrijf dat met een LLM werkt richtlijnen en controles nodig heeft en de OWASP-standaard biedt een goed uitgangspunt. Aangezien NLP-technologie en LLM's een kernonderdeel zijn van onze AI-aangestuurde Tender Assistant, willen we onze klanten en gebruikers een oplossing bieden die veilig en te vertrouwen is. Daarom hebben we een LLM-gebruiksbeleid en de LLM OWASP-richtlijnen geïmplementeerd als onderdeel van onze ISO 27001-certificering. Lees meer over onze veiligheids- en beveiligingsmaatregelen in onze ISO 27001 certificering

Met de AI-technologie van Brainial kunnen aanbestedingsteams eenvoudig aanbestedingen vinden en kwalificeren, ervoor zorgen dat ze geen kritieke informatie missen, aanbestedingsdocumenten snel en grondig doorgronden en de informatie die ze nodig hebben snel en eenvoudig vinden. Door deze uitdagingen aan te gaan, helpt Brainial aanbestedingsteams tijd te besparen, faalkosten te verlagen en beter geïnformeerde beslissingen te nemen bij aanbestedingen. Bekijk onze AI gebaseerde oplossing voor aanbesteden en tender management.