Microsoft Azure Stream Analytics export naar Blob Storage/ADLS Gen2 geeft fout in dataverzameling

Beste @Rick S. ,

Volgens mij heb ik het probleem zelf opgelost, door gebruik te gaan maken van SQL Server in plaats van de blob uitvoer.

Gebruik maken van SQL Server had sowieso mijn voorkeur, mede vanwege mijn ervaring hier mee.

Het is belangrijk om gebruik te maken van een managed identity. Dit voorkomt allerlei ellende met rechten, machtigingen en toegang. Maak dus in Azure een managed identity aan op abonnement niveau met alle rechten. Er zijn genoeg handleidingen hiervoor te vinden, dus die zal ik niet beschrijven.

Om te beginnen heb ik een SQL Server aangemaakt en hierop de SQL Database aangemaakt. In de SQL database heb ik een tabel aangemaakt met de volgende query:

CREATE TABLE [dbo].[iothub](

[Id] [int] IDENTITY(1,1) NOT NULL,

[EventProcessedUtcTime] [datetime] NULL,

[bn] nvarchar NULL,

[bt] [float] NULL,

[EventEnqueuedUtcTime] [datetime] NULL,

[n] nvarchar NULL,

[u] nvarchar NULL,

[v] [numeric](18, 2) NULL,

[vs] nvarchar NULL,

[PartitionId] datetime2 NULL,

PRIMARY KEY CLUSTERED

(

[Id] ASC

)WITH (STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF) ON [PRIMARY]

) ON [PRIMARY]

GO

CREATE INDEX iothubbn

ON iothub (bn)

GO

CREATE INDEX iothubbt

ON iotthub (bt)

GO

(Met dank aan: https://docs.kpnthings.com/gs/azure/azure-sql?q=azure+iot+hub )

Ik maak gebruik van een IOT Hub, dus ik heb voor de duidelijkheid alle sleutelwaarden eventhub vervangen voor iothub.

Daarna heb ik de een nieuwe contained user in de database aangemaakt die dezelfde naam heeft als de ASA job:

CREATE USER [ASA_JOB_NAME] FROM EXTERNAL PROVIDER;

(vervang tussen de blokhaken de naam ASA-JOB-NAME door de naam van de ASA job naam die is aangemaakt)

Controleer daarna of de gebruiker correct is aangemaakt:

SELECT * FROM <SQL_DB_NAME>.sys.database_principals WHERE type_desc = 'EXTERNAL_USER'

Vervang <SQL_DB_NAME> voor [de databasenaam] inclusief de blokhaken

Geef vervolgens rechten aan de aangemaakte gebruiker om zowel te schrijven en op te vragen aan de ASA job.

De tabelnaam die hieronder moet worden ingevuld is gelijk aan de tabelnaam zoals in het create statement hierboven is opgegeven (in mijn geval was dit iothub)

GRANT CONNECT TO ASA_JOB_NAME;

GRANT SELECT, INSERT ON OBJECT::TABLE_NAME TO ASA_JOB_NAME;

Nu kan de output worden aangemaakt in de ASA job. Kies het abonnement en de resource. Vervolgens de database en geef aan dat er gebruik moet worden gemaakt van de managed identity voor toegang tot de database. Vul de tabelnaam in, waar moet worden weggeschreven (in dit geval dus iothub).

Daarna kan in het menu item Query<> van de ASA job de volgende testquery worden uitgevoerd om te kijken of er daadwerkelijke data vanuit de IOT hub kan worden weggeschreven in de SQL database:

SELECT

CASE

WHEN bn IS NULL THEN LAG(bn) OVER (PARTITION BY EventEnqueuedUtcTime LIMIT DURATION(second, 1)WHEN bn IS NOT NULL)

ELSE bn

END as bn,

CASE

WHEN bt IS NULL THEN LAG(bt) OVER (PARTITION BY EventEnqueuedUtcTime LIMIT DURATION(second, 1)WHEN bt IS NOT NULL)

ELSE bt

END as bt,

EventProcessedUtcTime,

EventEnqueuedUtcTime,

n,

u,

v,

vs,

PartitionId

INTO

[sqloutput]

FROM

[eventhubinput]

Let erop dat sqloutput vervangen moet worden door de gekozen output naam in de ASA job flow. Dit geldt ook voor de naam eventhubinput. Ik heb gewoon input en output gebruikt. Wel altijd de blokhaken eromheen zetten; anders bestaat de kans dat de query faalt.

Als er gegevens als resultaat in de tabel verschijnen, werkt de boel en kan de ASA job worden gestart.