Follow

grafana/prometheus, demande d’aide 

J’ai mis en place ces deux outils pour ma supervision, mais j’ai encore du mal à comprendre comment faire des alertes efficaces. J’ai du node-exporter sur tous les serveurs physiques, et proxmox-exporter sur proxmox. Je vois bien les données avec les dashboards qui vont bien, mais comment lancer des alertes quand quelque chose ne va pas bien (en l’occurrence, une machine down, la ram d’un conteneur à plus de 90%, un volume bientôt plein…) ? Vu que Grafana ne supporte pas les alertes sur des métriques templatées, il faudrait que je fasse un graphe par machine et par métrique pour pouvoir lui attacher une alerte ?

grafana/prometheus, demande d’aide 

@gordon Ça n'aidera peut-être pas mais pour mes alertes j'ai tendance à utiliser Netdata

re: grafana/prometheus, demande d’aide 

@vitria non ça n’aide pas vraiment désolé, je demandais spécifiquement comment Grafana fonctionnait sur ce point

re: grafana/prometheus, demande d’aide 

@gordon Je me doutais être à côté de la plaque mais en plus je n'avais pas compris ta question comme ça xD

re: grafana/prometheus, demande d’aide 

@gordon Tu dois pouvoir faire des alertes par requête sur chaque graphique grafana, mais ça va pas beaucoup plus loin si mes souvenirs sont bons. Il faut partir sur alertmanager avec des règles prometheus pour pouvoir faire mieux.

re: grafana/prometheus, demande d’aide 

@nihl erf. Comme je disais à @bram , mon prometheus n’est pas accessible par l’extérieur, et seul grafana le consomme. Comment tu verrais ça ?

re: grafana/prometheus, demande d’aide 

@gordon @bram Tu as pas besoin que sont interface web soit accessible pour gérer les alertes (en fait tu pourrais pas les gérer par là, juste les lister), les règles prometheus et la config alertmanager c'est des fichiers YAML.

re: grafana/prometheus, demande d’aide 

@gordon @bram Donc il faut configurer des alertes un peu génériques sur prometheus (sachant que ça va pas être compliqué pour node et probablement pas pour proxmox-exporter) et configurer alertmanager selon comment tu être notifié. Une fois que c'est fait tu fais des modifs que quand tu rajoutes/modifies les exporters.

re: grafana/prometheus, demande d’aide 

@nihl @bram ah ok. Ça rentrerait dans mon use case, où je pousserais des modifs de conf via ansible dès que je change quelque chose sur l’infra. Et il y a un plugin grafana pour visualiser les alertes prometheus. Tu as de la doc intéressante là-dessus, ou la doc officielle est assez bien ?

re: grafana/prometheus, demande d’aide 

@gordon @bram J'ai pas de liens sous la main, la doc officielle pourra sûrement suffire mais sinon hésite pas à me demander j'en fais un peu en ce moment et j'y ai pas mal touché par le passé.

re: grafana/prometheus, demande d’aide 

@nihl @bram est-ce que je peux imaginer qu’alertmanager soit remonté dans grafana (via ce plugin) ou est-ce que je fais en sorte que grafana et alertmanager sachent envoyer des mails d’alerte ?

re: grafana/prometheus, demande d’aide 

@gordon @bram C'est à toi de voir, c'est pas tout à fait le même usage. J'ai jamais utilisé ce plugin mais si ça marche ça peut être pratique, sachant que tu as pas besoin que grafana sache envoyer des emails pour qu'alertmanager sache le faire, et inversement.
Les mails c'est plus intrusif mais ça permet d'être au courant directement (et d'avoir de l'historique), avec un dashboard qui affiche les alertes en cours il faut aller le checker régulièrement.

re: grafana/prometheus, demande d’aide 

@gordon @nihl t'as pas mal d'inspiration ici même si c'est pas parfait awesome-prometheus-alerts.grep

re: grafana/prometheus, demande d’aide 

@bram @nihl ah génial, merci <3

re: grafana/prometheus, demande d’aide 

@gordon @nihl (c'est peut être juste moi mais mon alterting c'est vraiment un truc que je veux au format texte versionné et redéployable facilement partout en cas de soucis) (le full UI j'ai eu ma dose avec zabbix je veux jamais refaire ça)

re: grafana/prometheus, demande d’aide 

@bram @nihl je suis d’accord. J’utilise grafana pour la visualisation, et j’avais pas vu cet angle là pour déclarer les alertes. Je vais faire ça, merci (et le lien awesome-prometheus-alerts est parfait pour m’aider :3 )

re: grafana/prometheus, demande d’aide 

@gordon @nihl ça me surprend grave car c'est genre le part défaut et le principe même de prometheus '-'

Mais j'ai un pote qui m'a fait le même coup car il avait déjà utilisé grafana avant.

re: grafana/prometheus, demande d’aide 

@bram @nihl j’ai pas trop d’expérience réussie dans le monitoring, et je me suis concentré sur la mise en place de métriques pour observer l’état actuel et passé, en me disant que les alertes seraient dans la continuité de cette approche ._.

Et comme j’avais vu que prometheus et grafana faisaient des alertes, j’ai pris grafana pour la possibilité de modifier les règles depuis l’ui (ce qui, avec un peu de recul, n’est pas très pertinent)

Sign in to participate in the conversation
Free Gluten Space

Une petite instance Mastodon (en construction)